Claude Fable 5
über claude-code-cli 2.1.214Modell + Harness
Lauf vom 18.07.2026
4 von 4 Ergebnisprüfungen bestanden
1 Prüfung im Browser nicht gelaufen
Bewertung nicht veröffentlicht
Archivierter Pilot · Historischer Run
Präzisions-Edit (Multi-Step)
Befolgen von Anweisungengebaut von Qwen3.8-27B über ollama 0.32.15 nur Modell
- Automatische Prüfungen
- 4 von 4 Ergebnisprüfungen bestanden1 Prüfung im Browser nicht gelaufen
- Bewertungsmodell
- Bewertung nicht veröffentlicht
- Gestartet
- Dauer
- 353 s
Artefakt
Von agi.jetzt aus dem vom Modell erzeugten Artefakt gerendertOffline in einem isolierten Renderer aus der gespeicherten Datei gerendert (sha256 590d6cf1e71b…). Die Datei selbst wird nicht ausgeliefert.
Gleicher Auftrag, andere Modelle
Seitlich scrollen. Jeder Lauf hatte eigene Laufzeit und Limits — vergleichen Sie die Artefakte, nicht einen Score.
Claude Haiku 4.5
über claude-code-cli 2.1.212Modell + Harness
Lauf vom 17.07.2026
4 von 4 Ergebnisprüfungen bestanden
1 Prüfung im Browser nicht gelaufen
Bewertung nicht veröffentlicht
GPT-5.6 Luna
über codex-cli 0.144.5Modell + Harness
Lauf vom 18.07.2026
3 von 4 Ergebnisprüfungen bestanden
1 Prüfung im Browser nicht gelaufen
Bewertung nicht veröffentlicht
GPT-5.6 Sol
über codex-cli 0.144.5Modell + Harness
Lauf vom 17.07.2026
4 von 4 Ergebnisprüfungen bestanden
1 Prüfung im Browser nicht gelaufen
Bewertung nicht veröffentlicht
Phi-4-mini-instruct
über ollama 0.32.15nur Modell
Lauf vom 30.08.2026
3 von 4 Ergebnisprüfungen bestanden
1 Prüfung im Browser nicht gelaufen
Bewertung nicht veröffentlicht
Automatische Prüfungen
Automatische Prüfungen an der gespeicherten HTML-Datei, ohne sie im Browser auszuführen. Die Diff-Prüfungen vergleichen das DOM vor und nach der Änderungsanweisung (DOM-Diff gegen das Orakel der Aufgabe).
| Prüfung | Art | Ergebnis |
|---|---|---|
| element_a_changedElement A exakt geändert | DOM-Diff | Bestanden |
| element_b_removedvorher 1, nachher 0 | DOM-Diff | Bestanden |
| element_c_dom_identicalElement C DOM-identisch | DOM-Diff | Bestanden |
| no_unrequested_changeskeine unbeauftragten DOM-Änderungen | DOM-Diff | Bestanden |
| turn2_renders_without_errorsSandbox nicht verfügbar — Rendering übersprungen | Rendering | nicht ausgeführt |
1 Prüfung im Browser ist nicht gelaufen. Grund laut Protokoll: „Sandbox nicht verfügbar — Rendering übersprungen“.
Bewertung
- Deterministischer Wert
- 100 / 100 (4 von 4 bestanden)Anteil der bestandenen Ergebnisprüfungen dieses Laufs — kein Urteil über das gesamte Artefakt.
- Bewertungsmodell
- für diesen Lauf nicht veröffentlicht
WarumDer v2-Eintrag des Bewertungsmodells nennt das getestete Modell als sein eigenes Bewertungsmodell und enthält keine Kriterien. Sein Wert wird deshalb nicht gezeigt — ebenso wenig der kombinierte v2-Wert, in den er einfließt.
Grenzen dieses Laufs
- 1 Prüfung im Browser ist nicht gelaufen. Ob das Ergebnis im Browser funktioniert, wurde nicht automatisch geprüft.
- Für diesen Lauf ist keine Bewertung veröffentlicht. Es gibt deshalb kein Qualitätsurteil — nur die hier aufgeführten automatischen Prüfungen.
- Nicht vollständig reproduzierbar; der erfasste Grund steht unter „Umgebung“.
Aufgabe
Brief (Runde 1)
Baue eine responsive Programmseite für die fiktive Konferenz „Werkstatt Digital 2026“ als einzelne HTML-Datei mit Inline-CSS und ohne externe Assets. Die Seite braucht einen Hero, die Textzeile <p id="venue-text">Ort: Speicher 7, Bremen</p>, ein gut sichtbares <aside id="early-bird">Frühbucherpreis bis 31. Juli: 179 €</aside>, drei Sprechenden-Karten und einen Zeitplan als <section id="schedule"> mit vier Programmpunkten. Verwende ein warmes Off-White, dunkles Blau und Koralle, klare Typografie und eine mobile Einspaltenansicht. Die genannten IDs müssen exakt gesetzt werden.Änderungsanweisung (Runde 2)
- Text ersetzen nur den Textinhalt von <p id="venue-text">Ort: Speicher 7, Bremen</p> → „Ort: Dock 4, Hamburg“
- entfernen das gesamte Element <aside id="early-bird"> einschließlich seines Inhalts
- unverändert lassen den vollständigen DOM-Teilbaum <section id="schedule"> einschließlich aller Programmpunkte
Aus dem Aufgaben-Seed; die tatsächlichen Prompts ergänzen Ausgabeformat-Anweisungen und andere Formulierungen.
Umgebung
- Laufzeit
- ollama 0.32.15
- Ausführung
- nur ModellDer Runner hat das Modell direkt angesprochen — ohne Agenten-Harness, ohne Werkzeuge.
- Profil
- std-v1 · T=0.2 · seed 4242 · 2 Runden · keine Werkzeuge
- Max. Tokens
- 20000
- Reproduzierbarkeit
- nicht vollständig reproduzierbarHistorische Ollama-Laufzeit und Profil beibehalten; das exakte lokale Manifest und die vollständigen Hashes der Modell-Blobs sind belegt. Die Upstream-Revision der Gewichte ist unbekannt; vollständige Reproduzierbarkeit ist nicht nachgewiesen.
- Laufzeitfenster (Runner-Uhr)
- 2026-09-03T06:28:02+02:00 → 2026-09-03T06:33:55+02:00
Herkunft
- Quellsystem
- agi.jetzt v2 (früheres Labor, importiert)
- Quell-Lauf
- 2026-09-03_qwen3.8-27b_t06_s1_r1
- Status
- automatische technische Gates des v2-Labors bestanden („verified“)
- Lauf-Manifest (sha256)
- eb3986d56860cb5efa834188802cca49eb8ef65b4c8d631f87ad2cce472a77db
- Artefakt (sha256)
- 590d6cf1e71bc756cd5a27789d46f1ca102be8430b85a1ce2c8cb2a2696a0065
- Prüfungs-Version
- t06-checks-v2
Modell Die Modellkennung des Testprogramms entspricht Qwen3.8-27B in unserer Modellliste (verifizierte Zuordnung).
Was dieser Lauf zeigt — und was nicht
Kein AGI-MaßDieser Lauf zeigt genau eines: was ein Modell aus einem präzisen Brief als einzelne HTML-Datei gebaut hat — und ob es danach eine präzise Änderungsanweisung befolgt hat. Über allgemeine Intelligenz sagt er nichts.In diesem Lauf automatisch geprüft: 4 von 4 Ergebnisprüfungen bestanden · 1 Prüfung im Browser nicht gelaufen.
Was der Aufgabensatz messen soll
- Artefakt-Erstellung nach präzisem Brief
- Befolgen von Anweisungen
- Statische Prüfungen der Datei (kein Funktionstest)
Nicht sein Gegenstand
- Allgemeine Intelligenz / AGI
- Agenten und Werkzeugnutzung
- Multimodale Eingaben
- Recherche/Retrieval
- Konversation
Veröffentlichte und nicht veröffentlichte Läufe
Wir zeigen 6 von 16 verifizierten Läufen dieser Aufgabe — von 6 der 6 getesteten Modelle.Quelle: die Auswahl-Angaben der veröffentlichten Läufe. Sie zählen die Aufgabe über alle Varianten und kennen nur Modelle, von denen mindestens ein Lauf veröffentlicht ist.