NICO HUA
WEB / MOTION / SOUND

ESSAY / 19 · Forschung

10 von 10 für ChatGPT: Was eine KI misst, wenn sie „perfekt“ sagt

Ein Experiment: eine Seite, gebaut für den Prüfer. Sie bekam die volle Punktzahl. Und genau deshalb ist das hier kein Siegerbericht, sondern eine Frage.

Ausschnitt der Benchmark-Seite: große Bewertung 10.0 von 10 und darunter zehn Kategorien mit je 10/10.
VISUAL ESSAY / 19BENCHMARK / KI-EINSCHÄTZUNG, KEINE ZERTIFIZIERUNG
THOUGHT / CODESTUDY 19
01const score = ask(ki);
02if (score == 10) wonder();
03await human.feel(site);

Ich wollte einmal wissen, was passiert, wenn man eine Website nicht für Menschen baut, sondern für eine KI. Genauer: für ChatGPT als Prüfer. Das Ziel war schlicht und ein bisschen größenwahnsinnig: 10 von 10 Punkten, in allen Kategorien. Es hat geklappt. Und genau deshalb ist das hier kein Siegerbericht, sondern eine Frage.

Das Ziel: zehn von zehn

Die Seite heißt Benchmark, und der Name ist Programm. Sie sollte in einer KI-Einschätzung von ChatGPT überall die volle Punktzahl holen: Gestaltung, Bewegung, Interaktion, Klang, Erzählung, Wirkung. Kein Bonus für Mühe, keine Teilnoten für gute Absichten.

Wer einmal eine Steuererklärung gemacht hat, kennt das Prinzip: Man liest erst die Regeln und dann den eigenen Fall im Licht der Regeln. Nur dass die Regeln hier von der Instanz kamen, die am Ende auch bewertet.

Der Weg: fragen, bauen, wieder fragen

Der Ablauf war erstaunlich nüchtern. ChatGPT bewerten lassen, die Begründung lesen, nachbessern, wieder bewerten lassen. Was fehlte, stand in der Begründung meist ziemlich genau drin: mehr Belege, mehr Zusammenhang, mehr sichtbare Handwerkskunst. Also kamen Karten dazu, ein Vorher-Nachher-Regler, Live-Korrekturen, die man beim Entstehen sieht, und eine Führung mit Ton, die alles zusammenhält.

Man könnte sagen: Ich habe mit der KI verhandelt. Sie hat freundlich, aber bestimmt erklärt, was sie sehen will. Ich habe geliefert. Es war die kooperativste Verhandlung meines Lebens, und ich bin mir bis heute nicht sicher, wer gewonnen hat.

Die Bedingungen

Eine Note ist nur so viel wert wie die Bedingungen, unter denen sie entsteht. Deshalb gehören sie hierher. ChatGPT bekam nicht nur Text und Code, sondern auch die Videodateien der Seite. So konnte die KI das Visuelle mitbewerten: Bewegtbild, Gestaltung, Wirkung, also das, was man sonst nur sieht, wenn man die Seite selbst erlebt.

Bewertet wurden zehn Kategorien, von der visuellen Gestaltung über Bewegung, Vorher-Nachher-Interaktion, Ton und generative Bilder bis zur erzählerischen Führung und der Eigenständigkeit insgesamt. Unter diesen Bedingungen erreichte die Seite 10 von 10. In jeder Kategorie.

Wichtig, damit kein falscher Eindruck entsteht: Das ist eine KI-Einschätzung von ChatGPT, keine Prüfung, Zertifizierung oder Auszeichnung durch OpenAI. Es ist ein Experiment mit einem sehr aufmerksamen, sehr schnellen und sehr höflichen Prüfer.

Das Ergebnis: perfekt. Für wen?

ChatGPT war begeistert. In der Begründung ist von einer zusammenhängenden Produktinszenierung die Rede und von „10/10 Award-Level“. Ich war vor allem beeindruckt, wie begeistert die KI war.

Denn ehrlich gesagt: Für meinen Geschmack ist die Seite nicht die ganz perfekte. Sie ist dicht, sie zeigt viel, sie beweist viel. Sie erklärt sich gründlich, fast wie ein Bewerbungsschreiben, das jede Anforderung der Stellenanzeige einzeln abhakt. Das ist beeindruckend. Ob es auch berührt, ist eine andere Frage.

Was misst eine KI, wenn sie „perfekt“ sagt?

Eine KI ist gut darin, Dinge zu erkennen, die sich benennen lassen: Struktur, Klarheit, Konsistenz, Belege, Barrierefreiheit, Tempo. Wenn auf einer Seite alles da ist, was auf der Liste steht, sagt sie zu Recht: alles da.

Was sie schwer messen kann, ist das, was sich nicht abhaken lässt. Spannung. Überraschung. Charakter. Der Moment, in dem man auf einer Seite kurz innehält, ohne zu wissen, warum. Eine gute Website ist manchmal gerade deshalb gut, weil sie etwas weglässt. Für eine Checkliste ist Weglassen ein fehlender Punkt.

Goodhart lässt grüßen

Der Ökonom Charles Goodhart hat eine Beobachtung hinterlassen, die heute meist so zitiert wird: Wenn eine Kennzahl zum Ziel wird, hört sie auf, eine gute Kennzahl zu sein. Mein kleines Experiment ist ein ziemlich anschauliches Beispiel dafür. Die Seite wurde für den Prüfer gebaut, und der Prüfer war zufrieden. Das sagt viel über die Seite und ein bisschen über den Prüfer, aber nicht automatisch etwas über die Menschen, für die Websites eigentlich gemacht werden.

Das ist keine Kritik an der KI. Es ist eine Erinnerung an uns: Wer für die Bewertung baut, baut nicht zwangsläufig für das Publikum. Das gilt für Schulnoten, für Suchmaschinen und offenbar auch für KI-Urteile.

Pflicht und Kür

Was ich mitnehme, ist trotzdem sehr positiv. Die Kriterien, nach denen die KI bewertet hat, sind eine hervorragende Pflicht. Klar strukturiert, gut belegt, technisch sauber, barrierearm, schnell: Das sollte jede Website können, und eine KI hilft enorm dabei, es zu prüfen.

Die Kür bleibt menschlich. Der Mut zur Lücke, die eine Idee, die man nicht erklärt, das Gefühl, das sich nicht in zehn Kategorien teilen lässt. Die besten Seiten haben beides: eine Pflicht, die auch eine KI überzeugt, und eine Kür, die einen Menschen kurz innehalten lässt.

Wer wissen will, wo die KI an Grenzen stößt und wie man sie trotzdem weiterbringt, liest Warum die KI das nicht kann und wie ich es ihr beibringe. Und wer glaubt, eine perfekte Seite entstehe aus einem einzigen Prompt, dem empfehle ich den Mythos. Die Benchmark-Seite selbst kannst du dir hier ansehen und dir ein eigenes Urteil bilden. Das ist ohnehin die Note, die am meisten zählt.

Hinweis zu den Bildern: Einige Bilder in diesem Journal sind mit KI erzeugt. Wo ein Bild wie ein Foto wirken könnte, trägt es das runde Zeichen „KI“. Screenshots und Grafiken sind eigene Aufnahmen bzw. eigene Gestaltung.

Die Verbindung zur Praxis entdecken ↗