Eine Zahl braucht eine Versuchsanordnung.
Ein Ergebnis von 99 Punkten wirkt präzise. Ohne Aufgabe, Bewertung und Vergleich sagt es wenig. Bei KI-Vergleichen ist deshalb die erste Frage nicht, wer gewonnen hat. Sie lautet: Was wurde überhaupt gemessen?
Eine redaktionelle Bewertung eines Website-Erlebnisses beurteilt andere Dinge als ein Test eines Sprachmodells. Gestaltung, Dramaturgie und subjektiver Eindruck können sinnvoll bewertet werden. Daraus folgt jedoch keine gemessene Überlegenheit bei Programmierung, Dokumentbearbeitung oder Schlussfolgern.
Modell oder vollständiges System?
Ein Modell erzeugt Ausgaben unter bestimmten Bedingungen. Ein System kann zusätzlich Werkzeuge, Suche, Speicher, Prüfungen und mehrere Versuche verwenden. Wenn eine Seite nur das Modell und die andere eine ganze Arbeitsumgebung einsetzt, muss dieser Unterschied im Ergebnis sichtbar sein.
Ein Systemvergleich kann für Nutzer besonders relevant sein. Schließlich interessiert sie oft die erledigte Aufgabe. Er erlaubt aber keine automatische Aussage darüber, welches zugrunde liegende Modell allgemein leistungsfähiger ist.
Die Aufgaben müssen vorher feststehen
Wer nach einem Test nur gelungene Beispiele auswählt, zeigt eine Galerie. Für einen Vergleich braucht es einen vorab festgelegten Aufgabensatz und eine nachvollziehbare Auswertung aller Durchläufe. Fehler und Abbrüche gehören dazu.
Trenne Entwicklungsmaterial und Testmaterial. Ein System, das auf genau den später bewerteten Beispielen optimiert wurde, besitzt einen unfairen Vorteil. Schwierige Randfälle sollten bewusst enthalten sein, weil sie im Alltag häufig den Unterschied machen.
Wiederholen, verdeckt bewerten, Grenzen nennen
Ergebnisse können zwischen Durchläufen schwanken. Deshalb sind Wiederholungen und eine Darstellung der Streuung sinnvoll. Bei offenen Texten sollten Prüfer nach Möglichkeit nicht wissen, welches System welchen Text erzeugt hat. Bewertungsregeln werden vorab festgelegt.
Wo es objektive Kriterien gibt, sollten sie genutzt werden: bestandene Tests, unveränderte Zahlen, gültige Dateiformate oder korrekt erfüllte Anforderungen. Automatische Bewertung kann helfen, muss aber selbst auf Fehler geprüft werden.
Eine brauchbare Ergebnistabelle
Dokumentiere je Aufgabe die Systemversion, den Erfolg, die benötigte Zeit, Kosten, Fehlertypen und menschliche Nacharbeit. Ergänze Hardware, Eingaben, erlaubte Werkzeuge und den Testzeitpunkt. So kann jemand nachvollziehen, ob das Resultat zum eigenen Einsatz passt.
Eine faire Schlussfolgerung bleibt innerhalb des Tests: „System A erledigte diese Aufgaben unter diesen Bedingungen häufiger korrekt.“ Die Aussage ist begrenzter als „beste KI der Welt“ – und gerade deshalb wesentlich nützlicher.
Was wir für Solaris veröffentlichen sollten
Der nächste sinnvolle Beleg wäre ein reproduzierbarer Vergleich für eine klar begrenzte reale Aufgabe. Dazu gehören ein eingefrorener Teststand, öffentlich teilbare Beispiele und ein vollständiges Fehlerprotokoll. Erst dann lässt sich präzise erklären, wo Solaris Vorteile besitzt und wo andere Systeme stärker sind.
