Die zwei großen KI-Juroren wählen in neun von zehn Fällen denselben Sieger. Der Streit liegt woanders
Claude Opus 5 und GPT-5.6 Sol, die bis Mitte September 85 % der Urteile lieferten, geben bei 93 % der 2.700 gemeinsam beurteilten Modellpaare demselben Modell recht. Claude Opus 4.8 folgt ihnen nur in zwei von drei Fällen, und beim Unentschieden ist man sich gar nicht einig: GPT-5.6 Sol vergibt eines pro tausend Duelle, Claude Fable 5.1 eines pro acht.
Aktualisierung vom 1. Oktober 2026: Dieser Artikel beschreibt den Stand vom 19. September 2026. Seit dem 23. September urteilen Claude Opus 5.5 und GPT-6 Sol anstelle von Claude Opus 5 und GPT-5.6 Sol; Muse Spark 1.3 urteilt seit dem 8. September. Die Urteile der früheren Juroren bleiben veröffentlicht und zählen weiter im Ranking.
Das Ranking führte zu diesem Zeitpunkt die Urteile von sechs KI-Juroren zusammen. Das ergibt nur Sinn, wenn sie sich meistens einig sind. Sind sie das?
Wir haben es so gemessen, wie es ein Leser tun würde: Gibt es für jedes Modellpaar, das zwei Juroren beide mindestens viermal gesehen haben, bei beiden dieselbe Mehrheit der Punkte für dasselbe Modell? Paare, die bei einem der beiden genau unentschieden enden, bleiben außen vor. Deutsche Ausgabe, Stand 19. September 2026.
Claude Opus 5 und GPT-5.6 Sol stimmen bei 93 % ihrer 2.700 gemeinsamen Paare überein
Wie oft zwei Juroren denselben Sieger wählen
Anteil der gemeinsamen Modellpaare, bei denen beide Juroren demselben Modell die Mehrheit der Punkte geben. Klein gedruckt: Zahl der gemeinsamen Paare.
Als Datentabelle anzeigen
| Jurorenpaar | % | Paare |
|---|---|---|
| Claude Opus 5 × GPT-5.6 Sol | 92,8 % | 2.707 |
| Claude Opus 5 × Claude Fable 5.1 | 92,4 % | 79 |
| GPT-5.6 Sol × Claude Fable 5.1 | 86,1 % | 79 |
| Claude Opus 5 × Claude Fable 5 | 91,5 % | 47 |
| GPT-5.6 Sol × Claude Fable 5 | 91,3 % | 46 |
| Claude Opus 5 × Claude Opus 4.8 | 72,1 % | 68 |
| GPT-5.6 Sol × Claude Opus 4.8 | 71,0 % | 69 |
| Claude Opus 5 × Muse Spark 1.3 | 90,8 % | 65 |
| GPT-5.6 Sol × Muse Spark 1.3 | 94,9 % | 78 |
Die beiden großen Juroren haben 2.707 Modellpaare gemeinsam beurteilt. Bei 92,8 % davon geben sie demselben Modell recht. Auf Englisch, Französisch und Spanisch liegt der Wert zwischen 89 und 93 %.
Zwei Juroren verschiedener Anbieter, mit verschiedenen Daten trainiert, die bei mehr als neun von zehn Paaren dasselbe Urteil fällen: Das ist der stärkste Beleg, den dieses Ranking dafür hat, dass es etwas Reales über das Schreiben misst und nicht den Geschmack eines Modells. Das zehnte Paar ist das interessante; wir werden diese Meinungsverschiedenheiten als Liste veröffentlichen.
Claude Opus 4.8, der ausgeschiedene Juror, folgt den aktuellen nur in zwei von drei Fällen
Claude Opus 4.8, die vorige Opus-Generation, stimmt mit Claude Opus 5 bei 72 % der gemeinsamen Paare überein, mit GPT-5.6 Sol bei 71 %. Seine Urteile sehen nach einem früheren Geschmack aus; er urteilt seit Juli nicht mehr und hält nur einen kleinen Anteil. Seine 779 deutschen Urteile bleiben im Ranking, wachsen aber nicht mehr.
Claude Fable 5.1 liegt näher bei Claude Opus 5 als bei GPT-5.6 Sol
Auf den Paaren, die es mit dem jeweiligen Juror teilt, stimmt Claude Fable 5.1 mit Claude Opus 5 zu 92 % überein und mit GPT-5.6 Sol zu 86 %. Eine Familienähnlichkeit zwischen zwei Claude-Juroren überrascht nicht, aber ein Ranking, das ihre Urteile zusammenführt, muss sie im Blick behalten, und das tun wir. Claude Fable 5 und Muse Spark 1.3 zeigen diese Neigung im Deutschen nicht: Sie stimmen mit beiden großen Juroren zu 91 bis 95 % überein, allerdings auf kleinen Stichproben von 46 bis 78 Paaren.
Beim Unentschieden sind sich die Juroren gar nicht einig: eines pro tausend bei GPT-5.6 Sol, eines pro acht bei Claude Fable 5.1
Wie oft jeder Juror ein Unentschieden vergibt
Anteil der Urteile, die unentschieden enden. Klein gedruckt: gefällte Urteile.
Als Datentabelle anzeigen
| KI-Juror | % | Urteile |
|---|---|---|
| Claude Fable 5.1 | 12,0 % | 1.877 |
| Muse Spark 1.3 | 9,6 % | 6.065 |
| Claude Fable 5 | 4,0 % | 1.071 |
| Claude Opus 5 | 3,3 % | 28.674 |
| Claude Opus 4.8 | 1,5 % | 779 |
| GPT-5.6 Sol | 0,1 % | 25.452 |
GPT-5.6 Sol kürt fast immer einen Sieger: 0,1 % seiner deutschen Urteile sind Unentschieden. Claude Fable 5.1 vergibt bei 12,0 % seiner Duelle ein Unentschieden, Muse Spark 1.3 bei 9,6 %. Keines von beidem ist falsch. Ein Unentschieden ist eine legitime Antwort, wenn zwei Texte gleich gut sind, und zwischen Spitzenmodellen kommt das oft vor. Aber ein „Sieg“ bei Sol ist eine schwächere Aussage als ein „Sieg“ bei Fable 5.1.
Das ist einer der Gründe, warum das Hauptranking auf einer Bradley-Terry-Anpassung über die Urteile beruht, bei der ein Unentschieden für jede Seite als halber Sieg zählt. Die Juroren vergeben keine Punktzahlen; gespeichert wird nur ihre Wahl. Die Unentschieden-Quote eines Jurors verändert so, wie viel jedes seiner Urteile bewegt, nicht dessen Richtung.
Was wir daraus machen
Drei Dinge. Die Liste der Paare, bei denen sich die beiden großen Juroren widersprechen, wird veröffentlicht. Eine kontrollierte Stichprobe, dieselben Paare von allen aktiven Juroren beurteilt, ist im Aufbau, damit die Übereinstimmungsraten auf identischen Duellen beruhen. Und die Tabellen je Juror bleiben auf der Ergebnisseite, damit jeder, der einem Juror mehr vertraut als den anderen, das Ranking lesen kann, das dieser Juror allein ergäbe.
Fazit
Zwei Juroren aus verschiedenen Häusern kommen bei neun von zehn Modellpaaren zum selben Urteil. Das ist der stärkste Beleg dieses Rankings dafür, dass es Schreibqualität misst und nicht den Geschmack eines einzelnen Modells. Das zehnte Paar, der ältere Geschmack des ausgeschiedenen Jurors und die sehr unterschiedlichen Unentschieden-Quoten sind genau das, was die gemeinsame Bradley-Terry-Anpassung auffangen soll.
