Reasoning an oder aus: Qwen gewinnt 33 Punkte, die großen Gemmas 7, die kleinen verlieren
Dieselbe Datei, dieselben Aufgaben, ein Schalter. Über 21 lokale Varianten bringt eingeschaltetes Reasoning der Qwen-Familie im Schnitt 33 Punkte und den Gemma-4-Modellen ab 12B sieben; die kleinen Gemma E2B und E4B verlieren im Schnitt einen Punkt. Qwen3.8 27B Q8_0 gewinnt 38 Punkte, so viel wie kein anderes Modell auf Deutsch.
Die meisten lokalen Modelle lassen sich auf zwei Arten betreiben: mit einer Denkphase vor der Antwort oder direkt zur Antwort. Die Denkphase kostet Zeit und Token. Kauft sie besseres Schreiben? Wir haben 21 lokale Varianten auf beide Arten mit denselben deutschen Aufgaben laufen lassen und beide Versionen in denselben Blindduellen bewertet. Jeder Pfeil unten beginnt bei der Bewertung ohne Reasoning und endet bei der Bewertung mit Reasoning.
Einundzwanzig Varianten, ein Schalter: Bei sechzehn zeigt der Pfeil nach rechts
Was der Reasoning-Schalter verändert
Bewertung ohne Reasoning (Pfeilanfang) und mit Reasoning (Pfeilspitze), 21 lokale Varianten nach Gewinn sortiert.
- Qwen
- Gemma
- Reasoning aus
- Reasoning an
Als Datentabelle anzeigen
| Modell | Reasoning aus | Reasoning an | Gewinn |
|---|---|---|---|
| Qwen3.8 27B Q8_0 | 28,7 | 66,8 | +38,1 |
| Qwen3.6 27B Q8_0 | 23,5 | 58,6 | +35,1 |
| Qwen3.6 35B A3B Q4_K_M | 13,4 | 47,1 | +33,7 |
| Qwen3.8 27B Q6_K | 29,5 | 62,6 | +33,1 |
| Qwen3.6 35B A3B Q8_0 | 17,3 | 47,1 | +29,8 |
| Qwen3.8 27B Q4_K_M | 19,4 | 46,1 | +26,7 |
| Gemma 4 26B A4B QAT-Q4_0 | 30,8 | 52,7 | +21,9 |
| Gemma 4 26B A4B Q8_0 | 50,7 | 70,2 | +19,5 |
| Gemma 4 31B Q6_K | 60,8 | 70,8 | +10,0 |
| Gemma 4 E4B Q8_0 | 15,0 | 22,7 | +7,7 |
| Gemma 4 31B Q8_0 | 64,6 | 72,1 | +7,5 |
| Gemma 4 26B A4B Q6_K | 47,1 | 52,4 | +5,3 |
| Gemma 4 E2B Q4_K_M | 5,3 | 10,0 | +4,7 |
| Gemma 4 12B QAT-Q4_0 | 48,8 | 53,1 | +4,3 |
| Gemma 4 31B QAT-Q4_0 | 61,3 | 65,0 | +3,7 |
| Gemma 4 E4B Q4_K_M | 10,8 | 12,5 | +1,7 |
| Gemma 4 12B Q6_K | 57,8 | 54,5 | −3,3 |
| Gemma 4 E2B Q8_0 | 14,0 | 10,4 | −3,6 |
| Gemma 4 E4B Q6_K | 17,6 | 8,8 | −8,8 |
| Gemma 4 E2B Q6_K | 16,9 | 8,1 | −8,8 |
| Gemma 4 12B Q8_0 | 60,7 | 51,8 | −8,9 |
Sechzehn Varianten gewinnen, fünf verlieren. Die Geschichte erzählt aber die Länge der Pfeile: Die Qwen-Varianten gewinnen 27 bis 38 Punkte, die großen Gemma-4-Varianten liegen zwischen −9 und +22, die kleinen Gemmas pendeln um null.
Qwen gewinnt im Schnitt 33 Punkte, die großen Gemmas 7, die kleinen verlieren einen
Was Reasoning bringt, Familie für Familie
Mittlerer Punktgewinn bei eingeschaltetem Reasoning über die Varianten jeder Familie.
Als Datentabelle anzeigen
| Punkte | n | |
|---|---|---|
| Qwen 3.6 / 3.8 | +32,8 | 6 |
| Gemma 4, 12B und größer | +6,7 | 9 |
| Gemma 4 E2B / E4B | −1,2 | 6 |
Die Familien verhalten sich so unterschiedlich, dass ein Gesamtmittel alles verdecken würde. Qwen3.6 und Qwen3.8 gewinnen im Schnitt 32,8 Punkte; Gemma 4 ab 12B gewinnt 6,7; Gemma 4 E2B und E4B verlieren 1,2, drei von sechs Varianten fallen zurück.
Ohne Reasoning ist Qwen3.8 27B ein schwaches Modell, mit Reasoning eines der besten lokalen
Qwen3.8 27B Q8_0 kommt ohne Reasoning auf 28,7 Punkte und mit Reasoning auf 66,8, ein Gewinn von 38 Punkten, der größte der Tabelle. Qwen3.6 27B Q8_0 gewinnt 35, Qwen3.6 35B A3B Q4_K_M 34. Was auch immer diese Modelle in ihrer Denkphase tun, ihre deutsche Prosa hängt davon ab. Wer ein Qwen ohne Reasoning laufen lässt, bewertet ein anderes, viel schwächeres Modell.
Gemma 4 12B und die kleinen Gemmas verlieren Punkte, wenn sie nachdenken
Am anderen Ende verliert Gemma 4 12B Q8_0 mit Reasoning 8,9 Punkte, Gemma 4 E4B Q6_K und E2B Q6_K je 8,8. Gemma 4 31B gewinnt je nach Variante 4 bis 10 Punkte, Gemma 4 26B A4B 6 bis 22; das lohnt sich, ist aber nicht entscheidend. Für die kleinen Gemmas ist Reasoning vertane Zeit, manchmal Schlimmeres.
Dasselbe Experiment auf Englisch, Französisch und Spanisch
Das Muster hält. Qwen gewinnt in jeder Sprache im Schnitt 26 bis 33 Punkte; die großen Gemma-4-Varianten gewinnen 5 bis 10; die kleinen Gemmas gewinnen nichts. Deutsch und Französisch sind die Sprachen, in denen Reasoning bei Gemma 4 12B am meisten Schaden anrichtet.
Fazit
Reasoning ist weder ein kostenloses Upgrade noch ein Gimmick; es hängt von der Familie ab. Qwen braucht es: Ohne Reasoning ist Qwen3.8 27B ein Modell aus dem unteren Drittel, mit Reasoning eines der besten lokalen. Gemma 4 ab 12B gewinnt ein paar Punkte, die kleinen Gemmas verlieren. Für Qwen einschalten, für Gemma E2B und E4B auslassen, und zwei- bis viermal langsamere Generierung in Kauf nehmen, wann immer es an ist.



