KI-Schreibranking

LLM-Geschwindigkeit auf Strix Halo (Ryzen AI Max+ 395)

Die meisten lokalen Modelle dieses Rankings liefen auf einem Framework Desktop mit dem AMD Ryzen AI Max+ 395 und 128 GB gemeinsamem Speicher. Hier steht, wie schnell jedes schreibt, wie viel Speicher es braucht und wie gut es schreibt.

Strix Halo ist der Codename von AMDs Ryzen-AI-Max-Serie, dem ersten PC-Chip mit genug gemeinsamem Speicher (Unified Memory) für Modelle, die früher einen Schrank voller Grafikkarten brauchten. Unser Rechner ist ein Framework Desktop: 16 Kerne, eine integrierte Radeon 8060S und 128 GB LPDDR5X, die sich Prozessor und Grafik teilen. Eine verbreitete Konfiguration, etwas über 2.000 Euro, und die Frage dazu ist immer dieselbe: Was läuft darauf, und wie schnell?

Wir können mit Messungen statt Schätzungen antworten, weil das Ranking selbst Tausende Texte darauf erzeugt hat, bis die lokale Generierung am 22. September 2026 endete. Die Tabelle nennt für jede getestete Modelldatei den Median der Token pro Sekunde über die auf dieser Maschine erzeugten gültigen Antworten, Reasoning-Token eingeschlossen, daneben die Dateigröße, den Speicherbedarf bei vollem 128.000-Token-Kontext und die Bewertung des Modells in der Rangliste dieser Ausgabe.

ModellMedian Tok/sDatei (GB)+128K (GB)ParameterBewertungAntworten
Gemma 4 26B A4B Q8_0 💡 on* 🏠39,828,131,026,0 B (4,0 B aktiv)66,8465
Gemma 4 E2B Q4_K_M 💡 on* 🏠39,43,45,35,1 B9,1224
Gemma 4 E4B Q8_0 💡 on* 🏠35,98,011,98,0 B18,8542
Gemma 4 E2B Q6_K 💡 on* 🏠33,23,95,85,1 B10,6216
Ling 3.0 Flash Q4_K_M 💡 high 🏠31,677,078,2124,0 B (5,1 B aktiv)13,2277
Ling 3.0 Flash Q4_K_M ↯ 🏠30,577,078,2124,0 B (5,1 B aktiv)21,8240
Gemma 4 E2B Q8_0 💡 on* 🏠29,25,06,95,1 B11,0224
Gemma 4 26B A4B QAT-Q4_0 💡 on* 🏠27,915,618,626,0 B (4,0 B aktiv)49,1118
Qwen3.6 35B A3B Q4_K_M 💡 on* 🏠26,622,124,835,0 B (3,0 B aktiv)40,3347
Nemotron 3 Nano Omni 30B A3B Q4_K_M 💡 on* 🏠25,126,127,030,0 B (3,0 B aktiv)9,6960
Gemma 4 E4B Q4_K_M 💡 on* 🏠22,46,310,28,0 B10,8221
Qwen3.6 35B A3B Q8_0 💡 on* 🏠22,137,840,635,0 B (3,0 B aktiv)40,7312
Nemotron 3 Nano Omni 30B A3B Q8_0 💡 on* 🏠21,235,236,130,0 B (3,0 B aktiv)4,9391
Nemotron 3 Super 120B A12B Q4_K_M 💡 full 🏠21,186,187,5120,0 B (12,0 B aktiv)26,8413
Gemma 4 26B A4B Q6_K 💡 on* 🏠20,223,826,826,0 B (4,0 B aktiv)51,7539
Gemma 4 E4B Q6_K 💡 on* 🏠18,66,210,18,0 B9,2218
Granite 4.2 8B Q4_K_M 💡 full 🏠16,95,326,88,0 B1,936
Gemma 4 12B Q8_0 💡 on* 🏠14,612,715,312,0 B50,9124
Gemma 4 12B QAT-Q4_0 💡 on* 🏠11,07,29,812,0 B51,1752
Gemma 4 31B QAT-Q4_0 💡 on* 🏠10,017,729,631,0 B59,4548
Gemma 4 12B Q6_K 💡 on* 🏠9,09,812,412,0 B53,2216
Qwen3.8 27B Q4_K_M 💡 xhigh** 🏠8,917,726,527,0 B45,6546
Muse Glimmer 30B K-Quant 17GB 💡 high 🏠8,818,220,029,6 B64,5394
Qwen3.8 27B Q8_0 💡 xhigh** 🏠8,430,038,727,0 B60,8498
Muse Glimmer 30B K-Quant Dynamic 💡 high 🏠8,021,122,929,6 B60,8397
Granite 4.2 30B Q4_K_M 💡 full 🏠7,617,752,130,0 B5,9423
Qwen3.6 27B Q8_0 💡 on* 🏠7,528,637,327,0 B55,0190
Qwen3.8 27B Q6_K 💡 xhigh** 🏠7,023,432,127,0 B59,4504
Granite 4.2 30B Q6_K 💡 full 🏠6,624,058,430,0 B7,4397
Gemma 4 31B Q6_K 💡 on* 🏠5,826,438,431,0 B64,6527
Qwen3.6 27B Q4_K_M 💡 on* 🏠5,216,525,327,0 B38,3588
Granite 4.2 30B Q8_0 💡 full 🏠4,931,165,530,0 B5,4447
Gemma 4 31B Q8_0 💡 on* 🏠4,833,845,831,0 B68,9316

Median der Token pro Sekunde über die auf dieser Maschine erzeugten gültigen Benchmark-Antworten, Reasoning-Token eingeschlossen; Datei und Speicher wie auf der Seite Lokale KI; Bewertung aus der Hauptrangliste dieser Ausgabe. Siehe auch: Community-Messungen für den Ryzen AI Max+ 395.

Die Faustregel: Bandbreite, nicht Rechenleistung

Beim Generieren muss für jedes Token einmal das gesamte aktive Gewicht gelesen werden. Auf Strix Halo liefert der Speicher rund 256 GB pro Sekunde: Ein dichtes Modell mit 30 GB (Qwen3.8 27B in Q8_0) kann daher kaum mehr als etwa 8,5 Token pro Sekunde erreichen, gemessen sind es 8,4. Gemma 4 31B Q8_0 mit 33,8 GB landet bei 4,8. Eine Q4-Quantisierung halbiert ungefähr die Datei und kann das Tempo verdoppeln, bei Gemma 4 31B von 4,8 Token pro Sekunde in Q8_0 auf 10 in QAT-Q4_0, zu dem Preis, den unsere Quantisierungsanalyse dokumentiert.

Mixture-of-Experts-Modelle entgehen der Regel: Sie speichern viele Parameter, aktivieren aber je Token nur wenige. Gemma 4 26B A4B liest 4 Milliarden Parameter je Token und erreicht in Q8_0 40 Token pro Sekunde; Qwen3.6 35B A3B 22; Ling 3.0 Flash, eine 77-GB-Datei, schafft noch 30 Token pro Sekunde, weil jeweils nur 5 Milliarden Parameter arbeiten. Auf dieser Hardware ist der beste Kompromiss zum Schreiben ein Experten-Modell in Q8, nicht ein dichtes Modell in Q4.

Was 128 GB wirklich kaufen

Speicher, nicht Tempo. Nemotron 3 Super 120B in Q4_K_M ist eine 86-GB-Datei, die keine Grafikkarte für Privatanwender fasst; hier läuft sie mit 21 Token pro Sekunde. Ling 3.0 Flash mit 77 GB lädt mit Reserve für langen Kontext. Ein dichtes 70-Milliarden-Modell in Q4 passt ebenfalls, ist mit rund 5 Token pro Sekunde aber ein Werkzeug für Geduldige. Benchmarks aus der Community geben Apples M4 Max etwa das doppelte Decodier-Tempo von Strix Halo auf solchen dichten 70B-Modellen, zu ungefähr dem doppelten Preis; bei Experten-Modellen ist der Abstand deutlich kleiner.

Wie gemessen wurde

LM Studios llama.cpp-Engine, Standardeinstellungen, dieselben 240 Aufgaben je Sprache wie im übrigen Ranking, Reasoning aktiviert, wo das Modell es unterstützt. Der Median gilt über vollständige Antworten, schließt also Reasoning-Phase und Prompt-Verarbeitung ein; kurze Aufgaben mit langem Reasoning drücken die Zahl, genau wie ein Schreiber es erlebt. Die Geschwindigkeiten hängen von Kontextlänge, Backend (Vulkan oder ROCm) und Treiberversionen ab: Lesen Sie sie als Rangfolge der Modelle untereinander auf einer Maschine, nicht als absolutes Versprechen. Die Qualität stammt aus der Rangliste lokaler KI, die dieselben Dateien verwendet.

Quellen und weitere Lektüre

Weiterlesen