Lokale KI: Welche lokalen Sprachmodelle schreiben am besten auf Deutsch?

Wie Sie diese Tabelle lesen

Eine Zeile ist kein Modell, sondern eine exakte Variante: ein bestimmter Modellstand oder Checkpoint, eine bestimmte Quantisierung und ein bestimmter Denkmodus (💡 mit aktivem Reasoning, ↯ ohne). Diese drei Angaben werden nie zu einem Durchschnittswert verschmolzen, denn sie verhalten sich beim Schreiben spürbar unterschiedlich. Wer eine Empfehlung aus dieser Tabelle übernimmt, sollte also nicht nur den Modellnamen mitnehmen, sondern auch die Quantisierung und den Modus – sonst führt man zu Hause ein anderes System aus als das, was hier bewertet wurde.

Über der Tabelle stehen zwei Filter, die sich sofort auswirken und deren Zustand in der URL steckt, sodass Sie eine bestimmte Ansicht teilen können.

Der Quantisierungsfilter ist mehrfach auswählbar. Voreingestellt sind Q8 und Q4 QAT, weil das die beiden Varianten sind, die wir für den Alltag am ehesten empfehlen würden. Klassisches Q4 lässt sich zuschalten, ist aber standardmäßig ausgeblendet. Q6 erscheint automatisch, sobald wir eine bewertete Variante in dieser Stufe haben.

Der Reasoning-Filter trennt Varianten mit aktivem Denkmodus (💡) von solchen ohne (↯); beide sind standardmäßig sichtbar. Es gibt einen dritten Zustand: unbekannt. Den vergeben wir, wenn sich aus den technischen Belegen nicht sauber ableiten lässt, ob während der Generierung tatsächlich gedacht wurde. Ein gesetztes reasoning_effort=high ist für uns kein Beweis, wenn die Laufzeitumgebung null Reasoning-Token meldet – in so einem Fall bleibt der Status offen, statt eine Sicherheit vorzutäuschen.

Warum die Punktzahlen aus dem Gesamtranking stammen

Die hier gezeigten Werte sind exakt die Werte aus dem deutschen Gesamtranking. Das bedeutet: Ein lokales Modell hat seine Punktzahl auch aus Duellen gegen Cloud-Modelle bezogen. Wir rechnen diese Gegner nicht heraus, und zwar aus zwei Gründen. Erstens bleibt so eine gemeinsame Skala erhalten – ein Platz in diesem Ranking ist mit dem Gesamtranking vergleichbar, nicht nur mit sich selbst. Zweitens beruht jede Punktzahl damit auf deutlich mehr Vergleichen, was die Unsicherheit senkt. Neu vergeben wird nur der Rang.

Modelle mit offenen Gewichten, aber ohne Bewertung

Manche Modelle erfüllen die Zulassungskriterien, haben den Korpus aber noch nicht durchlaufen. Sie stehen in einer eigenen, kurzen Liste – ohne Punktzahl und ohne Rang, weil beides ohne Duelle nicht existiert.

Ein Hinweis zur Fairness: Ein Modell ist auch dann zugelassen, wenn seine Antworten nicht auf einem Rechner der Redaktion erzeugt wurden. Entscheidend ist, dass die Gewichte verfügbar sind und die Variante lokal lauffähig ist – nicht, wo die Texte historisch entstanden sind.

Was ein LLM ist, und was „lokal“ daran ändert

LLM steht für Large Language Model, ein großes Sprachmodell. Vereinfacht gesagt ist das eine sehr umfangreiche Datei aus Zahlen – den sogenannten Gewichten – plus ein Programm, das diese Datei benutzt, um zu einem Text jeweils die nächste plausible Fortsetzung zu berechnen. Aus dieser Mechanik entstehen Antworten, Aufsätze, Übersetzungen, Dialoge.

Bei Cloud-Diensten liegt diese Datei auf fremden Servern. Bei lokalen LLMs laden Sie sie herunter und führen sie selbst aus. Wenn auch Laufzeit und Integrationen lokal bleiben, müssen Ihre Texte den Rechner nicht verlassen. Das Modell funktioniert ohne Internetverbindung, es ändert sich nicht über Nacht durch ein Update des Anbieters, und Sie behalten die Kontrolle über Systemprompt, Kontextlänge und Einstellungen. Für Manuskripte, Mandantenunterlagen, unveröffentlichte Recherchen oder personenbezogene Daten ist das oft der entscheidende Punkt.

Datenschutz ist allerdings ein Argument für lokale Ausführung, kein Argument für die Schreibqualität eines bestimmten Modells. Beides bewerten wir getrennt.

Offene Gewichte sind nicht dasselbe wie Open Source

Für dieses Ranking zählt ein technisches Kriterium: offene Gewichte (open-weight). Die Modelldatei ist herunterladbar und lokal ausführbar. Ob die Lizenz im Sinne der Open-Source-Definition frei ist, ob Trainingsdaten und Trainingscode offenliegen, ist eine andere – und für Unternehmen durchaus relevante – Frage. Viele populäre Modelle sind open-weight, aber nicht Open Source; manche Lizenzen schränken kommerzielle Nutzung ein. Prüfen Sie die Lizenz für Ihren Anwendungsfall selbst. Sie sagt nichts über die Qualität der deutschen Texte aus, und wir behandeln sie hier auch nicht als Qualitätsmerkmal.

Ist es kompliziert, eine KI lokal zu betreiben?

Die ehrliche Antwort: Der Einstieg ist inzwischen leicht, die Feinheiten sind es nicht.

Ein Werkzeug wie Ollama installieren, einen Modellnamen eingeben, warten, bis der Download durch ist, losschreiben – das sind auf einem aktuellen Rechner wenige Minuten und erfordert kein Fachwissen. Wer mehr Kontrolle möchte, arbeitet direkt mit llama.cpp und wählt Modelldatei, Kontextlänge und GPU-Auslagerung von Hand. Beide Wege bringen eine lokale Chatoberfläche oder eine lokale Schnittstelle mit, an die sich andere Programme anbinden lassen.

Anspruchsvoll wird es erst bei drei Entscheidungen: welche Quantisierung, wie viel Kontext, und passt das Ergebnis noch vollständig in den schnellen Speicher. Genau diese drei Punkte bestimmen, ob Sie am Ende flüssig arbeiten oder frustriert warten – und genau darum geht es in den nächsten Abschnitten. Ein Schritt, der oft vergessen wird: Nach der Installation lohnt es sich, die Kontextlänge bewusst zu setzen, statt den Standardwert zu übernehmen.

Quantisierung: was sie ist, was sie bringt, was sie kostet

Die Gewichte eines Modells sind ursprünglich in relativ hoher Zahlenpräzision gespeichert, üblicherweise 16 Bit pro Wert. Quantisierung speichert dieselben Gewichte mit weniger Bit. Die Datei schrumpft, der Speicherbedarf sinkt – und weil Inferenz auf üblicher Hardware häufig durch die Speicherbandbreite begrenzt ist, nicht durch Rechenleistung, kann eine kleinere Variante zusätzlich schneller antworten.

Der Preis ist ein möglicher Qualitätsverlust. Wie groß er ausfällt, hängt vom Modell ab, vom Quantisierungsverfahren, von der Aufgabe, von der Sprache, von der Kontextlänge und von der Stufe. Es gibt keinen allgemeingültigen Prozentwert „erhaltener Qualität", und Aussagen dieser Form sollten Sie grundsätzlich misstrauisch machen.

Die Stufen, die in unserem Filter vorkommen:

• Q8 – eine Acht-Bit-Variante. Wir behandeln sie als praktische Qualitätsreferenz für lokale Ausführung, weil sie in der Regel die geringsten Abweichungen zeigt. Ob sie im Einzelfall von einer BF16/FP16-Version unterscheidbar ist, ist eine empirische Frage und keine Selbstverständlichkeit.
• Q4 QAT – Quantization-Aware Training. Das Modell wurde bereits im Hinblick auf Vier-Bit-Ausführung trainiert oder nachbearbeitet. Das ist ein eigener Checkpoint, keine nachträgliche Umwandlung, und deshalb im Ranking eine eigene Zeile.
• Q4_K_M – eine nachträgliche Vier-Bit-Quantisierung im GGUF-Format mit gemischter Präzision für unterschiedliche Gewichtsgruppen. Das ist ausdrücklich kein QAT, auch wenn beide „Q4" im Namen tragen. Die beiden Wege zu vier Bit sind nicht austauschbar.
• Q6 – ein Zwischenschritt, den wir aufnehmen, sobald bewertete Varianten vorliegen.

Was wir dazu tatsächlich messen können

Eine Aussage über Quantisierungseffekte lassen wir nur zu, wenn sie auf gepaarten Vergleichen beruht: dasselbe Modell, derselbe Denkmodus, dieselbe Sprache, unterschiedliche Quantisierung. Alles andere vermischt Effekte, die man nicht vermischen darf. Wo die Zahl der Duelle oder der verfügbaren Varianten dafür nicht reicht, sagen wir, dass das Ergebnis vorläufig oder schlicht nicht messbar ist.

Was wir bewusst nicht tun: MMLU, GPQA, HumanEval, AIME oder ähnliche Wissens-, Code- und Mathematik-Benchmarks als Beleg für Textqualität heranziehen. Diese Tests messen etwas anderes. Ein Modell kann in Multiple-Choice-Aufgaben stabil bleiben und trotzdem nach der Quantisierung hölzernere Sätze, flachere Bilder oder mehr Anglizismen im Deutschen produzieren.

Speicher verstehen: RAM, VRAM, Unified Memory, KV-Cache

Der häufigste Fehler bei der Hardwareplanung ist, nur auf die Dateigröße des Modells zu schauen. Diese Zahl ist eine Untergrenze, keine Anforderung.

Zusätzlich zu den Gewichten belegen Platz:

• die Laufzeitumgebung selbst mitsamt Puffern,
• der KV-Cache, also der Zwischenspeicher für den bisherigen Gesprächs- und Textverlauf,
• gegebenenfalls eine Vision-Komponente bei multimodalen Modellen.

Der KV-Cache ist der Posten, der Planungen am zuverlässigsten sprengt. Er wächst mit der Kontextlänge und mit der Batch-Größe, und wie stark er wächst, hängt von der Architektur ab. Ein Modell, das mit 4.000 Token Kontext bequem passt, kann bei 64.000 Token deutlich mehr Speicher fordern – bei unveränderter Modelldatei. Wer lange Manuskripte oder umfangreiche Recherchedokumente verarbeitet, sollte also nicht die größte Variante wählen, die gerade noch hineinpasst, sondern Reserve einplanen.

Wichtig ist außerdem, die Speicherarten auseinanderzuhalten:

• Dedizierter VRAM sitzt auf der Grafikkarte und ist der schnellste Speicher im System, aber fest begrenzt.
• System-RAM ist meist reichlich vorhanden, aber über deutlich langsamere Wege angebunden.
• Unified Memory ist ein gemeinsamer Speicherpool, auf den CPU und GPU zugreifen; ein Teil davon kann der GPU zugewiesen werden. Solche Systeme erlauben oft größere Modelle als eine typische Grafikkarte – ihre Speicherbandbreite entspricht aber nicht der einer dedizierten High-End-GPU. „Unified Memory" ist deshalb nicht einfach „viel VRAM".
• CPU-Offload bedeutet, dass ein Teil der Schichten im System-RAM bleibt und von der CPU berechnet wird. Das macht Modelle lauffähig, die sonst gar nicht starten würden – zum Preis eines oft drastischen Geschwindigkeitsverlusts.

Daraus folgt der Satz, der die meiste Enttäuschung verhindert: „Das Modell passt" ist nicht dasselbe wie „das Modell ist schnell."

Ein Sonderfall: Mixture-of-Experts

Bei MoE-Modellen wird pro Token nur ein Teil der Gewichte tatsächlich genutzt – die aktiven Parameter. Für den Speicherbedarf ist das weitgehend irrelevant: In der Regel müssen alle Gewichte geladen sein. Der Speicher richtet sich also nach den Gesamtparametern, die Rechenlast und damit die Geschwindigkeit eher nach den aktiven. Unsere Zulassungsgrenze von unter 256 Milliarden Parametern bezieht sich deshalb auf die Gesamtzahl. Die aktiven Parameter zeigen wir separat an, wo sie bekannt sind – als Hinweis auf die Geschwindigkeit, nicht als Speicherschätzung.

Welche Hardware für welches Modell?

Statt einer großen unübersichtlichen Tabelle trennen wir zwei Bauformen, weil sie sich grundlegend anders verhalten. In beiden Reitern nennen wir je Speicherklasse das Modell mit der besten Schreibqualität, das mit realistischem Puffer hineinpasst, sowie eine schnellere Alternative für alle, denen Reaktionszeit wichtiger ist als das letzte Quäntchen Formulierungsqualität.

Reiter 1 – Dedizierte Grafikkarte

Hier zählt allein die VRAM-Menge auf der Karte. Die gängigen Klassen sind 8, 16 und 32 GB. Passt alles in den VRAM, arbeitet das System schnell und gleichmäßig; sobald etwas ausgelagert werden muss, bricht die Geschwindigkeit ein.

Reiter 2 – Systeme mit Unified Memory

Dazu zählen Apple-Silicon-Rechner, AMDs Ryzen-AI-Max-Plattform (Strix Halo) und NVIDIAs DGX Spark. Gemeinsam ist ihnen ein großer, von CPU und GPU geteilter Speicherpool, von dem ein konfigurierbarer Anteil der Grafikeinheit zur Verfügung steht. Der praktische Vorteil: Es lassen sich Modelle laden, die auf einer typischen Consumer-Grafikkarte keine Chance hätten. Der Vorbehalt: Der Durchsatz liegt je nach Plattform und Modellgröße spürbar unter dem einer dedizierten High-End-GPU, und die konkret nutzbaren Speicherstufen unterscheiden sich von Gerät zu Gerät. Wir halten Kapazitäten und Empfehlungen deshalb im dynamischen Bereich, damit sie aktuell bleiben.

Zu den Geschwindigkeitsangaben: Wo wir selbst gemessen haben, ist der Wert als AIWB-Messung gekennzeichnet und die Konfiguration nachvollziehbar. Wo wir nicht gemessen haben, bleibt die Geschwindigkeitsangabe leer. Preise und Leistungsaufnahme führen wir bewusst nicht auf – sie ändern sich schneller, als wir sie seriös pflegen könnten.

Qualität gegen Geschwindigkeit

Beide Größen laufen auf dieser Seite parallel, aber getrennt. Das Ranking bewertet ausschließlich, wie gut die deutschen Texte sind. Wie schnell eine Variante antwortet und wie viel Speicher sie belegt, sind Hardwarefragen – wichtig für die Auswahl, aber kein Qualitätsmerkmal.

Für die Praxis heißt das: Wer redigiert, überarbeitet oder längere Passagen schreiben lässt, fährt meist besser mit der höherwertigen Variante und wartet ein paar Sekunden länger. Wer interaktiv arbeitet, viele kurze Anläufe braucht oder in einem Editor mitschreiben lässt, wird die schnellere Alternative bevorzugen. Beide Wege stehen in jedem Speichersegment nebeneinander.

Grenzen dieses Rankings

Bewertet wird die Qualität deutschsprachiger Texte in unserem Korpus – über verschiedene Textsorten hinweg, aber eben Textqualität. Das ist kein allgemeiner Intelligenztest und keine Aussage über Programmierfähigkeit, Faktenwissen, Werkzeugnutzung oder Übersetzung. Ein Modell, das hier vorn liegt, kann in anderen Disziplinen zurückfallen, und umgekehrt.

Die vier Sprachversionen dieses Projekts werden getrennt geführt, weil sich Ergebnisse nicht übertragen lassen: Ein Modell, das exzellentes Englisch schreibt, kann auf Deutsch steifer, fehleranfälliger oder erkennbar übersetzt klingen. Umgekehrt gilt auch: Die Herkunft eines Modells sagt nichts über seine Deutschkenntnisse.

Und schließlich: Punktzahlen sind Schätzungen mit Unsicherheit. Varianten, die nahe beieinanderliegen, sind praktisch gleichwertig; die Zahl der Duelle steht bei jeder Zeile, damit Sie einschätzen können, wie belastbar der Wert ist. Die zugehörigen Texte und Vergleiche sind einsehbar – am Ende ist Ihr eigener Eindruck an Ihren eigenen Aufgaben das ehrlichste Kriterium.

Häufige Fragen

Welche lokale KI schreibt am besten auf Deutsch? Die aktuell bestplatzierte Variante steht oben in der Tabelle. Wir nennen hier bewusst keinen festen Namen, weil sich die Reihenfolge mit jeder neuen Auswertung ändern kann. Achten Sie darauf, nicht nur den Modellnamen, sondern auch Quantisierung und Denkmodus zu übernehmen.

Wie viel VRAM brauche ich mindestens? Der konkrete Bedarf hängt von Variante und Kontext ab. Der Reiter „Dedizierte GPU" zeigt für 8, 16 und 32 GB, ob eine bewertete Variante mit der angesetzten Reserve hineinpasst; fehlt eine belastbare Empfehlung, bleibt die Karte leer. Rechnen Sie zusätzlich Platz für den KV-Cache ein, wenn Sie mit langem Kontext arbeiten.

Ist Q4 schlechter als Q8? Sie kann schlechter sein, aber Richtung und Stärke hängen vom Modell, vom Verfahren und von der Aufgabe ab. Q4 QAT und nachträgliches Q4_K_M sind dabei nicht gleichzusetzen. Belastbare Aussagen machen wir nur dort, wo uns direkte Vergleiche desselben Checkpoints im selben Denkmodus vorliegen.

Warum stehen Modelle ab 256 Milliarden Parametern nicht im Ranking? Weil diese Seite auf persönliche Rechner und kompakte Workstations begrenzt bleibt; größere Systeme sind damit nicht grundsätzlich unmöglich. Die Grenze bezieht sich auf die Gesamtparameter, auch bei Mixture-of-Experts-Modellen – der Speicherbedarf richtet sich nach ihnen, nicht nach den aktiven Parametern.

Warum werden Varianten desselben Modells getrennt gelistet? Weil sie sich unterschiedlich verhalten. Eine Q8-Variante mit aktivem Denkmodus ist ein anderes System als eine Q4-Variante ohne. Ein Durchschnittswert über beide würde Ihnen genau die Information nehmen, die Sie zum Herunterladen brauchen.

Was bedeutet „Reasoning unbekannt"? Dass wir aus den vorliegenden technischen Belegen nicht sicher ableiten können, ob während der Generierung tatsächlich gedacht wurde. Eine entsprechende Anforderung in der Konfiguration genügt uns nicht als Nachweis, wenn die Laufzeitumgebung keine Reasoning-Token meldet.

Zählt es gegen ein Modell, wenn es auch gegen Cloud-Modelle antreten musste? Nein. Die Punktzahlen stammen aus dem gemeinsamen deutschen Ranking, damit alle Varianten auf derselben Skala und mit möglichst vielen Vergleichen bewertet werden. Für diese Seite wird nur gefiltert und neu nummeriert.

Sind offene Gewichte dasselbe wie Open Source? Nein. Offene Gewichte bedeuten, dass Sie das Modell herunterladen und lokal ausführen können. Ob die Lizenz frei ist und ob Trainingsdaten offenliegen, ist davon unabhängig – und sollte für kommerzielle Nutzung separat geprüft werden.