llama.cpp v1.0.0 ist erschienen: Nach rund dreieinhalb Jahren Entwicklung hat das Team hinter der bekannten C/C++-Bibliothek für lokale KI-Inferenz am 13. November 2026 die erste Hauptversion veröffentlicht. Gleichzeitig erreicht die zugrunde liegende Tensor-Bibliothek ggml ebenfalls Version 1.0.0. Die wichtigste Änderung ist kein neues Feature, sondern ein Versprechen: Ab jetzt sollen inkompatible Änderungen an der öffentlichen C-Schnittstelle nur noch mit einem Sprung der Hauptversion kommen. Dazu räumt das Release veraltete Funktionen ab, verschärft die Standardeinstellungen von llama-server und bringt neue Modelle sowie FP8-Caches.
Was llama.cpp v1.0.0 für Entwickler bedeutet
Im Ankündigungsbeitrag auf Hugging Face begründen Daniel Bevenius, Georgi Gerganov und merve den Schritt mit der wachsenden Zahl von Anwendungen, die auf die Bibliothek aufsetzen. Jede neue Integration bedeute mehr Entwickler, die von den Schnittstellen abhängen. Eine flexible, aber stabile API sei deshalb entscheidend.
Konkret gelten für alle Projekte der Organisation ggml-org nun die Regeln der semantischen Versionierung:
- Major: inkompatible Änderung an der öffentlichen C-API im Verzeichnis
./include - Minor: abwärtskompatible Funktionen, Backend-Updates, neue Modellunterstützung oder API-Ergänzungen
- Patch: Fehlerbehebungen ohne API-Änderung
Das betrifft die beiden Bibliotheken libllama (Header unter llama.cpp/include/) und libggml (Header unter ggml/include/). Für Projekte, die llama.cpp einbinden, wird das Abhängigkeitsmanagement damit deutlich einfacher: Ein Update innerhalb derselben Hauptversion soll ohne Codeänderungen möglich sein. Bisher war das Projekt vor allem über fortlaufend nummerierte Builds verfügbar, von denen teils mehrere am Tag erscheinen. Diese Builds laufen weiter, das Release verweist zusätzlich auf den Nightly-Build b12359.
Aufgeräumt: Diese API-Änderungen brechen alten Code
Bevor das Stabilitätsversprechen gilt, hat das Team noch einmal gründlich aufgeräumt. Laut den Release Notes auf GitHub entfallen in llama.h:
- die Funktion
llama_set_warmup - 35 als veraltet markierte Funktionen
- das Feld
defrag_tholdin den Kontextparametern und die Option--defrag-thold
Gleichzeitig wandert die NextN- bzw. Speculative-Decoding-API aus llama-ext.h in den Haupt-Header llama.h. Laut dem zugehörigen Pull Request sind das 18 Funktionen. llama_set_embd_state_src heißt künftig llama_set_ctx_state_src. Neu in llama_context_params sind die Felder moe_cache_size und moe_cache_cpu_share.
Wer eigene Bindings pflegt oder direkt gegen libllama linkt, sollte vor dem Wechsel prüfen, ob noch veraltete Aufrufe im Code stecken. Der Compiler meldet sie zuverlässig, weil die Funktionen schlicht fehlen. Auch ggml 1.0.0 entfernt veraltete öffentliche Schnittstellen und die alten DIAG_MASK-Operationen.
Neue Funktionen: FP8-Cache und MoE-Expertencache
Inhaltlich bringt das Release einige Neuerungen, die vor allem bei knappen Speicherressourcen helfen:
- FP8-KV-Caches: Über
-ctk/-ctv f8_e4m3lässt sich der Key-Value-Cache im OCP-FP8-Format ablegen, optional mit statischen Skalierungsfaktoren pro Tensor. - MoE-Expertencache: Für Mixture-of-Experts-Modelle gibt es einen Cache im Hauptspeicher mit einstellbarem CPU-Anteil für Cache-Fehlgriffe und neuen Ersetzungsstrategien.
- Externe PLE-Shards: Per
--shardbzw.--plelassen sich zusätzliche GGUF-Teildateien laden. - Windows: ungepuffertes Laden von Modellen, analog zum DirectIO-Pfad unter Linux.
Neu unterstützt werden die Textarchitekturen Kimi-K3.1-Pro, Ripple-65B-Preview und xing4_0, das Sprachausgabemodell drama-3 sowie die Bildmodelle MageVL-Cowork und Kimi-K3.1 Vision. Insgesamt unterstützt llama.cpp laut Hugging Face inzwischen mehr als 150 Architekturvarianten. ggml 1.0.0 liefert zudem Leistungsverbesserungen für mehrere Backends, darunter CUDA, Metal, Vulkan, SYCL, OpenCL und WebGPU.
Etwas genauer listen die Release Notes für ggml 1.0.0 unter anderem eine konfigurierbare YaRN-Kürzung, FP8-Unterstützung, schnellere quantisierte Matrixmultiplikationen für wenige Zeilen und MoE-Fusion unter CUDA und Metal, einen FlashAttention-Pfad für den Prefill unter Vulkan, einen MoE-Scheduler auf dem Gerät unter SYCL sowie neue WebGPU-Kernel. Wie stark sich das im Einzelfall auf die Geschwindigkeit auswirkt, hängt von Modell und Hardware ab. Konkrete Benchmark-Zahlen nennt die Ankündigung nicht.
llama-server: Strengere Standardeinstellungen
Für alle, die llama-server als lokalen API-Server betreiben, sind die Änderungen am Server am wichtigsten. Einige bisher erlaubte Konfigurationen funktionieren nach dem Update nicht mehr ohne zusätzlichen Schalter:
- Wer Tools oder MCP aktiviert und den Server mit
--hostauf eine Adresse außerhalb von localhost bindet, ohne einen API-Schlüssel zu setzen, bekommt jetzt eine Fehlermeldung. Das muss ausdrücklich mit--allow-unauthenticated-toolserlaubt werden. - Medien-URLs in Chat-Anfragen dürfen standardmäßig keine lokalen oder privaten Adressen mehr erreichen. Wer etwa Bilder von einem NAS im eigenen Netz übergibt, braucht künftig
--media-allow-private-urls. - Der CORS-Proxy erreicht nur noch öffentliche Adressen. Ein MCP-Server auf localhost lässt sich darüber nicht mehr ansprechen.
--cors-originswird korrekt ausgewertet, inklusive Portprüfung, und der Server schützt sich gegen DNS-Rebinding.- Ein gesetzter
HF_TOKENwird nur noch an Hosts von huggingface.co gesendet.
Die Maintainer stufen diese Punkte im zugehörigen Pull Request ausdrücklich nicht als Sicherheitslücken ein. Weil viele Instanzen aber direkt auf Arbeitsrechnern laufen statt in einer Sandbox, nehme man nun etwas weniger Komfort in Kauf. Wer Skripte oder Container-Setups mit festen Startparametern nutzt, sollte sie vor dem Update prüfen.
Dazu kommen ein OpenAI-kompatibler Endpunkt /v1/audio/speech für Sprachausgabe, das Abbrechen von MCP-Toolaufrufen bei Verbindungsabbruch und eine überarbeitete Weboberfläche mit Chat-Gruppen und einem Markdown-Editor mit Live-Vorschau.
Verteilung, Tests und Einordnung
Das Team will die Verbreitungswege ausbauen. Laut Ankündigung gibt es Vorabversionen für Linux, macOS, Windows, Android und iOS sowie Pakete über Docker, Debian, Homebrew, conda-forge, MacPorts, Winget und ein XCFramework für Apple-Plattformen. Für die Qualitätssicherung setzt das Projekt auf Hugging-Face-Dienste wie HF Buckets und HF Jobs sowie selbst betriebene Test-Runner mit Hardware-Unterstützung von NVIDIA, AMD, Qualcomm, Arm, IBM und Intel.
Für die Praxis ist Version 1.0.0 vor allem ein Signal an Entwickler, die lokale Modelle in eigene Produkte einbauen. Wer bisher auf einen bestimmten Build festgelegt war, um Brüche zu vermeiden, kann künftig auf eine Hauptversion setzen. Lokale Inferenz ist damit nicht schneller oder besser geworden, aber planbarer. Das passt zum Trend zu großen offenen Modellen, die auf eigener Hardware laufen, etwa Meta Muse Spark Open auf zwei Mac Studios oder dem offenen Robotikmodell Runway Praxis-1. Auch Coding-Werkzeuge wie Pi 1.0 zeigen, wie wichtig stabile Schnittstellen für Open-Source-KI geworden sind.
Empfehlung für den Umstieg: zuerst in einer Testumgebung bauen, Compilerfehler zu entfernten Funktionen beheben, Startparameter von llama-server mit den neuen Opt-in-Schaltern abgleichen und erst dann produktiv aktualisieren.




