Thinking Machines Lab hat am 20. November 2026 Inkling 2 Mini veröffentlicht, ein kleines Open-Weight-Modell, das nach Angaben des Unternehmens auf einem Laptop läuft. Das Modell hat 26,4 Milliarden Parameter, von denen pro Token 3,4 Milliarden aktiv sind, und die Gewichte stehen unter der Apache-2.0-Lizenz auf Hugging Face. Ungewöhnlich ist die Architektur: Inkling 2 Mini ist ein sogenannter Looped Transformer, der seine mittleren Schichten für jedes Token dreimal durchläuft. Thinking Machines verspricht damit mehr Rechenleistung pro Token, ohne mehr Gewichte speichern zu müssen. Alle Benchmark-Werte in diesem Artikel stammen vom Hersteller und sind nicht unabhängig geprüft.
Inkling 2 Mini im Überblick
Laut Modellkarte auf Hugging Face ist Inkling 2 Mini ein multimodales Modell. Es nimmt Text und Bilder entgegen und gibt Text aus. Das Kontextfenster reicht bis zu einer Million Token. Als Zielgruppe nennt der Hersteller Entwickler, die Agenten- und Tool-Systeme, Coding-Assistenten, Chatbots oder Retrieval-Anwendungen bauen.
Die wichtigsten Eckdaten:
- 26,4 Milliarden Parameter insgesamt, 3,4 Milliarden aktiv pro Token (Mixture-of-Experts).
- Durch die drei Durchläufe der mittleren Schichten kommt das Modell laut Hersteller auf etwa 5,4 Milliarden effektiv aktive Parameter pro Token.
- 24 Schichten, pro Schicht werden für jedes Token 8 von 128 Experten ausgewählt.
- Ein einzelner Checkpoint mit rund 20 GB in den Formaten NVFP4 und MXFP8.
- Lizenz Apache 2.0, Gewichte auf Hugging Face, zusätzlich Zugriff über die hauseigene Plattform Tinker.
Zusammen mit dem Hauptmodell veröffentlicht Thinking Machines eine Forschungsvariante mit variabler Schleifenzahl. Sie heißt TML-d24-varloop-research und soll Forschenden erlauben, den Effekt unterschiedlich vieler Durchläufe sauber zu vergleichen.
Was ein Looped Transformer anders macht
In einem gewöhnlichen Transformer läuft jedes Token genau einmal durch den Schichtstapel. Inkling 2 Mini teilt seine 24 Schichten in vier Blöcke zu je sechs Schichten. Der erste und der letzte Block laufen einmal, die beiden mittleren Blöcke dreimal hintereinander, und zwar mit denselben Gewichten. So entstehen pro Token 48 Schichtanwendungen aus 24 gespeicherten Schichten.
Die Begründung im Ankündigungsbeitrag von Thinking Machines: Die mittleren Schichten trügen eher das abstrakte Schlussfolgern, während die äußeren Schichten vor allem zwischen Einbettungen und internen Repräsentationen übersetzen. In den Experimenten des Unternehmens brachte das Wiederholen der mittleren zwölf Schichten in 27 von 28 Auswertungen größere Genauigkeitsgewinne als das Wiederholen der letzten zwölf.
Ein gelerntes Gate steuert, wie stark die Ausgabe des vorherigen Durchlaufs in den nächsten einfließt. Zu Beginn des Trainings blockiert es diese Information vollständig, sodass sich das Modell zunächst wie ein Modell ohne Schleifen verhält. Erst im Lauf des Trainings öffnet es sich. Thinking Machines beschreibt das als Weg, die Schleifen stabil einzuführen.
Der Preis für die Schleifen zeigt sich beim Rechenaufwand. Nach Angaben des Herstellers kostete ein vergleichbares Modell ohne Schleifen 7,5 Prozent weniger Rechenleistung im Training, brauchte aber 140 Prozent mehr Rechenleistung bei der Inferenz, um auf langen Agenten-Verläufen denselben Verlust zu erreichen.
Training in 4 Bit und Pruning
Inkling 2 Mini wurde laut Thinking Machines weitgehend in 4-Bit-Präzision trainiert. Die Experten-Schichten liefen vom Vortraining bis zum Reinforcement Learning in NVFP4, die letzten vier Schichten in 8-Bit-MXFP8. Weil die Gewichte im selben Format ausgeliefert werden, in dem sie trainiert wurden, entfällt nach Angaben des Herstellers der Qualitätsverlust einer nachträglichen Quantisierung.
Ursprünglich hatte das Modell 384 Experten pro Schicht. Während des Trainings entfernte Thinking Machines zwei Drittel davon und behielt die 128 am häufigsten genutzten. Danach trainierte das Modell auf einer Billion Token, die aus einem größeren internen Inkling-Modell destilliert wurden, um die Leistung von vor dem Pruning zurückzugewinnen. Es folgten überwachtes Feintuning und eine Reinforcement-Learning-Phase mit insgesamt 2,2 Billionen Token über 2.000 Schritte.
Benchmarks laut Hersteller
Thinking Machines ordnet Inkling 2 Mini als stärkstes Open-Weight-Modell mit weniger als 100 Milliarden Parametern bei mehreren Coding-Benchmarks ein. Genannt werden unter anderem:
- DeepSWE v1.1: 48,2 Prozent
- Vals Index v2.2: 46,5 Prozent
- SWE-bench Verified (nur Bash): 79,2 Prozent
- SWE-bench Pro v2 (Hard): 77,9 Prozent
- BrowseComp mit Kontextverdichtung: 79,0 Prozent
- MCP Atlas: 82,7 Prozent
Verglichen wird mit Modellen ähnlicher Größe wie Gemma 4 31B, Qwen3.8-27B und Nemotron 3.5 Super VL. In den Tabellen des Herstellers liegt Qwen3.8-27B bei einigen Werten vorn, etwa bei Terminal Bench v2.1 (73,0 gegen 71,6 Prozent). Die Testaufbauten unterscheiden sich je nach Modell, worauf Thinking Machines selbst hinweist.
Bemerkenswert offen ist der Abschnitt zu den Schwächen. Bei mehrstufigen Chats und Anweisungen mit vielen Bedingungen ist Inkling 2 Mini nach eigener Darstellung nicht das stärkste kleine Modell: 50,0 Prozent bei MultiChallenge und 33,4 Prozent bei ComplexConstraints v1.1, jeweils hinter Qwen3.8-27B. Auch bei wissensintensiven Tests hilft das Looping nicht. Die Schleifen verbessern das Schlussfolgern, speichern aber nicht mehr Fakten, denn Wissen hängt laut Hersteller vor allem von der Gesamtzahl der Parameter ab. Das Modell soll diese Lücke durch Suche und Werkzeugnutzung ausgleichen.
Lokal betreiben: Hardware und Software
Für Entwickler ist vor allem interessant, dass der Checkpoint mit rund 20 GB lokal nutzbar ist. Thinking Machines nennt als unterstützte Hardware:
- einen NVIDIA DGX Spark,
- Apple-Silicon-Geräte mit mindestens 32 GB Arbeitsspeicher, also MacBooks, Mac mini und Mac Studio,
- andere GPUs und Plattformen, empfohlen werden mindestens 32 GB VRAM.
Auf der Softwareseite listet die Modellkarte Hugging Face Transformers, SGLang, vLLM, TokenSpeed, NVIDIA Dynamo, Unsloth, llama.cpp und die Llama App sowie Ollama und Exo Labs auf Apple Silicon. Für llama.cpp stehen laut Hugging-Face-Blog GGUF-Varianten in 4 und 8 Bit bereit. Für Reinforcement-Learning-Feintuning nennt der Hersteller SkyRL, Miles und NVIDIA AutoModel.
Als Demonstration beschreibt Thinking Machines, wie das Modell auf einem Flug offline auf einem MacBook Pro einen spielbaren Flugsimulator programmierte. Solche Vorführungen zeigen, was möglich ist, sagen aber wenig darüber, wie zuverlässig ein Modell im Alltag arbeitet. Wer Inkling 2 Mini für Coding-Agenten einsetzen will, sollte es mit den eigenen Aufgaben testen, bevor es ein bestehendes Modell ersetzt.
Looping und Überwachbarkeit
Ein Teil der Veröffentlichung betrifft KI-Sicherheit. Viele Kontrollansätze lesen die Denkkette (Chain of Thought) eines Modells mit, um problematisches Verhalten zu erkennen. Das funktioniert, weil ein klassischer Transformer pro Token nur begrenzt viele Rechenschritte hat und längere Überlegungen deshalb als Text ausschreiben muss. Ein Looped Transformer kann intern mehr rechnen, bevor er etwas ausgibt. Das weckt die Sorge, dass sich ein Teil des Denkens einer Überwachung entzieht.
Thinking Machines hat das mit der Variante mit variabler Schleifenzahl untersucht. Der Zeithorizont, den das Modell ohne ausgeschriebene Denkkette bewältigt, stieg von 16 Sekunden bei einem Durchlauf auf 37 Sekunden bei drei Durchläufen. Die Denkkette wurde mit mehr Schleifen kürzer, blieb nach Angaben des Unternehmens aber lesbar. In Tests auf agentische Sabotage zeigte sich mit mehr Schleifen kein steigender Trend. Ein erklärtes Ziel der Veröffentlichung ist, dass externe Forschende diese Fragen weiter untersuchen.
Einordnung
Inkling 2 Mini reiht sich in eine Welle offener Modelle ein, die zuletzt von großen Laboren kam, etwa Tencents Hy4 mit offenen Gewichten oder die Extraktionsmodelle Cloudflare Clairic. Der Unterschied liegt in der Größenklasse und der Architektur: Statt immer mehr Parameter setzt Thinking Machines auf wiederholte Schichten und natives 4-Bit-Training, um ein starkes Modell auf Consumer-Hardware zu bringen.
Für Teams, die Daten nicht an externe APIs schicken dürfen oder wollen, ist das eine relevante Option, zumal die Apache-2.0-Lizenz auch kommerzielle Nutzung erlaubt. Ob die Benchmark-Vorsprünge im praktischen Einsatz Bestand haben, werden unabhängige Tests in den kommenden Wochen zeigen. Spannend ist das Modell auch für die Forschung, weil es eine der ersten frei verfügbaren Implementierungen eines Looped Transformers in dieser Leistungsklasse ist.



