NVIDIA hat am 28. Oktober 2026 Nemotron 3.5 Transcribe veröffentlicht, ein offenes Sprachmodell, das Aufnahmen in 40 Sprachen transkribiert, Sprecher auseinanderhält und Audio übersetzt. Neu ist weniger die reine Spracherkennung als der Ansatz: Statt eines festen Ausgabeformats steuern Entwickler per Textanweisung, wie das Transkript aussehen soll, ob wortgetreu mit Füllwörtern, bereinigt, mit Sprecherlabels oder direkt als englische Übersetzung. Die Gewichte stehen auf Hugging Face bereit, die Lizenz erlaubt kommerzielle Nutzung.
Für Teams, die Meetings, Support-Anrufe oder Diktate verarbeiten, ist das interessant, weil viele bisher mehrere Systeme hintereinanderschalten: eins für die Erkennung, eins für die Sprecherzuordnung, eins für die Übersetzung. Wir ordnen ein, was das Modell kann, welche Zahlen NVIDIA nennt und wo die Grenzen liegen.
Key Takeaways
- Nemotron 3.5 Transcribe transkribiert 40 Sprachen, übersetzt 31 davon von und nach Englisch und ordnet in 13 Sprachen Sprecher zu, bei Aufnahmen bis zu einer Stunde und bis zu acht Sprechern.
- Das Modell ist ein sogenanntes Speech-Augmented Language Model mit rund 4,3 Milliarden aktiven Parametern; die Modellkarte nennt 34 Milliarden Parameter insgesamt inklusive Audio-Encoder.
- Deutsch führt NVIDIA in der höchsten Qualitätsstufe („Leading“), mit einer Wortfehlerrate von 2,73 % auf dem FLEURS-Testset.
- Lizenz: OpenMDW-1.1, kommerzielle und nicht-kommerzielle Nutzung sind erlaubt.
- Einschränkung: Das Modell ist für aufgezeichnetes Audio gebaut, nicht für Live-Streaming. Fragen zum Audioinhalt sind nur auf Englisch trainiert.
Was ist Nemotron 3.5 Transcribe?
Laut Modellkarte auf Hugging Face ist Nemotron 3.5 Transcribe ein Offline-Modell, das Audioaufnahmen zusammen mit Textanweisungen und optionalem Kontext verarbeitet und Text ausgibt. NVIDIA bezeichnet es als Speech-Augmented Language Model (SALM). Technisch koppelt es einen Transformer-Sprach-Encoder und das eingefrorene Diarisierungsmodell Nemotron 3 Diarization mit dem Sprachmodell Nemotron 3.5 Lightning 30B-A3B, einem hybriden Mamba-Transformer mit Mixture-of-Experts-Architektur. Pro Token sind nach NVIDIA-Angaben etwa 4,3 Milliarden Parameter aktiv.
Das Kontextfenster umfasst 65.536 Token, Aufnahmen dürfen bis zu einer Stunde lang sein. Neben der Transkription beherrscht das Modell laut NVIDIA Sprachübersetzung, Sprachidentifikation, kontextbezogene Transkription mit vorgegebenen Fachbegriffen, Wort-Zeitstempel und Fragen zum Audioinhalt. Die Gewichte gibt es in BF16 sowie als FP8- und NVFP4-Varianten. Mit Nemotron 3 hatte NVIDIA zuletzt vor allem bei Mathematik- und Informatik-Olympiaden auf sich aufmerksam gemacht, jetzt folgt ein spezialisiertes Sprachmodell aus derselben Familie.
Transkription per Anweisung steuern
Der Kern des Modells ist die Steuerbarkeit. NVIDIA argumentiert im Ankündigungsbeitrag, dass es kein einzig richtiges Transkript gibt: Ein Protokoll braucht andere Konventionen als ein medizinisches Diktat oder ein Untertitel. Klassische Spracherkennung legt sich beim Training auf eine Konvention fest. Nemotron 3.5 Transcribe bekommt sie dagegen pro Anfrage als natürliche Anweisung, etwa „Transkribiere diese Aufnahme und kennzeichne jeden Sprecher“ oder „Übersetze dieses Audio ins Englische“.
Für Fachvokabular empfiehlt NVIDIA, Begriffe direkt im Prompt mitzugeben, mit dem Hinweis, sie nur zu verwenden, wenn das Audio sie hergibt. Auf dem Benchmark ContextASR-Bench reduziere eine solche Begriffsliste Fehler bei Eigennamen um den Faktor sechs, schreibt NVIDIA auf der Forschungsseite zum Modell. Zusätzlich liefert das Modell auf Wunsch Wort-Zeitstempel mit Sprecherzuordnung, was für Schnitt- und Review-Workflows nützlich ist. Ein experimenteller Prompt soll nur die Person direkt am Mikrofon transkribieren und Hintergrundstimmen ignorieren.
Nemotron 3.5 Transcribe in den Benchmarks
NVIDIA stützt sich auf mehrere öffentliche Ranglisten. Wichtig: Alle Werte stammen aus NVIDIAs eigener Darstellung, unabhängige Tests im Alltag stehen noch aus.
- Open ASR Leaderboard (Englisch): Platz 1 unter den Open-Weight-Modellen. Der Blogbeitrag nennt 5,33 % durchschnittliche Wortfehlerrate laut Rangliste, die Modellkarte 4,71 % als gleichgewichteten Mittelwert über neun öffentliche Testsets (Stand 12. Oktober). Die Werte unterscheiden sich also je nach Berechnung. Nächstbestes offenes Modell laut Modellkarte: Qwen3-ASR-1.7B mit 4,94 %.
- Mehrsprachige Rangliste: 4,62 % mittlere Wortfehlerrate über sieben Sprachen, gegenüber 6,49 % beim nächstbesten offenen Modell.
- Lange Aufnahmen: 10,98 % mittlere Wortfehlerrate, Parakeet-TDT-0.6B-v3 kommt auf 13,37 %.
- Artificial Analysis: geteilter erster Platz unter Open-Weight-Modellen mit 2,8 % AA-WER, bei rund 4 Milliarden aktiven Parametern gegenüber 24 Milliarden beim gleichauf liegenden Modell.
- Sprecherzuordnung: Auf der Diarisierungs-Rangliste von David AI über 21 Sprachen die niedrigste Fehlerrate (18,26 %), im VoiceArena-Vergleich von 14 Systemen Platz 1 mit 32,4 % cpWER.
Für deutschsprachige Nutzer relevant: Deutsch ist für Transkription, Übersetzung, Mehrsprecher-Erkennung und Code-Switching freigegeben und steht in der höchsten Qualitätsstufe. Die Modellkarte nennt für Deutsch 2,73 % Wortfehlerrate auf FLEURS und 2,98 % auf CoVoST2.
Hardware, Lizenz und Betrieb
Als Referenz für den Betrieb nennt die Modellkarte eine einzelne H100 mit 80 GB. Unterstützt werden GPUs der Generationen Ampere, Hopper, Lovelace und Blackwell, je nach Präzision, darunter A100, H100, L40S, DGX Spark und RTX 5090, letztere nur mit NVFP4. Zum Start laufen vLLM 0.32.0 mit dem NeMo-Speech-Plugin, Hugging Face Transformers und SGLang-Omni. Wer nicht selbst hosten will, findet gehostete Endpunkte bei Baseten, DeepInfra und Simplismart. Die lokale Ausführung über NeMo-Speech.cpp kündigt NVIDIA als „bald“ an.
Bei der Geschwindigkeit lohnt der Blick ins Kleingedruckte. NVIDIA nennt bis zu 2.238 Sekunden Audio pro Sekunde auf einer RTX PRO 6000 Blackwell Server Edition. Dieser Wert gilt aber für den eigenen Inferenzdienst (NIM) mit NVFP4 und Spekulativ-Decoding. Diese Optimierungen sind laut Modellkarte noch nicht Teil der Open-Source-Veröffentlichung, die mitgelieferte vLLM-Integration sei etwa halb so schnell.
Die Lizenz OpenMDW-1.1 erlaubt kommerzielle und nicht-kommerzielle Nutzung. Wie bei jeder Lizenz gilt: Vor dem produktiven Einsatz die Bedingungen selbst prüfen, zumal Drittkomponenten eigene Hinweise mitbringen können.
Granary v2 und Feintuning
Zusammen mit dem Modell hat NVIDIA Granary v2 veröffentlicht, die Datenpipeline hinter Teilen des Trainings. Das öffentliche Manifest umfasst laut NVIDIA 463.062 Stunden in 48 Sprachen aus 16 Quellkorpora, Granary v1 deckte 25 Sprachen ab. Die Zahlen beschreiben die Datenveröffentlichung, nicht die vollständige Trainingsmischung. Für jede Aufnahme gibt es drei Transkriptformen, von wortgetreu mit Füllwörtern bis bereinigt mit Ziffern.
Wie viel Anpassung bringt, zeigt NVIDIA an einer Fallstudie mit medizinischen Aufnahmen indischer Ärztinnen, Ärzte und Studierender. Auf nicht im Training gesehenen Sprechern sank die Wortfehlerrate durch Feintuning von 22,44 % mit dem besten Prompt auf 12,17 %, ein relativer Rückgang von 45,8 %. Die gesamte Anpassung habe etwa 14 GPU-Stunden auf einer GB300 gedauert. Auf allgemeinem Englisch stieg die Fehlerrate dabei leicht, von 1,54 % auf 1,69 %.
Grenzen und offene Fragen
NVIDIA benennt die Grenzen selbst recht deutlich. Nemotron 3.5 Transcribe ist ein Offline-Modell, die interne Verarbeitung in 30-Sekunden-Abschnitten macht es nicht zu einem Echtzeitdienst. Für Sprachassistenten mit Live-Audio ist es damit nicht gedacht. Audioverständnis, Reasoning und gesprochene Anweisungen wurden nur auf Englisch evaluiert und funktionieren in anderen Sprachen möglicherweise nicht zuverlässig. Und wie bei jedem Spracherkennungsmodell rät NVIDIA, Namen, Sprecherwechsel und Antworten stichprobenartig gegen die Aufnahme zu prüfen.
Für europäische Unternehmen kommt eine weitere Frage hinzu: Wer Gesprächsaufnahmen verarbeitet, verarbeitet fast immer personenbezogene Daten. Ein offenes Modell, das auf eigener Hardware läuft, kann hier ein Vorteil gegenüber Cloud-APIs sein, ersetzt aber keine datenschutzrechtliche Prüfung. Gleichzeitig bleibt NVIDIA mit dem Modell eng an die eigene Hardware gebunden, wie schon bei der KI-Partnerschaft mit Deutschland zu sehen war: Offene Gewichte sind auch ein Weg, GPUs zu verkaufen.
Fazit
Nemotron 3.5 Transcribe bündelt Transkription, Sprecherzuordnung, Übersetzung und Audio-Fragen in einem offenen Modell, das sich per Anweisung steuern lässt. Die Benchmark-Werte sind stark, stammen aber aus NVIDIAs eigener Auswahl und weichen je nach Berechnung voneinander ab. Für Entwickler, die Aufnahmen auf eigener Infrastruktur verarbeiten wollen, insbesondere auch auf Deutsch, ist das Modell einen Test wert. Wer Live-Transkription braucht oder nur schwache Hardware hat, muss weiter auf andere Lösungen setzen oder auf die angekündigten lokalen Varianten warten.
