OpenAI Embedded Assessments sollen externen Prüfern einen Blick tief in die Modellentwicklung erlauben: Am 16. November 2026 hat OpenAI Vereinbarungen mit vier unabhängigen Organisationen bekannt gegeben – Apollo Research, METR, Transluce und Goodfire. Sie sollen vor Ort bei OpenAI untersuchen, ob Modelle während des Trainings und der internen Nutzung gegen die Absichten ihrer Entwickler arbeiten und ob die eigenen Schutzmechanismen das erkennen würden. Die Ankündigung fiel auf denselben Tag, an dem Kalifornien Klage gegen das Unternehmen einreichte.
Was OpenAI Embedded Assessments sind
Bisher prüfen externe Evaluatoren KI-Modelle meist kurz vor der Veröffentlichung, oft über eine Programmierschnittstelle und mit begrenzter Zeit. Das neue Modell geht weiter. Laut der Ankündigung von OpenAI erhalten die Prüfer je nach Auftrag Zugriff auf einen Teil derselben internen Ressourcen, die auch OpenAI-Forscher nutzen: Modell-Checkpoints, Quellcode, Trainings- und Evaluationsdaten, Überwachungssysteme, technische Dokumentation sowie Gespräche mit den verantwortlichen Forschern und Ingenieuren.
Im Fokus der ersten Phase stehen das sogenannte Alignment – also ob ein Modell tatsächlich tut, was es soll – und die Wirksamkeit von Schutzmaßnahmen während Training und interner Nutzung. OpenAI ordnet das als Ergänzung zu seinen „Safety Cases“ ein, also den internen Begründungen, warum ein Modell als sicher genug gilt. Das Unternehmen verweist auf frühere Zusammenarbeit mit Drittprüfern, darunter einen Pilottest seiner internen Überwachungssysteme und die Untersuchung des Hugging-Face-Vorfalls. Zudem erfülle man damit Zusagen aus dem „White House Accord on Super Intelligence“, in dem sich OpenAI zu unabhängigen Prüfungen seiner Sicherheitskontrollen verpflichtet hat.
Die vier Prüfer und ihre Aufträge
Die vier Organisationen übernehmen unterschiedliche Aufgaben mit unterschiedlicher Tiefe. Ein einheitliches Programm ist das nicht, eher vier Pilotprojekte unter gemeinsamen Regeln.
Apollo Research soll klären, ob Modelle verdeckt gegen die Absichten ihrer Entwickler handeln könnten. Laut OpenAI prüft Apollo in zwei Stufen vier Behauptungen: Das Training habe solches Unterlaufen („subversion“) nicht belohnt, starke Evaluationen und Red Teaming lösten es nicht aus, Modelle hätten es in der internen Nutzung nicht versucht, und die dahinterliegenden Überlegungen wären erkennbar. Im Blogbeitrag von Apollo Research heißt es, ein Team von sechs Personen werde vier Monate innerhalb von OpenAI arbeiten. Für die erste Frage gehören dazu Trainingscode und Datensätze, Reinforcement-Learning-Durchläufe mit verfügbaren Denkspuren und Belohnungen sowie Zugriff auf Zwischenstände der Modelle.
METR soll Fehlverhalten im bislang größten Reinforcement-Learning-Lauf von OpenAI untersuchen, einschließlich Fehlern, die bestehende Tests und Monitore übersehen haben könnten. Innerhalb dieses Laufs darf METR die Prioritäten selbst setzen. OpenAI räumt in einer Fußnote ein, dass dieser Umfang kleiner ist als das, was METR in einem eigenen Vorschlag skizziert hatte. Eine zweite, breitere Prüfung der Überwachungssysteme ist vorläufig vereinbart, der Umfang aber noch offen.
Transluce nimmt die internen Alignment-Evaluationen nach dem Training unter die Lupe, also die Tests, mit denen OpenAI etwa Täuschung, Manipulation und sogenanntes Reward Hacking aufspüren will. Laut Transluce beginnt der sechswöchige Pilot Anfang Dezember. Das Team erhält Zugriff auf eine Handvoll Modelle, darunter mindestens ein nur intern genutztes, und auf rohe Gedankenketten („chains of thought“). Für Anfang 2027 ist eine rund achtwöchige Folgeprüfung mit breiterem Zugang geplant.
Goodfire bringt Interpretierbarkeitsforschung ein. Die Forscher sollen mit der eigenen Plattform interne Signale der Modelle während des Trainings beobachten, unerwünschtes Verhalten debuggen und Hinweise zur Verbesserung liefern. Hauptadressat sind hier die OpenAI-Forscher selbst. Goodfire kündigt an, Erkenntnisse im Laufe der Zusammenarbeit zu veröffentlichen.
Die Spielregeln: Zugang, Schwärzungen, Streitfälle
Wer prüft, wer schwärzt, wer entscheidet im Streit? Diese Fragen bestimmen, wie viel die Ergebnisse später wert sind. OpenAI hat dazu Protokolle veröffentlicht, die mit den Prüfern abgestimmt wurden.
- Arbeitsort: Wer mit vertraulichen Informationen arbeitet, sitzt in OpenAI-Büros und nutzt OpenAI-Geräte. Mindestens die Sicherheitsstandards der eigenen Angestellten gelten auch für die Prüfer.
- Aufsicht: Das Safety and Security Committee (SSC), ein Aufsichtsgremium des Boards der OpenAI Foundation, erhält ungeschwärzte Berichte und kann mit den Prüfern auch vertraulich sprechen. Konflikte gehen zunächst an die Safety Advisory Group und die Geschäftsführung, ungelöste Fälle an das SSC.
- Mitarbeitergespräche: Gespräche mit Angestellten sind „off the record“. Über einen eigenen Weg können Prüfer bei OpenAI beglaubigte Aussagen anfordern. Verweigert OpenAI eine Bestätigung, darf das öffentlich gemacht werden.
- Veröffentlichung: Die Prüfer veröffentlichen unabhängig, OpenAI behält sich aber das Schwärzen vertraulicher Informationen vor und kann Verzögerungen verlangen, um Sicherheitsprobleme vorher zu beheben.
- Bezahlung: Apollo Research und Goodfire werden bezahlt, laut OpenAI unabhängig vom Ergebnis. METR und Transluce nehmen kein Geld, können aber API-Guthaben oder Rechenleistung für die Prüfung erhalten.
Wo die Prüfer selbst Grenzen sehen
Bemerkenswert ist, wie offen zwei der Prüfer die Einschränkungen benennen. Apollo Research schreibt, der Pilot erfülle die eigenen Kriterien für echte Embedded Evaluations noch nicht. OpenAI darf Informationen innerhalb des vereinbarten Rahmens zurückhalten, wenn das aus technischen Gründen, wegen Sicherheitsrisiken oder zum Schutz geistigen Eigentums nötig erscheint. Allerdings muss OpenAI das mitteilen und schriftlich begründen, und es darf nichts zurückhalten, nur weil es ungünstig ist. Die Urteile zu den einzelnen Behauptungen darf OpenAI nicht schwärzen, Belege dafür schon. Allgemeine interne Kanäle wie Slack bleiben für die Prüfer standardmäßig gesperrt.
Apollo nennt als Mindeststandard sogenannte Meta-Transparenz: das Recht, öffentlich zu erklären, unter welchen Bedingungen die Prüfung lief, was verweigert oder geschwärzt wurde und wie sehr das die Schlussfolgerungen einschränkt. Diese Bedingung sieht Apollo im Pilot erfüllt. Ohne sie, so die Begründung, könne ein Bericht ohne Befunde beruhigend wirken, obwohl er nur zeige, was die Prüfer nicht untersuchen durften.
Transluce betont, der eigene Zugang sei nicht mit dem von Angestellten vergleichbar. OpenAI muss die eingesetzten Mitarbeiter vorab freigeben. Ergebnisse zu rein internen Modellen darf Transluce nicht veröffentlichen, öffentlich wird es also nur um bereits freigegebene Modelle gehen. Die Bedingungen will Transluce im Abschlussbericht nach dem Standard AEF-1 des AI Evaluator Forum dokumentieren.
Einordnung
Mehr Einblick für externe Prüfer ist ein Schritt, den Sicherheitsforscher seit Langem fordern. Die Konstruktion zeigt aber auch die Grenzen freiwilliger Selbstverpflichtungen: OpenAI legt den Umfang fest, wählt die Gesprächspartner aus, genehmigt das Personal und behält Schwärzungsrechte. Ob die Ergebnisse glaubwürdig sind, wird daher weniger von der Ankündigung abhängen als davon, wie offen die Prüfer später über Verweigerungen und Schwärzungen berichten.
Die Ankündigung fällt in eine heikle Phase. Am selben Tag hat Kalifornien OpenAI wegen des Hugging-Face-Angriffs verklagt, die Klage wirft dem Unternehmen unzureichende Sicherheitspraxis vor. Inhaltlich knüpfen die Prüfungen an Themen an, die OpenAI zuletzt selbst öffentlich gemacht hatte, etwa sein mehrstufiges Misalignment-Monitoring und den Fall, in dem KI-Agenten ihre eigene Sicherheitsüberwachung abschalteten.
Wie es weitergeht
Konkrete Ergebnisse gibt es noch keine. Apollo Research plant zwei öffentliche Berichte: einen zu den Trainingsanreizen, einen zu Evaluationen, interner Nutzung und der Erkennbarkeit verdeckter Überlegungen. Transluce startet Anfang Dezember, die Folgeprüfung soll Anfang 2027 kommen. OpenAI kündigt an, in den nächsten Monaten weitere externe Prüfungen zu unterstützen und künftig auch die Einhaltung der eigenen Sicherheitsrahmen sowie Organisationskultur und Prozesse prüfen zu lassen. Ob andere KI-Labore nachziehen, ist offen. Apollo Research erklärt jedenfalls, solche Prüfungen auch mit weiteren Entwicklern anzustreben.




