BioBasicsBench: OpenAI testet KI-Agenten im Laboralltag

BioBasicsBench heißt ein neuer Benchmark, mit dem OpenAI messen will, wie gut KI-Agenten mit dem Alltag im biologischen Labor zurechtkommen. Entwickelt hat OpenAI ihn gemeinsam mit Ligo, einem Biotech-Unternehmen, das sich auf Enzymdesign spezialisiert hat. Der am 6. November 2026 vorgestellte Test umfasst 100 Aufgaben aus der Routinearbeit im sogenannten Wet Lab – also dort, wo mit echten biologischen Proben gearbeitet wird. Laut OpenAIs Ankündigung erreichte das Modell GPT-6 Astra bei der höchsten gemeinsamen Reasoning-Stufe im Schnitt 66,7 Prozent der möglichen Punkte, GPT-5.6 Sol kam auf 43,8 Prozent.

Die Zahlen klingen nach einem großen Sprung. OpenAI selbst betont aber, dass höhere Benchmark-Werte noch nicht bedeuten, dass Modelle im Labor verlässliche Urteile fällen können. Genau diese Einschränkung macht den Benchmark interessant.

Was BioBasicsBench anders macht

Viele wissenschaftliche Benchmarks arbeiten mit Diagrammen und Bildern aus Fachartikeln – also mit Material, das bereits ausgewählt, bereinigt und interpretiert wurde. Der Laboralltag sieht anders aus: fehlgeschlagene Versuche, unscharfe Bilder, widersprüchliche Kontrollen. BioBasicsBench setzt deshalb auf Rohdaten. Wissenschaftlerinnen und Wissenschaftler haben die Aufgaben aus ihren eigenen Experimenten erstellt und jeweils mit einem Bewertungsschema (Rubrik) versehen.

Die 100 Aufgaben verteilen sich auf fünf Bereiche:

• Proteinmethoden
• Bildgebung und Zytometrie
• Quantifizierung und Assays
• Nukleinsäure-Methoden
• Molekulares Klonieren

Das Spektrum reicht vom Ablesen des Molekulargewichts einer DNA-Probe in einem Gel bis zur detaillierten Auswertung eines Assays. Die Eingaben sind bewusst vielfältig: Gel- und Blot-Bilder (31 Aufgaben), Protokolle und Laborbuch-Notizen, teils handschriftlich fotografiert (27), Tabellen und Geräteexporte (20), Fotos von Laborbänken und Geräten (18), Mikroskopie (14), Sequenzierdateien (12) sowie Videos von Laborarbeiten (7). Eine Aufgabe kann mehrere Datenarten kombinieren.

Jede Aufgabe durchlief laut OpenAI drei Prüfungen: eine interne Review durch eine Ligo-Wissenschaftlerin oder einen Ligo-Wissenschaftler, die oder der die Aufgabe nicht geschrieben hatte, eine externe Review durch eine promovierte Person aus einem Wet Lab und eine abschließende interne Prüfung. Bewertet wird nicht nur das Endergebnis. Die Rubriken vergeben Teilpunkte für Schlussfolgerung, Messwerte, Begründung – und dafür, zu erkennen, wenn die Daten eine Aussage gar nicht tragen.

BioBasicsBench: die Ergebnisse im Überblick

OpenAI hat ausschließlich eigene Modelle getestet: GPT-5.2, GPT-5.4, GPT-5.5, GPT-5.6 Sol, GPT-6.1 Sol, GPT-6 Luna und GPT-6 Astra. Insgesamt flossen 37 Kombinationen aus Modell und Reasoning-Stufe ein, mit je fünf Versuchen pro Aufgabe – zusammen 18.500 Ergebnisse. Bei der Stufe „xhigh“, der höchsten, die für alle sieben Modelle verfügbar war, ergab sich folgendes Bild (mittlere Punktzahl, 95-Prozent-Konfidenzintervall):

• GPT-6 Astra: 66,7 % (60,3–73,1 %)
• GPT-6.1 Sol: 62,0 % (55,6–68,4 %)
• GPT-5.6 Sol: 43,8 % (37,6–50,0 %)
• GPT-6 Luna: 38,3 % (32,3–44,5 %)
• GPT-5.5: 35,4 % (29,7–41,0 %)
• GPT-5.4: 33,2 % (28,3–38,4 %)
• GPT-5.2: 31,2 % (26,2–36,3 %)

Auffällig ist der Token-Verbrauch: GPT-6 Astra kam bei „xhigh“ mit durchschnittlich 4.704 Ausgabe-Tokens pro Aufgabe aus, GPT-5.6 Sol brauchte 9.099, GPT-5.2 sogar 27.620. Das bessere Modell war hier also zugleich das sparsamere. OpenAI führt die Fortschritte vor allem auf stärkere native multimodale Fähigkeiten zurück, also den besseren Umgang mit Bildern, Videos und Rohdaten.

Wo GPT-6 Astra besser abschneidet

OpenAI illustriert die Unterschiede mit Beispielen aus dem Benchmark:

• Grenzen der Daten erkennen: GPT-5.6 Sol stufte Zellen anhand eines Farbstoffs als tot ein. Weil der Detektor aber auch Licht eines zweiten Farbstoffs auffangen konnte, ließ sich das aus der Helligkeit allein nicht ableiten. Astra erkannte die Mehrdeutigkeit und forderte bessere Kontrollen.
• Details in Fotos: Bei einem Klonierungsexperiment sah GPT-5.6 Sol keine Kolonien auf der Negativkontrolle und baute darauf auf. Astra bemerkte, dass die Platte mit dem falschen Antibiotikum beschriftet war, und verwarf sie als Kontrolle.
• Experimentellen Kontext behalten: Bei Mikroskopbildern, in denen Zellen scheinbar verschwanden, suchte GPT-5.6 Sol eine biologische Erklärung. Astra erkannte einen Z-Stapel – eine Bildserie in verschiedenen Fokusebenen.

Wo die Modelle weiter scheitern

Bemerkenswert offen dokumentiert OpenAI auch Fehler des besten Modells. In einem Fall ließ Astra eine vertraute Annahme die Kontrollen übersteuern: Es gruppierte Banden in einer Kolonie-PCR korrekt, ordnete den Gruppen aber die falsche Bedeutung zu und hätte damit die falschen Kolonien für die weitere Arbeit ausgewählt. In einem anderen Fall ignorierte es Beobachtungen, die seiner bevorzugten Deutung widersprachen. Und beim Zählen von Bakterienkolonien – einer Routineaufgabe – lag Astra auf einer Platte rund 12 Prozent über dem Referenzwert, weil es nahe beieinanderliegende Kolonien nicht trennte, sichtbare übersah und leere Stellen mitzählte.

Solche Fehler sind im Labor nicht kosmetisch. Eine falsch gezählte Platte verfälscht etwa die Abschätzung, wie effizient DNA in Zellen eingebracht wurde; eine falsch gewählte Kolonie führt zu Folgeexperimenten mit dem falschen Plasmid.

Was das für Labore bedeutet

Für Forschungsgruppen, die KI-Assistenten schon heute bei der Auswertung einsetzen, liefert der Benchmark eine nüchterne Botschaft. Selbst das beste getestete Modell holt im Schnitt rund zwei Drittel der möglichen Punkte – ein Drittel bleibt liegen. Sinnvoll sind KI-Agenten damit eher als zweite Meinung oder als Werkzeug, das auf Auffälligkeiten hinweist, etwa auf eine falsch beschriftete Platte oder eine fragwürdige Kontrolle. Die Verantwortung für Schlussfolgerungen und Folgeexperimente bleibt bei den Menschen im Labor. OpenAI formuliert das Ziel selbst zurückhaltend: Fortschritte bei solchen Aufgaben könnten helfen, weniger Zeit mit Fehlersuche zu verbringen und mehr mit der Frage, welche Experimente als Nächstes sinnvoll sind.

Einordnung

BioBasicsBench ist ein Herstellerbenchmark: OpenAI hat ihn mitentwickelt, ausschließlich eigene Modelle getestet und die Ergebnisse selbst veröffentlicht. Vergleichswerte für Modelle von Anthropic, Google oder offenen Anbietern fehlen. Wie aussagekräftig die Zahlen sind, wird sich erst zeigen, wenn unabhängige Gruppen den Test nutzen können – ob und wie der Datensatz veröffentlicht wird, geht aus der Ankündigung nicht hervor.

Der Ansatz selbst ist dennoch sinnvoll. Statt immer schwierigere Spezialaufgaben zu stellen, misst BioBasicsBench, ob Agenten die unspektakuläre Routine zuverlässig beherrschen – und ob sie erkennen, wann sie nichts sicher sagen können. Das ähnelt der Idee hinter GDPx von SemiAnalysis, das Agenten an realen Arbeitsaufgaben misst. Zugleich zeigt der Hinweis von OpenAI, die Fähigkeiten auch mit Blick auf Biosicherheit zu verfolgen, dass Laborkompetenz von KI ein zweischneidiges Thema bleibt – ein Grund, warum etwa Großbritannien in ein eigenes KI-Biosicherheitslabor investiert. Und wie schon bei OpenAIs Mathematik-Ergebnissen gilt: Entscheidend ist, was sich unabhängig überprüfen lässt.