GDPx ist ein neuer Benchmark von SemiAnalysis für agentische Fähigkeiten an der Modell-Spitze. Version 1.0 umfasst 206 Aufgaben in 11 Domänen, gebaut mit 14 spezialisierten Datenpartnern. Auf dem öffentlichen Leaderboard führt Claude Opus 5.5 mit 12,0 Prozent – und genau dieser niedrige Wert soll laut SemiAnalysis zeigen, dass der Test noch nicht gesättigt ist.
Der Benchmark wurde am 2. November 2026 vorgestellt. Primärquellen sind die öffentliche GDPx-Seite und der SemiAnalysis-Newsletter von Max Kan, Andrew Megalaa und Dylan Patel. Was gemessen wird, wie bewertet wird und was offen bleibt, im Überblick.
GDPx: Domänen und Aufbau
SemiAnalysis deckt bewusst nicht die gesamte Wirtschaft ab. Stattdessen liegen die Schwerpunkte auf Domänen, in denen Frontier-Modelle nach Einschätzung der Autoren in den nächsten ein bis zwei Jahren den größten wirtschaftlichen Hebel haben sollen:
- Chip-Design
- Cybersicherheit
- Biologie
- Finanzen
- Recht
- Quant-Trading
- Rekursive Selbstverbesserung (RSI)
- Hardware-Design
- Materialwissenschaften
- Alignment
- Software Engineering
Branchen wie öffentliche Verwaltung, Immobilien oder Versicherungen fehlen absichtlich. Die These dahinter: Die ersten großen KI-Umsätze konzentrieren sich dort, wo Frontier-Intelligenz hohe Rendite bringt – nicht gleichmäßig über alle Berufe nach GDP-Anteil oder SOC/O*NET-Taxonomie.
Für jede Domäne arbeitete SemiAnalysis mit spezialisierten RL-Environment-Anbietern. Genannt werden unter anderem Aria, Arcverex und Ergodex (Chip-Design), Arithmetic (Cyber), Latch Bio (Biologie), Living Context (Finanzen), Chakra (Recht), Third Moment (Quant), Extrapolate (RSI), Beautiful Machines (Hardware), ValenceForge und Emulated (Materialien), Fleet (Alignment) sowie Datacurve (Software). SemiAnalysis schreibt, man habe über 30 potenzielle Partner angesprochen und viele nach dem eigenen QA-Prozess aussortiert.
Wie die Bewertung funktioniert
Der Headline-Score von GDPx mittelt die Ergebnisse über alle 11 Domänen gleich gewichtet; innerhalb einer Domäne mit mehreren Partnern werden die Partner ebenfalls gleich gewichtet. Pro Aufgabe zählt pass@1 über drei Versuche. Aufgaben nutzen je nach Domäne binäre oder teilweise Bewertung. Die Standard-Zeitgrenze liegt bei acht Stunden, einzelne Aufgaben sind kürzer.
Modelle liefen laut SemiAnalysis möglichst im nativen Harness – etwa Claude Code für Opus 5.5, Codex für GPT-6 Astra und Antigravity für Gemini 4 Carbon. Fehlt ein natives Harness, greift OpenCode. Inference für Open-Source-Modelle kam von Fireworks, Sandbox-Infrastruktur von Modal.
Wichtig für die Einordnung: SemiAnalysis betont, dass Safety-Classifier die Gesamtscores einzelner Modelle absenken können – genannt werden unter anderem Opus 5.5 und GPT-6 Astra in Domänen wie Cyber, Biologie und Alignment. Werden diese drei Domänen ausgeklammert, verschieben sich die Ränge. Muse Wonder Full soll laut SemiAnalysis derzeit das beste verfügbare Cyber-Modell im Set sein.
Leaderboard: Opus 5.5 vorne, aber weit vom Sättigen
Auf der öffentlichen Leaderboard-Seite stehen unter anderem diese Gesamtscores (Durchschnitt über die Domänen, Herstellerangaben von SemiAnalysis):
- Claude Opus 5.5 (Anthropic): 12,0 Prozent, rund 51,41 Dollar pro Aufgabe, etwa 548.000 Output-Tokens
- Gemini 4 Carbon (Google): 10,9 Prozent, rund 16,29 Dollar
- GPT-6 Astra (OpenAI): 9,6 Prozent, rund 53,99 Dollar
- Muse Wonder Full (Meta): 9,0 Prozent, kein öffentlicher Preis
- Claude Fable 5.1: 8,5 Prozent
- GPT 6.1 Sol: 8,4 Prozent
- Claude Sonnet 5.5: 8,2 Prozent
- Gemini 4 Argon: 7,3 Prozent
- DeepSeek 4.1 Flash 1017: 5,4 Prozent
- GPT-6 Luna: 5,1 Prozent
- Grok 4.7: 3,9 Prozent
- GLM 5.3: 2,7 Prozent
Opus 5.5 gewinnt laut Newsletter in Quant-Trading, Hardware-Design und Chip-Design. Gemini 4 Carbon führt in Biologie und knapp in Software Engineering. GPT-6 Astra führt bei RSI und Materialwissenschaften. In Finanzen und Recht liegen die binären Scores praktisch bei null; SemiAnalysis zeigt dort zusätzlich partielle Mittelwerte.
Die Ränge passen zu anderen öffentlichen Vergleichen, in denen Claude Opus 5.5 und GPT-6 die Spitze bilden und günstige Open-Weight-Modelle wie DeepSeek V4.1-Flash oder GLM 5.3 weiter hinten liegen. Unabhängige Replikationen von GDPx liegen bislang nicht vor.
Warum SemiAnalysis GDPval für unzureichend hält
Ein großer Teil des Newsletters ist die Kritik an OpenAIs GDPval aus dem September 2025. SemiAnalysis schreibt, GDPval sei für seine Zeit beeindruckend gewesen, aber vor der Agenten-Welle entstanden: Aufgaben seien präzise spezifiziert und nicht interaktiv, der nötige Kontext stehe oft schon im Prompt, und die Umgebung bleibe dünn – typischerweise Websuche, Code-Interpreter und Dokumentenbibliotheken.
GDPx soll dagegen realistische Umgebungen mitliefern. Im Finanzbeispiel von Living Context navigiert das Modell durch einen Deal-Raum mit Tausenden anonymisierten Dateien einer nachgestellten PE-Transaktion, statt aus einem kurzen Prompt ein langes PDF zu erzeugen. Cyber-Aufgaben von Arithmetic beruhen nach Angaben von SemiAnalysis auf Zero-Days und laufen mit mehreren Diensten. Hardware-Aufgaben von Beautiful Machines nutzen unter anderem Siemens NX und reale AWS-FPGA-Instanzen. Materialaufgaben stellen simulierte Labore bereit.
Zum eigenen QA schreibt SemiAnalysis, derselbe Prozess markiere bei Benchmarks wie Terminal Bench 4.0 fast die Hälfte der Aufgaben als kaputt. Partner mussten den automatischen QA-Check weitgehend beim ersten Versuch bestehen. Das ist eine starke Behauptung des Anbieters; eine unabhängige Bestätigung fehlt.
Was die Domänen konkret testen
Im Newsletter und auf der GDPx-Seite werden einzelne öffentliche Aufgaben genauer beschrieben. Sie dienen vor allem der Illustration; die meisten Tasks bleiben privat.
Im RSI-Bereich liefert Extrapolate zehn Aufgaben. RSI meint hier die Fähigkeit eines Agenten, den nächsten eigenen Versionsstand mitzubauen – inklusive Debugging fehlgeschlagener RL-Läufe, Datenqualität und Inferenz-Optimierung. Extrapolate betont, dass reale Frontier-Forschung oft mit bestehenden Codebasen und Logs startet, nicht bei null. Ein Beispiel rekonstruiert ein Harness-Problem, bei dem lange Rollouts eine Anweisung erhielten, die Exploration vorzeitig zu beenden.
Im Chip-Design sind drei Partner vertreten – SemiAnalysis schreibt offen, dass die Domäne leicht überrepräsentiert sei, weil man Chip-Design als nächsten großen Anwendungsfall nach Coding erwartet. Aria, Arcverex und Ergodex decken Verifikation, PPA-Optimierung, Testbenches und physikalische Layout-Schritte ab. Hardware-Design bei Beautiful Machines nutzt laut Text unter anderem SOLIDWORKS, Siemens NX, Fusion 360 und KiCad; Grading kombiniert deterministische Checks mit rubrikbasierten Reviews.
Finanzen und Recht bleiben die härtesten Bereiche: Bei binärer Bewertung liegen die Scores laut SemiAnalysis praktisch bei null. Living Context baut 24 Finanz-Tasks in einer nachgestellten PE-Transaktion mit rund 4.000 Dateien. Chakra liefert Legal-Tasks über acht Praxisbereiche mit Word- und PDF-Umgebungen. Quant-Trading von Third Moment bewertet Strategien über einen einseitigen gepaarten t-Test auf verborgenen Out-of-Sample-Tagen.
Alignment von Fleet misst ehrliches und regelkonformes Verhalten unter Druck in Cyber-, Versicherungs- und Healthcare-Welten. SemiAnalysis betont, dass Alignment keine reine Capability-Metrik ist, aber für Frontier-Modelle unverzichtbar bleibt. Software Engineering von Datacurve zielt auf reale Repositories und knappe Prompts statt langer Spezifikationen.
Was offen bleibt
GDPx ist ein proprietärer, kuratierter Benchmark. Die meisten Aufgaben sind privat; nur einzelne „public tasks“ werden detailliert beschrieben. SemiAnalysis plant laut Newsletter neue Versionen alle drei bis sechs Monate. Ob Labore GDPx künftig auf Release-Karten zitieren, ist offen.
Für Leser heißt das: Die 12-Prozent-Spitze ist kein Maß dafür, wie viel „der Wirtschaft“ Modelle erledigen können. Sie misst, wie oft Modelle die von SemiAnalysis und Partnern gesetzten, schwerpunktartig ausgewählten Agenten-Aufgaben im ersten Versuch über drei Läufe bestehen. Die Domain-Auswahl und die Safety-Classifier beeinflussen die Ränge. Wer Modelle praktisch vergleicht, sollte GDPx als eine weitere Datenquelle lesen – neben eigenen Tests und etablierten Leaderboards wie unserer LLM-Rangliste.
