KI-Training per robots.txt: Ein Opt-out für OpenAI, Google und Microsoft

Website-Betreiber sollen per robots.txt KI-Training künftig mit einer einzigen Regel für mehrere Anbieter ausschließen können, statt jeden KI-Crawler einzeln auszusperren. OpenAI, Google und Microsoft haben am 30. Oktober 2026 angekündigt, ein gemeinsames Signal namens __usage_ai-training zu respektieren. Grundlage ist ein am selben Tag veröffentlichter Internet-Entwurf eines Anthropic-Mitarbeiters bei der IETF. Wirksam ist noch nichts: Die Anbieter wollen das Signal erst in den kommenden Monaten bis 2027 umsetzen.

Wir erklären, wie die neue Regel aussieht, was sie bewirkt und was nicht, welche Fristen gelten und was Betreiber von Blogs, Shops und Firmenseiten jetzt tun sollten.

Key Takeaways

• Das neue Policy-Token __usage_ai-training wird wie ein Crawler-Name in die User-Agent-Zeile der robots.txt geschrieben. Disallow: / drückt dann einen Widerspruch gegen KI-Training für die ganze Website aus.
• Die Regel steuert die Nutzung für Training, nicht das Crawling. Wer das Abrufen von Seiten verhindern will, muss Crawler weiterhin einzeln sperren.
• OpenAI will das Signal „in den kommenden Monaten“ umsetzen, Google 2027, Microsoft ab dem 1. Februar 2027.
• Der IETF-Entwurf ist ein individueller Entwurf ohne formellen Standard-Status. Die Beachtung ist freiwillig.
• Microsoft führt zusätzlich eine seitenbezogene Einstellung für „Grounding“ ein, also die Nutzung von Inhalten für KI-Antworten.

Per robots.txt KI-Training ausschließen: So funktioniert die Regel

Der Entwurf „Machine-Readable Training Preference Signal“ von Kevin Kelley (Anthropic) führt weder neue Befehle noch eine neue Syntax ein. Er definiert ein sogenanntes Policy-Token, das wie ein normaler Crawler-Name in einer User-Agent-Gruppe steht. Das Beispiel aus dem Entwurf:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Damit widerspricht der Betreiber dem KI-Training für alle Pfade außer /press-kit/, wo er es ausdrücklich erlaubt. Pfadangaben und die Regel „längster Treffer gewinnt“ funktionieren genau wie in RFC 9309, dem Standard für robots.txt. Bestehende Parser, die das Token nicht kennen, ignorieren die Gruppe wie jeden unbekannten Crawler.

Drei Regeln aus dem Entwurf sollten Betreiber kennen:

• Wildcards zählen nicht. Eine Gruppe User-Agent: * darf ausdrücklich nicht als Treffer für das Policy-Token gewertet werden. Wer heute alles per Wildcard sperrt, hat damit nichts zum KI-Training gesagt.
• Keine Gruppe, keine Präferenz. Fehlt die Zeile User-Agent: __usage_ai-training, gilt laut Entwurf, dass keine Präferenz geäußert wurde.
• Kein Crawling-Befehl. Das Token ist ausdrücklich keine Anweisung zum Crawling-Verhalten. Ein Anbieter darf eine Seite also weiterhin abrufen, etwa für die Suche, soll sie aber nicht für Training verwenden.

Hinzu kommen Vorrangregeln: Spezifische Angaben sollen Vorrang vor allgemeinen haben. Anbieter dürfen eigene Tokens wie eine Regel für ihren Crawler als spezifischer behandeln als das gemeinsame Signal. Und private Vereinbarungen, etwa Lizenzverträge, dürfen die Präferenzen aus der robots.txt überstimmen.

Was „KI-Training“ bedeutet, übernimmt der Entwurf aus dem Vokabular der IETF-Arbeitsgruppe AI Preferences: die Nutzung eines Inhalts, um die gelernten Parameter eines generativen KI-Modells zu verändern. Modelle, die ausschließlich für nicht generative Aufgaben wie Klassifikation oder Ranking genutzt werden, fallen nicht darunter.

Was OpenAI, Google und Microsoft zusagen

OpenAI schreibt, man werde das gemeinsame Signal für das Training generativer Basismodelle respektieren und strebe die Umsetzung „in den kommenden Monaten“ an. Details sollen folgen. Die bestehenden Crawler-Regeln, etwa für GPTBot, bleiben ausdrücklich gültig.

Google will das Signal laut Search Central Blog 2027 zusammen mit anderen Anbietern unterstützen. Widerspricht eine Website per Policy-Token dem Training und nennt Google-Extended nicht ausdrücklich, will Google das so behandeln, als sei Google-Extended gesperrt. Google-Extended ist Googles eigene Steuerung für KI-Training seit 2023. Wichtig: Websites, die Google-Extended ausdrücklich erlauben, bleiben laut Google für Verweise und Klicks über Grounding in den Gemini Apps berechtigt. Wer das gemeinsame Token setzt, aber in Gemini-Antworten verlinkt werden möchte, sollte Google-Extended also gezielt freigeben.

Microsoft ist am konkretesten. Ab dem 1. Februar 2027 will Bing die neuen Präferenzen beim Crawlen beachten. Zusätzlich zur robots.txt lässt sich das Training pro Seite per Meta-Tag oder HTTP-Header steuern, etwa mit <meta name="Bingbot" content="ai-training:disallow">. Die seitenbezogene Einstellung hat Vorrang vor der robots.txt.

Laut The Verge hat auch Meta Unterstützung signalisiert, ohne zuzusagen, das Signal zu beachten. Eine eigene Ankündigung von Anthropic auf der Unternehmensseite haben wir nicht gefunden. Laut Berichten hat Kelley geschrieben, Anthropic habe mit der Umsetzung bereits begonnen. Das konnten wir nicht unabhängig prüfen.

Microsoft trennt Training und Grounding

Microsoft geht über das gemeinsame Signal hinaus. Neben dem Training gibt es eine eigene, nur seitenbezogene Präferenz für „AI Grounding“: Gemeint ist die Nutzung von Inhalten, um KI-Antworten in Bing, Copilot oder Microsoft 365 zu stützen. Zur Wahl stehen Allow (Standard), Disallow und das neue DisallowExtended. Letzteres erlaubt Grounding nur in Microsoft-eigenen Diensten und schließt Angebote aus, die Microsoft Dritten bereitstellt, etwa Grounding über API-Zugänge in Foundry.

Die neuen Einstellungen ersetzen die bisherigen Tags NoArchive und NoCache, mit denen Betreiber seit 2023 Training und Grounding bei Microsoft einschränken konnten. Nach dem 1. März 2027 liest Microsoft diese Tags nicht mehr als Präferenz für Training oder Grounding. Wer sie heute nutzt, sollte bis dahin die neuen Einstellungen setzen und für das Grounding zusätzlich eine vorübergehende Präferenz in den Bing Webmaster Tools hinterlegen, die ab dem 15. Dezember 2026 möglich sein soll. Microsoft betont, dass keine der Einstellungen die Sichtbarkeit in den klassischen Bing-Suchergebnissen beeinflusst, und schreibt offen: Keine Wahl garantiert Aufnahme, Traffic oder Bezahlung.

Die Grenzen des Signals

So praktisch die Vereinfachung ist, Betreiber sollten die Grenzen kennen:

• Freiwilligkeit: robots.txt ist ein Koordinationsmechanismus, keine Zugangssperre. Crawler, die sich nicht daran halten, werden durch das Token nicht aufgehalten.
• Keine Rückwirkung: Ein neuer Eintrag entfernt keine Inhalte, die bereits in Datensätzen oder trainierten Modellen stecken.
• Entwurfsstatus: Der IETF-Datatracker weist darauf hin, dass ein individueller Internet-Entwurf von der IETF nicht unterstützt wird und keinen formellen Status hat. Inhalt und Name können sich noch ändern.
• Unterschiedliche Zeitpläne: Bis alle großen Anbieter das Signal tatsächlich auswerten, vergehen nach heutigem Stand Monate.

Google verweist darauf, dass der Vorschlag zum Verhaltenskodex für Anbieter allgemeiner KI-Modelle unter dem EU AI Act passe, der robots.txt als wichtigsten Weg für maschinenlesbare Präferenzen anerkenne. Ob das Token rechtlich als wirksamer Nutzungsvorbehalt im Sinne des europäischen Urheberrechts gilt, ist damit nicht entschieden. Das sollten Verlage im Zweifel juristisch prüfen lassen.

Was Website-Betreiber jetzt tun sollten

Wer seine Inhalte nicht für KI-Training freigeben will, kann die Gruppe schon heute ergänzen. Parser, die das Token nicht kennen, ignorieren sie, Schaden entsteht also nicht. Wichtig ist, die bestehenden Regeln für einzelne Crawler wie GPTBot, ClaudeBot oder Google-Extended vorerst stehen zu lassen, bis die Anbieter das gemeinsame Signal tatsächlich auswerten. Eine mögliche Kombination:

User-Agent: __usage_ai-training
Disallow: /

User-Agent: GPTBot
Disallow: /

WordPress-Nutzer pflegen die robots.txt meist über ein SEO-Plugin oder eine physische Datei im Webroot. Nach jeder Änderung lohnt ein Blick auf die ausgelieferte Datei unter /robots.txt, denn Caching-Plugins und CDNs liefern mitunter alte Versionen aus. Wie Meta-Tags im HTML-Kopf funktionieren, die Microsoft für die seitenbezogenen Einstellungen nutzt, erklären wir in den HTML-Grundlagen.

Wer dagegen in KI-Antworten sichtbar bleiben will, sollte genau abwägen: Bei Google hängt die Verlinkung in Gemini-Antworten an Google-Extended, bei Microsoft an der Grounding-Einstellung. Ein pauschales Sperren kann hier Sichtbarkeit kosten. Wie schnell KI-Agenten auf Webinhalte zugreifen und welche Konflikte das auslöst, zeigte zuletzt der Wikidata-Zwischenfall mit OpenAI-Agenten.

Fazit

Das gemeinsame Token macht den Widerspruch gegen KI-Training per robots.txt deutlich einfacher, und die Zusagen von OpenAI, Google und Microsoft geben ihm Gewicht. Es bleibt aber eine freiwillige Präferenz ohne technische Durchsetzung, deren Umsetzung sich bis 2027 zieht. Die Details stehen im IETF-Entwurf, im Google Search Central Blog und im Bing-Blog.