Ein KI-Assistent, der nicht nur Code vorschlägt, sondern selbst die Maus bewegt, Fenster öffnet und Klicks ausführt, das ist seit dem 1. Oktober 2026 keine Zukunftsvision mehr, sondern eine Public-Preview-Funktion von GitHub Copilot. Mit GitHub Copilot Computer Use verlässt der Assistent erstmals konsequent den Terminal- und Editor-Kontext und greift direkt auf grafische Desktop-Anwendungen zu.
Für Entwickler und IT-Teams ist das ein bemerkenswerter Schritt: Copilot wird vom Code-Helfer zum Agenten, der ganze Arbeitsabläufe am Bildschirm übernehmen kann. Dieser Artikel ordnet ein, was GitHub Copilot Computer Use technisch leistet, wie die Aktivierung funktioniert, welche Berechtigungen nötig sind und wie sich die Funktion im Vergleich zu Konkurrenzlösungen von OpenAI und Anthropic positioniert.
Inhaltsverzeichnis
Key Takeaways
- GitHub hat Computer Use für Copilot am 1. Oktober 2026 in Public Preview veröffentlicht, verfügbar in der Copilot CLI sowie in den Copilot-Apps für macOS und Windows.
- Aktivierung erfolgt über den CLI-Befehl
/computer on, Statusprüfung mit/computer show, Deaktivierung mit/computer off. - Auf macOS führt Copilot durch die Einrichtung der Berechtigungen für Bedienungshilfen (Accessibility) und Bildschirmaufnahme (Screen Recording), die für die visuelle Steuerung nötig sind.
- Die Funktion reiht sich in einen breiteren Markttrend ein: OpenAI erweiterte Codex im April 2026 um Computer Use, Anthropic brachte bereits früher 2026 vergleichbare Fähigkeiten für macOS in Claude Code und Claude Cowork.
- GitHub selbst empfiehlt, zunächst direkte APIs oder CLI-Werkzeuge zu nutzen und GUI-Automatisierung nur als Fallback einzusetzen, ein klares Signal für den experimentellen Charakter der Funktion.
Was ist GitHub Copilot Computer Use
GitHub Copilot Computer Use ist eine neue Fähigkeit des KI-Assistenten, mit der Copilot direkt Desktop-Anwendungen bedienen kann, nicht nur Code schreiben oder Terminalbefehle ausführen. Laut dem offiziellen GitHub-Changelog und einem begleitenden Bericht von thenewstack.io wurde die Funktion am 1. Oktober 2026 als Public Preview veröffentlicht.
Praktisch bedeutet das: Copilot kann im Auftrag des Nutzers Mausklicks ausführen, Texte eingeben, zwischen Anwendungsfenstern wechseln und visuellen Kontext vom Bildschirm erfassen. Statt lediglich Codeänderungen vorzuschlagen, agiert der Assistent wie ein Nutzer, der selbst vor dem Rechner sitzt, inklusive Interaktion mit Oberflächen, für die es keine API oder kein Kommandozeilen-Tool gibt.
Verfügbar ist die Funktion aktuell in zwei Umgebungen: der GitHub Copilot CLI sowie der GitHub Copilot App für macOS und Windows. Damit deckt GitHub sowohl Entwickler ab, die primär über die Kommandozeile arbeiten, als auch jene, die eine native Desktop-Anwendung bevorzugen.
Wie GitHub Copilot Computer Use aktiviert wird
Die Steuerung erfolgt über einfache Slash-Befehle in der Copilot CLI:
| Befehl | Funktion |
|---|---|
/computer on |
Aktiviert Computer Use für die aktuelle Sitzung |
/computer show |
Zeigt den aktuellen Status der Funktion an |
/computer off |
Deaktiviert Computer Use wieder |
Diese Befehlsstruktur ist bewusst minimal gehalten: Entwickler müssen keine zusätzliche Software installieren, sondern schalten die Funktion gezielt für die Dauer einer Aufgabe ein und wieder aus. Das erlaubt eine klare Kontrolle darüber, wann Copilot tatsächlich Zugriff auf den Desktop hat und wann nicht.
GitHub Copilot Computer Use und die nötigen Berechtigungen auf macOS
Damit Copilot überhaupt mit Desktop-Anwendungen interagieren kann, braucht das Betriebssystem Zugriff auf bestimmte Systemfunktionen. Auf macOS führt GitHub Copilot Computer Use den Nutzer aktiv durch die Einrichtung zweier Berechtigungen:
- Bedienungshilfen (Accessibility): Diese Berechtigung erlaubt es Copilot, Mausbewegungen, Klicks und Tastatureingaben in anderen Anwendungen auszulösen.
- Bildschirmaufnahme (Screen Recording): Diese Berechtigung liefert den visuellen Kontext, den Copilot benötigt, um zu erkennen, was gerade auf dem Bildschirm passiert, etwa welche Fenster geöffnet sind oder wo sich ein Button befindet.
Ohne diese beiden Freigaben kann die Funktion nicht sinnvoll arbeiten, da sie sowohl "sehen" als auch "handeln" muss, um eine Desktop-Anwendung zu steuern. Der geführte Berechtigungsprozess soll laut GitHub dafür sorgen, dass Nutzer bewusst zustimmen, bevor Copilot diese weitreichenden Systemzugriffe erhält.
Für Windows-Nutzer sind entsprechende Freigaben ebenfalls Voraussetzung, auch wenn der Berechtigungsmechanismus sich am jeweiligen Betriebssystem orientiert. In jedem Fall gilt: Wer Computer Use aktiviert, gewährt einem KI-Agenten direkten Einblick in und Kontrolle über laufende Anwendungen auf dem eigenen Rechner.
"Copilot kann damit im Auftrag des Nutzers mit Desktop-Anwendungen interagieren, nicht nur mit Code oder Terminal."
Einordnung im Markt: Computer Use bei GitHub, OpenAI und Anthropic
GitHub Copilot Computer Use ist keine völlig neue Idee, sondern reiht sich in eine Entwicklung ein, die bereits seit Monaten unter konkurrierenden KI-Coding-Tools läuft. Laut thenewstack.io hat OpenAI im April 2026 eine vergleichbare Computer-Use-Fähigkeit zu Codex hinzugefügt. Anthropic war in diesem Trend noch früher: Bereits zuvor im Jahr 2026 integrierte das Unternehmen breiteren Computer-Use-Support für macOS in Claude Code und in Claude Cowork.
Damit zieht GitHub mit seiner Oktober-2026-Veröffentlichung im Wesentlichen nach, statt den Trend anzuführen. Diese Einordnung ist für Entwickler relevant, weil sie zeigt: GUI-Steuerung durch KI-Agenten wird branchenweit zu einem Standardbaustein moderner Coding-Assistenten, unabhängig davon, ob ein Team primär mit GitHub Copilot, OpenAI Codex oder Anthropics Claude-Produkten arbeitet.
Ein Unterschied liegt allerdings im Rahmen, den GitHub selbst setzt. Laut Berichterstattung von thenewstack.io empfiehlt GitHub ausdrücklich, zunächst andere Ansätze auszuprobieren, etwa direkte APIs oder bestehende CLI-Werkzeuge, bevor man auf Desktop-GUI-Automatisierung zurückgreift. Das deutet darauf hin, dass GitHub Computer Use eher als Fallback-Lösung für Situationen versteht, in denen keine saubere programmatische Schnittstelle existiert, und nicht als bevorzugten Standardweg.
Was GitHub Copilot Computer Use für Entwickler-Workflows bedeutet
Für Entwickler, die mit PHP, Node.js oder anderen Web-Technologien arbeiten, öffnet Computer Use neue praktische Möglichkeiten, bringt aber auch Risiken mit sich, die vor dem Einsatz bedacht werden sollten.
Chancen
- Automatisierung von GUI-only-Workflows: Viele Entwicklungswerkzeuge, interne Admin-Panels oder ältere Desktop-Software bieten keine API. Computer Use erlaubt es, solche Werkzeuge trotzdem in automatisierte Abläufe einzubinden.
- Weniger Kontextwechsel: Statt manuell zwischen Terminal, Browser und Desktop-Anwendungen zu springen, kann Copilot Teilaufgaben direkt am Bildschirm übernehmen.
- Breitere Testszenarien: Visuelle Interaktion kann helfen, Abläufe zu prüfen, die sich nicht allein über Unit-Tests oder API-Calls abbilden lassen, etwa das Verhalten einer nativen Anwendung.
- Einheitlicher Agenten-Ansatz: Teams, die bereits mit Copilot arbeiten, müssen kein separates Automatisierungs-Tool einführen, um einfache Desktop-Interaktionen zu steuern.
Risiken und Sicherheitsaspekte
GUI-Automatisierung durch KI-Agenten bringt reale Sicherheitsfragen mit sich, die Entwickler und IT-Verantwortliche ernst nehmen sollten:
- Weitreichende Systemberechtigungen: Bedienungshilfen- und Bildschirmaufnahme-Zugriff sind mächtige Rechte. Wer sie einem Agenten gewährt, erlaubt im Prinzip Einblick in alles, was auf dem Bildschirm sichtbar ist, inklusive sensibler Daten in anderen Anwendungen.
- Fehlerpotenzial bei visueller Steuerung: Anders als eine definierte API kann eine GUI sich verändern, Elemente verschieben oder unerwartet reagieren. Ein KI-Agent kann dadurch Fehlklicks ausführen, deren Folgen schwerer vorhersehbar sind als bei einem fehlgeschlagenen API-Call.
- Experimenteller Status: Die Funktion befindet sich in Public Preview. GitHubs eigener Hinweis, GUI-Automatisierung nur als letzten Ausweg zu nutzen, unterstreicht, dass die Technologie noch nicht als ausgereifter Standardweg gedacht ist.
- Kontrolle und Nachvollziehbarkeit: Wenn ein Agent Klicks und Eingaben automatisiert ausführt, wird es wichtiger, Protokolle und Sitzungsgrenzen zu haben, um nachzuvollziehen, welche Aktionen tatsächlich stattgefunden haben.
Für Teams empfiehlt sich daher ein vorsichtiger, schrittweiser Einsatz: Computer Use zunächst in unkritischen, gut überschaubaren Szenarien testen, die Sitzung bewusst über /computer on und /computer off begrenzen und bei sensiblen Umgebungen vorerst auf etablierte API- oder CLI-basierte Automatisierung setzen.
Randnotiz: Weitere Copilot-Entwicklungen rund um Computer Use
Die Veröffentlichung von Computer Use fällt in eine Phase intensiver Weiterentwicklung bei GitHub Copilot. Nur einen Tag später, am 2. Oktober 2026, erweiterte GitHub zusätzlich die Code-Review-Funktionen: Es kam API-Support für Copilot Code Review hinzu, und bereits seit dem 28. September 2026 gilt "Balanced" als neues Standard-Effort-Level. Diese Änderungen stehen zwar nicht im direkten Zusammenhang mit Computer Use, zeigen aber die hohe Entwicklungsgeschwindigkeit, mit der GitHub seinen Copilot-Assistenten derzeit ausbaut, von Code-Analyse bis zur Desktop-Steuerung.
Wer sich generell fuer die Automatisierung von Coding-Agenten jenseits einfacher Terminal-Befehle interessiert, findet weiterfuehrende Hintergruende in unserem Artikel Herdr: Die Laufzeitumgebung, in der Coding-Agenten weiterarbeiten, wenn du den Laptop zuklappst.
Fazit und nächste Schritte
GitHub Copilot Computer Use markiert einen klaren Schritt weg vom reinen Code-Assistenten hin zu einem Agenten, der ganze Desktop-Workflows übernehmen kann. Die Funktion ist seit dem 1. Oktober 2026 in Public Preview verfügbar, lässt sich einfach über die Copilot CLI mit /computer on, /computer show und /computer off steuern und erfordert auf macOS die bewusste Freigabe von Bedienungshilfen- und Bildschirmaufnahme-Berechtigungen.
Im Marktvergleich reagiert GitHub damit auf ähnliche Schritte von OpenAI bei Codex und Anthropic bei Claude Code und Claude Cowork, Computer-Use-Fähigkeiten werden branchenweit zum Trend. Gleichzeitig macht GitHubs eigener Rat, GUI-Automatisierung nur als Fallback einzusetzen, deutlich, dass die Technologie noch experimentellen Charakter hat.
Für Entwickler und IT-Teams lohnt sich ein pragmatischer Einstieg: Die Funktion in einer Testumgebung ausprobieren, Berechtigungen bewusst vergeben, Sitzungen klar begrenzen und für kritische Aufgaben weiterhin auf bewährte APIs oder CLI-Tools setzen. Wer diese Vorsicht beachtet, kann GitHub Copilot Computer Use gezielt dort einsetzen, wo bislang keine bessere Automatisierungsoption existierte.
