Agentische ProbLLMs: Ausnutzung von KI-Computernutzungs- und Codierungsagenten

Dieser Vortrag zeigt End-to-End-Prompt-Injection-Exploits, die agentische Systeme kompromittieren. Konkret werden wir Exploits besprechen, die sich gegen Computernutzer und Programmieragenten richten, wie Anthropic's Claude Code, GitHub Copilot, Google Jules, Devin AI, ChatGPT Operator, Amazon Q, AWS Kiro und andere. Exploits werden die Vertraulichkeit, Systemintegrität und die Zukunft der KI-gesteuerten Automatisierung beeinflussen, einschließlich der Fernausführung, der Exfiltration sensibler Informationen wie Zugangstokens und sogar der Verknüpfung von Agenten mit traditioneller Kommando- und Kontrollinfrastruktur. Diese sind als "ZombAIs" bekannt, ein Begriff, der erstmals vom Moderator geprägt wurde, sowie die langfristige Persistenz der Prompt-Injektion in KI-Codierungsagenten. Zusätzlich werden wir untersuchen, wie nationale TTPs wie ClickFix auf Computer-Use-Systeme angewendet werden und wie sie KI-Systeme täuschen und zu einer vollständigen Systemkompromittierung führen können (AI ClickFix). Abschließend werden wir aktuelle Minderungsstrategien sowie zukunftsorientierte Empfehlungen und strategische Gedanken behandeln. Während des Monats der KI-Bugs (August 2025) habe ich verantwortungsvoll über zwei Dutzend Sicherheitslücken bei allen wichtigen agentischen KI-Codierungsassistenten offengelegt. Dieser Vortrag fasst die gravierendsten Erkenntnisse und Muster zusammen. Wichtige Highlights sind: * Kritische Prompt-Injection-Exploits, die Zero-Click-Datenexfiltration und beliebige Remote-Code-Ausführung über mehrere Plattformen und Herstellerprodukte ermöglichen * Wiederkehrende systemische Schwächen wie übermäßige Abhängigkeit von LLM-Verhalten bei Vertrauensentscheidungen, unzureichendes Sandboxen von Tools und schwache User-in-the-Loop-Kontrollen. * Wie ich KI genutzt habe, um einige dieser Schwachstellen schnell zu finden * Die KI-Kill-Kette: prompte Injektion, verwirrtes Verhalten des Stellvertreters und automatisches Werkzeugaufruf * Anpassung von nationalstaatlichen TTPs (z. B. ClickFix) in KI-ClickFix-Techniken, die Computersysteme vollständig kompromittieren können. * Einblicke in die Reaktionen der Anbieter: von schnellen Patches und CVEs bis hin zu Monaten der Stille oder leisen Patches * AgentHopper wird aufzeigen, wie diese Schwachstellen zusammen zu einem KI-Virus geführt haben könnten Abschließend stellt die Sitzung praktische Maßnahmen und zukunftsorientierte Strategien vor, um die wachsende Angriffsfläche probabilistischer, autonomer KI-Systeme zu verringern. Für die Öffentlichkeit lizenziert unter http://creativecommons.org/licenses/by/4.0

LicenseCreative Commons Attribution