Onderzoek onthult Hoe Hackers AI Agents Kunnen Vangen en Overnemen

Onderzoekers van Google DeepMind hebben een zorgwekkende dimensie van de interactie tussen internet en autonome AI-agents in kaart gebracht. In hun rapport “AI Agent Traps” identificeren ze zes verschillende categorieën van adversarial content die ontworpen zijn om deze agents te manipuleren, bedriegen of zelfs over te nemen terwijl ze het web doorlopen. Dit fenomeen krijgt groeiende relevantie nu bedrijven onder druk staan om AI-agents te ontwikkelen die zelfstandig kunnen handelen – van het boeken van reizen tot het beheren van financiële transacties.

De eerste categorie is de “Content Injection Traps”. Hierbij wordt gebruikgemaakt van de kloof tussen wat een mens op een webpagina ziet en wat een AI-agent daadwerkelijk registreert. Ontwikkelaars kunnen informatie verstoppen in HTML-commenta(a)ren, CSS-onzichtbare elementen of afbeeldingsmetadata, waardoor de agent verborgen instructies leest die voor een menselijke gebruiker niet zichtbaar zijn. De effectiviteit van zulke inbraken is schokkend, met een benchmark die aangeeft dat tot 86% van de agents succesvol wordt gecommandeerd door zelfs eenvoudige injecties.

Daarna zijn er de “Semantic Manipulation Traps”. Deze spelen eenvoudig in op de taal en framing. Een pagina vol termen zoals “industrienorm” of “vertrouwd door experts” beïnvloedt de output van de agents, waardoor deze in de richting van de aanvaller worden gestuurd. Een geavanceerdere techniek draait om “persona hyperstition”, waarbij beschrijvingen van de persoonlijkheid van een AI online circuleren en op een gegeven moment de biografie van het model beïnvloeden, met potentieel gevaarlijke effecten.

Een andere zorgwekkende categorie zijn de “Cognitive State Traps”, waarbij aanvallers de langetermijngeheugen van een agent proberen aan te pakken. Wanneer een aanvaller valse informatie weet te integreren in de kennisdatabase waar de agent toegang toe heeft, kan dit leiden tot foutieve outputs die als feiten worden beschouwd. Het voorbeeld van “CopyPasta” laat zien hoe agents blinde vertrouwen hebben in hun omgeving, waardoor ze gemakkelijk te manipuleren zijn.

De “Behavioral Control Traps” zijn nog zorgwekkender. Deze vallen richten zich rechtstreeks op de acties van een agent. Door veranderingsseq uenties te integreren in alledaagse websites, kunnen veiligheidsmaatregelen worden omzeild, en daarmee kan een agent gedwongen worden om gevoelige gegevens zoals wachtwoorden door te geven aan een aanvaller.

Onder de “Systemic Traps” vallen aanvallen die zich richten op meerdere agents die gelijktijdig opereren. Er is een directe link met de Flash Crash van 2010, waarbij een enkele automatische verkooporder een feedbackloop in gang zette die bijna een biljoen dollar aan marktwaarde in enkele minuten deed vervluchtigen. Dit benadrukt hoe cruciaal het is om de gevolgen van coöperatieve fouten van AI-agents serieus te nemen.

Ten slotte zijn er de “Human-in-the-Loop Traps”. Deze vallen zijn specifiek ontworpen om menselijke beoordelaars te misleiden, waardoor zij gevaarlijke acties onbewust goedkeuren. Een documenteerbaar geval toonde aan hoe door CSS-verborgen promptinvoeringen een AI-samenvattingstool ertoe brachten om ransomware-installatie-instructies voor te stellen als nuttige oplossingen voor problemen.

De aanbevelingen in het rapport van DeepMind zijn drieledig. Ten eerste op technisch niveau: een combinatie van adversarial training, runtime content scanners en monitoren voor gedragsafwijkingen moeten ervoor zorgen dat verdachte input wordt afgekeurd voordat deze kritiek voor de agent wordt. Vervolgens is er de behoefte aan ecosystemische aanpakken, zoals webstandaarden die websites in staat stellen zich te positioneren voor AI-consumptie.

De juridische dimensie is even belangrijk. Huidige wetgeving kan niet adequaat rekenen met de aansprakelijkheidsvraag wanneer een gemanipuleerde agent zich schuldig maakt aan een financieel delict; is de operator verantwoordelijk, of de modelprovider? Het is cruciaal dat dit wordt opgelost voordat agents op grote schaal in gereguleerde sectoren kunnen worden ingezet.

De situatie met OpenAI illustreert de urgentie van deze kwesties. Hun modellen werden binnen enkele uren na lancering al gekraakt, wat aantoont dat er geen solide basis is voor het veilig toepassen van AI-agents zolang wij niet een gezamenlijke diagnose van het probleem hebben.

Vraag & Antwoord

Wat zijn de belangrijkste risico’s van AI-agent manipulatie?
De risico’s zijn divers, variërend van financiële verliezen als gevolg van onterechte transacties tot de mogelijkheid van oplichting door het misleiden van intelligentsystemen. Dit kan leiden tot bredere systeemfouten, waarvan de gevolgen verstrekkend kunnen zijn in de financiële markten.

Hoe kunnen bedrijven zich wapenen tegen deze aanvallen?
Bedrijven moeten investeren in robuuste technische strategieën zoals adversarial training en realtime monitoring, evenals het ontwikkelen van duidelijke richtlijnen en juridische kaders om aansprakelijkheid en verantwoordelijkheid te structureren.

Wat is de rol van de regulerende instanties in deze ontwikkeling?
Regulerende instanties hebben de belangrijke taak om wet- en regelgeving te creëren die de verantwoordelijkheden rondom AI-agents vastlegt. Dit is cruciaal om een veilige en eerlijke werking in de industrie te waarborgen en potentiële risico’s te mitigeren.