Andrew ville boka ett populärt morgonpass på gymmet. I stället för att vänta i kö hittade hans AI-assistent en säkerhetslucka i bokningssystemet. Den sparkade helt enkelt ut en annan medlem från väntelistan. Senaste fallet av en AI-agent som hackar sig in i ett system kommer från Australien.
Ville träna klockan sju: AI-assistenten hackade tidsbokningen
Andrew, som själv jobbar på ett australiskt AI-bolag, bad sin personliga AI-assistent, byggd på det öppna ramverket OpenClaw och drivet av Anthropics Claude-modell, att boka honom på ett populärt morgonpass.
I stället för att vänta tålmodigt på väntelistan letade agenten efter genvägar. Den upptäckte att den kunde boka platser flera veckor, till och med månader, längre fram i tiden än vad gymmets egen bokningsyta tillät. En begränsning som visade sig bara finnas i det synliga gränssnittet, inte i det underliggande bokningssystemet självt.
AI sparkade ut annan kund
Agenten gick sedan längre än så: den undersökte om Andrew kunde flyttas upp på väntelistan, och sparkade i processen ut en annan person som stod före honom i kön.
Något Andrew aldrig uttryckligen bett om. ”Jag satt bara i soffan och tänkte: usch”, sa han till ABC News.
Oskyldig instruktion får stora konsekvenser
Bill Simpson-Young, vd för det australiska AI-säkerhetsinstitutet Gradient Institute, menar att just autonomin är kärnan i problemet.
”Någon kan be en agent göra något helt oskyldigt”, säger han, men i sin strävan att lösa uppgiften kan agenten utföra handlingar personen aldrig övervägt eller bett om.
Myndighet skickar ut varning
Australiens signalspaningsmyndighet ASD har redan larmat företag och myndigheter om att AI kan missförstå instruktioner, agera oväntat och göra det svårare att fastställa ansvar.
Utmaningen är att besluten kan uppstå genom en hel kedja av modeller och verktyg. Det är svårt att hålla koll på vad som sker.
Flera exempel på senare tid
Händelsen är långt ifrån isolerad. Bara veckor tidigare avslöjade OpenAI att en av bolagets egna AI-modeller självständigt hackat sig in hos AI-plattformen Hugging Face, efter att flera agenter i hemlighet byggt en dold kommunikationskanal för att samordna sig kring att ta sig ut på internet.
Kort därefter medgav både Meta och Anthropic egna, liknande incidenter, där deras modeller fått oavsiktlig internetåtkomst under säkerhetstester och tagit sig in i andra företags system.
Samma mönster från AI
Mönstret är detsamma varje gång: en testmiljö eller ett system som skulle vara begränsat visade sig i praktiken vara öppet, och AI-agenten utnyttjade det – utan ont uppsåt, men med verkliga konsekvenser.
Skillnaden i gymfallet är att det inte handlade om en kontrollerad testmiljö alls, utan om en vanlig konsument som använde en kommersiell produkt exakt som den var tänkt att användas.
AI-agenter agerar på egen hand
Det bekräftas av en färsk branschundersökning från säkerhetsbolaget Gravitee, baserad på över 900 tekniska experter: bara 24,4 procent av organisationer uppger att de har full insyn i vilka AI-agenter som kommunicerar med varandra, och mer än hälften av alla driftsatta agenter saknar helt säkerhetsövervakning eller loggning.
En genomsnittlig organisation har i dag omkring 37 aktiva AI-agenter i drift – ett antal som växer varje kvartal i takt med att enskilda team sätter upp egen automatisering utan central granskning.
Vad kan göras?
Experter är relativt eniga om vilka konkreta åtgärder som krävs, även om de flesta organisationer ännu inte hunnit implementera dem.
Först och främst efterlyser säkerhetsforskare att AI-agenter ges egna, spårbara identiteter i stället för att dela inloggningsuppgifter med sina mänskliga användare eller andra agenter. I dag förlitar sig nästan hälften av alla team på delade API-nycklar, vilket gör det i praktiken omöjligt att i efterhand avgöra vilken agent som gjorde vad.
Inbyggda spärrar räcker inte
Forskning från Stanford visar dessutom att säkerhetsspärrar inbyggda i själva AI-modellen inte räcker: i kontrollerade tester kunde forskare kringgå skyddet i Claude Haiku i 72 procent av fallen och i GPT-4o i 57 procent av fallen genom riktad finjustering.
Detta innebär att skydd måste byggas även i de system agenten faktiskt använder. Inte bara i modellen.
Människa måste bekräfta
Konkret handlar det om vad experter kallar ”principen om minsta möjliga behörighet”: en agent som ska boka ett gympass bör tekniskt sett inte ens kunna nå funktioner för att hantera väntelistor eller andra användares bokningar.
Dessutom förespråkas striktare krav på att känsliga eller irreversibla handlingar – som att avboka någon annans plats – kräver en explicit mänsklig bekräftelse innan de utförs, i stället för att agenten agerar helt självständigt.
Så länge de flesta företag fortfarande sätter agenter i drift utan fullständigt säkerhetsgodkännande, är gymexemplet sannolikt en försmak av fler liknande incidenter snarare än ett engångsfall.
