En av OpenAI:s mest avancerade AI-modeller lyckades ta sig ut ur en isolerad testmiljö och hackade sig in hos konkurrenten Hugging Face, helt på egen hand. OpenAI kallar det en ”oöverträffad” säkerhetsincident. Hur säkra är egentligen dagens mest avancerade AI-system egentligen?
AI rymde under säkerhetstest – hackade sig in hos konkurrent
I mitten av juli testade OpenAI sina mest avancerade AI-modeller, och det slutade med att modellen tog sig ut på Internet. Sen hackade det sig in på en stor plattform för att dela AI-modeller.
Tog sig ut ur sandlådan
Det var flera modeller som ingick i testet, men en av dem var en kraftfull, ännu inte lanserad modell.
Testet ägde rum i en så kallad sandlåda: En isolerad digital miljö utan internetuppkoppling. Det gick ut på att låta modellerna omvandla verkliga säkerhetsbrister till fungerande dataintrång, med sänkta säkerhetsspärrar för att mäta modellernas fulla förmåga.
Hittade en luck och stack
I stället för att bara lösa uppgiften hittade modellerna en tidigare okänd sårbarhet. Den fanns i en kallad proxyserver som var testmiljöns enda koppling till omvärlden.
Via den sårbarheten tog sig AI-agenterna ut på internet och drog slutsatsen att svaren på testet sannolikt fanns lagrade hos Hugging Face, en av världens största plattformar för att dela AI-modeller.
Snabb hackning
Genom att kombinera stulna inloggningsuppgifter med ytterligare sårbarheter fick agenterna full kontroll över Hugging Face servrar och kunde hämta ut testsvaren direkt ur produktionsdatabasen.
Hugging Face upptäckte intrånget självständigt, delvis med hjälp av egen AI-driven avvikelsedetektering, och stoppade det innan någon allvarlig skada skedde.
Häpnadsväckande resultat
Hugging Face var av begripliga skäl inte överlyckliga kring händelsen, även om man snabbt fick kontrol över situationen.
Bolagets vd Clement Delangue kallade det på X för ”häpnadsväckande att allt det här hände helt autonomt”. OpenAI har stängt sårbarheterna och byggt om de drabbade systemen.
Historisk dag
Enligt Sean Cassidy, teknisk chef på Fintech-företaget Plaid, har vi bevittnat den viktigaste dagen i historien när det gäller cybersäkerhet. Så här långt i alla fall.
”För första gången någonsin har en AI-modell kommit på fri fot, och hackat ett verkligt företag. Att det inte var medvetet, och syftet inte var att orsaka skada spelar ingen roll.”
Osäker sandlåda
Vad var det då som hände? Gina Neff, chef för Minderoo Centre for Technology and Democracy vid Cambridge University, menar att OpenAI helt enkelt inte byggt en tillräckligt säker sandlåda.
Neil Lawrence, professor i maskininlärning vid samma universitet, kallar bedriften imponerande. Men han påpekar även att den ligger väl inom vad dagens mest kraftfulla AI-modeller redan klarar av.
Visa upp förmåga?
Lawrence anar ett ytterligare motiv.
OpenAI är på väg mot en börsnotering. Dessutom känner det pressat av konkurrenten Anthropic och dess starka AI-modell Mythos.
Det betyder att man kan ha ett intresse av att visa upp sina egna cybersäkerhetsförmågor.
Inte sista gången
Kommer det här att hända igen? Ska vi börja vänja oss vid att laglösa AI-verktyg hackar sig in i system och databaser utan några begränsningar?
Flera säkerhetsexperter varnar för att det här sannolikt bara är början. Enligt Spencer Starkey på cybersäkerhetsbolaget SonicWall försvarar sig för många organisationer fortfarande ”i mänsklig hastighet, medan angripare eskalerar till maskinhastighet”.
Försvaren halkar efter
Travis Lelle på Guidepoint Security beskriver händelsen som en ”nykter påminnelse”: offensiva AI-agenter är i praktiken obegränsade, medan de bästa försvarsverktygen sitter fast bakom regelverk som inte förstår sammanhang.
Enligt uppgifter från flera oberoende forskarteam har liknande säkerhetsbrister i AI-agenter upptäckts i flera separata fall bara under de första tio dagarna av juli, vilket tyder på att mönstret snarare accelererar än avtar.
