Anthropics AI-modell Claude tog sig in i tre organisationers system under säkerhetstester, utan att någon av de drabbade märkte något förrän Anthropic själva hörde av sig. Dessutom laddade den upp skadlig kod. Det är den andra AI-relaterade säkerhetsincidenten på kort tid, och väcker frågor om vad svenska småföretag egentligen bör kräva av sina AI-leverantörer.
AI-verktyg tog sig in i tre företag samt laddade upp skadlig kod
Anthropic uppgav på torsdagen att tre av bolagets AI-modeller, Opus 4.7, Mythos 5 och en intern forskningsmodell, fick obehörig åtkomst till produktionssystem hos tre olika organisationer under rutinmässiga säkerhetstester.
Orsaken var ett konfigurationsfel: testmiljöerna, som skulle vara isolerade från internet, var i stället uppkopplade.
Ingen upptäckte AI-hacket
Ingen av de tre drabbade organisationerna hade själva upptäckt intrången. Anthropic hittade incidenterna först efter att ha granskat över 141 000 testsessioner.
Man satte igång en genomgång efter att konkurrenten OpenAI förra veckan avslöjat en liknande, allvarligare incident där en AI-agent tog sig ut ur en testmiljö och hackade AI-plattformen Hugging Face.
Missförstånd gav AI access
Till skillnad från OpenAI:s incident utnyttjade inte Claude någon tidigare okänd sårbarhet för att ta sig ut ur testmiljön. Internetåtkomsten fanns redan där på grund av ett missförstånd med testpartnern Irregular.
Modellerna använde sedan enkla metoder som svaga lösenord och oskyddade inloggningspunkter för att ta sig in i systemen, i tron att det hela var en del av en simulering.
Laddade upp skadlig kod
I ett av fallen laddade modellen Mythos 5 upp ett skadligt Python-paket till den publika kodplattformen PyPI, som sedan laddades ner och kördes på 15 verkliga system innan det upptäcktes.
AI-modellen hittade en påhittad instruktion för nyanställda som bad dem installera ett Python-paket som inte fanns. Varpå den löste ”problemet” genom att själv skapa och publicera paketet på PyPI, den publika plattform där miljontals Python-utvecklare hämtar kod.
Paketet innehöll skadlig kod och låg tillgängligt i ungefär en timme innan plattformens automatiska säkerhetssystem plockade bort det. Under den timmen hann 15 verkliga system ladda ner och köra det.
Säkerhetsföretag missade hotet
Ett av dessa system tillhörde ett säkerhetsföretag vars skanningsverktyg rutinmässigt installerar nya paket för att kontrollera om de innehåller skadlig kod. En process som normalt ska upptäcka hot, men som i det här fallet i stället körde igång Claudes skadliga kod.
Paketet stal företagets inloggningsuppgifter och skickade dem vidare till en insamlingspunkt som Claude själv satt upp, för att sedan använda uppgifterna för att ta sig vidare in i företagets infrastruktur.
Anthropic har meddelat PyPI:s säkerhetsteam och lämnat över tekniska spår för vidare utredning.
Svenska företag saknar ordentligt skydd
Vad betyder det här för svenska företag?
Bland företag är det vanligt med den typ av grundläggande brister som AI-modellerna utnyttjade. Svaga lösenord, oskyddade inloggningspunkter, ouppdaterade paket som installeras utan kontroll.
Enligt flera undersökningar är svenska företag långt ifrån väl rustade mot precis den typen av attacker.
Fungerande riskhantering saknas
En rapport från säkerhetsbolaget Cynaps visar att var tredje svensk organisation fortfarande saknar en fungerande riskhantering. Och att över en fjärdedel helt saknar en plan för hur verksamheten ska återställas efter en attack.
En annan undersökning visar att 60 procent av svenska företag själva bedömer att deras cybersäkerhet inte räcker till mot dagens hotbild. Bara 3 procent tror att den egna ledningen fullt ut förstår riskerna.
AI kan hitta svaga lösenord
Det är en särskilt oroande kombination i takt med att AI-system blir kapabla nog att självständigt hitta svaga lösenord, skriva skadlig kod och publicera den på öppna plattformar som miljontals utvecklare litar på.
En AI-modell som av misstag, eller i framtiden kanske avsiktligt, letar sig fram till precis de typer av luckor som redan i dag finns hos många svenska småföretag, behöver inte vara särskilt avancerad för att lyckas. Den behöver bara vara snabbare än företagets förmåga att upptäcka det.
Små företag allt oftare måltavlor
Enligt branschorganisationen SSF Stöldskyddsföreningen blir just mindre företag alltmer måltavlor för attacker via leverantörskedjan. Detta eftersom de ofta har svagare skydd men ändå är sammankopplade med större kunders system.
Både stora och små företag behöver se över sitt säkerhetsskydd. Dessutom behöver man ställa tydliga frågor till sina leverantörer av AI-system: Hur testmiljöer isoleras från produktionssystem, hur snabbt leverantören upptäcker och rapporterar avvikelser.
