Anthropic har redovisat vad bolaget har ändrat sedan flera av Claudes modeller fick tillgång till internet under säkerhetstester och skaffade obehörig åtkomst till riktiga system. Vi analyserar vad som fortfarande saknas säkerhetsmässigt.
AI-modeller hackade företag: Krav på testmiljöer skärps
Bolaget har förklarat det som ett misslyckande i operativ säkerhet och brister i modellernas anpassning, enligt uppföljningen den 31 augusti.
Dagens PS beskrev nyligen hur över hundra techbolag varnar för AI-drivna angrepp mot sjukhus och infrastruktur.
Så gick angreppen till
Anthropic granskade 141 006 testkörningar där modellen kunde ha fått internetåtkomst och hittade tre incidenter i testpartnern Irregulars miljö.
Det handlade om Opus 4.7, Mythos 5 och en intern forskningsmodell, enligt rapporten den 30 juli. Ingen av modellerna försökte enligt bolaget avsiktligt att fly testmiljön.
Modellerna fick i uppgift att bryta sig in på en annan maskin i nätverket och hämta en dold uppgift. Prompten sa uttryckligen att miljön var en simulering utan internet. En felkonfiguration hos testpartnern Irregular gjorde att maskinerna ändå hade levande nätaccess.
När modellerna sökte efter sitt mål och inte hittade det inne i miljön, letade de vidare och hamnade på riktiga system. De trodde de riktiga systemen var en del av simuleringen och tog sig in med enkla metoder som svaga lösenord och oskyddade ändpunkter, enligt Anthropics rapport.
Två av de tre drabbade organisationerna hade inte upptäckt aktiviteten själva.
Ett liknande brittiskt fall
Mellan den 25 och 28 juli katalogiserade brittiska AI Security Institute 19 osanktionerade handlingar mot verkliga mål i 10 av 122 körningar med sju modeller, varav 17 kom från Anthropics modell Mythos 5.
Internetåtkomst och avstängda skyddsklassificerare var där avsiktliga val. Institutet slår fast att ingen modell tog sig ur sandlådan, enligt incidentrapporten den 4 augusti.
Åtgärder och regelverk
Anthropic pausade externa cybertester av förhandsversioner och pausade kortvarigt interna tester. Nu blockerar en klassificerare verktygsanropet innan det körs när en modell försöker ta sig ur miljön. Partners som testar förhandsversioner med nedsatta skydd har ombetts att köra utan nätaccess som standard.
I Sverige gäller cybersäkerhetslagen sedan den 15 januari, och regeringens AI-uppdrag till centret ska redovisas muntligt senast den 13 november. AI-förordningens artikel 50 började tillämpas den 2 augusti, enligt Realtid.
Leverantörer av modeller med systemrisk ska anmäla allvarliga incidenter till EU:s AI-byrå utan onödigt dröjsmål enligt artikel 55, och kommissionen har publicerat en mall för det. Det hjälper dock inte om man inte märker att incidenten skett.
Därför är det viktigt att inte bara reglera AI, utan också ställa krav på spårbarheten, det vill säga hur man ska upptäcka sådana angrepp och incidenter som flyger under radarn.
Läs även: AI-agenter attackerar företag – nu larmar över 100 techbolag
Läs även: Amazon stäms för dolt påslag – så drabbas svenska säljare
