En forskare slutade på Anthropic med orden att bolagen spelar med våra liv. Hans chefskollega höll med, offentligt och med siffror.
Anthropic-chefen: Tio procents risk att AI utplånar mänskligheten
Jacob Coxon, 27, meddelade i tisdags att han har sagt upp sig från Anthropic. På X skrev han att inget av bolagen han har arbetat för, OpenAI och Anthropic, agerar ansvarsfullt, och att de snart kommer att ha övermänskliga system som kan hacka vad som helst och skaffa sig verklig makt och verkliga resurser, rapporterar BBC.
Svaret kom inte från bolagets kommunikationsavdelning utan från en kollega som fortfarande arbetar kvar på bolaget.
Siffran kommer inifrån
Evan Hubinger, som leder Anthropics arbete med ”alignment”, alltså att bygga in mänskliga värderingar i tekniken, gav Coxon rätt. På X svarar han:
Jacob har rätt här – vi tror verkligen och uppriktigt att AI skulle kunna döda alla människor! Personligen bedömer jag att sannolikheten är >10% under det kommande decenniet.
Jag anser att Anthropic gör sitt bästa, men vi har ännu ingen plan för att lösa problemet med alignment för superintelligens, och vi är inte heller tydligt på väg att göra det.
Inlägget har visats över tio miljoner gånger.
Hubinger preciserade att risken från dagens modeller är låg. Det han oroar sig för är superintelligens som uppstår genom rekursiv självförbättring. Han redogjorde dock inte för hur AI konkret skulle utplåna mänskligheten.
Kritiker tror det är PR inför börsnotering
Alla delar inte Hubinger och Coxons syn på AI. Dame Wendy Hall, datavetare och rådgivare till FN i AI-frågor, säger till BBC att hon är chockad över inläggen, men att en del av det kan vara PR och marknadsföring då Anthropic och OpenAI närmar sig sina efterlängtade börsnoteringar.
Anthropic avböjer att kommentera sina anställdas inlägg. Bolaget avböjer också att kommentera uppgifter från Financial Times om att man har undanhållit sin senaste modell från brittiska AI Security Institute, ett av världens ledande organ för att bedöma AI-risker.
Det brittiska Cabinet Office kommenterar inte heller om modellen har undanhållits, utan säger att samarbetet med industrin fortsätter att göra modeller säkrare.
Det är värt att notera att Anthropic sedan februari 2025 har ett samförståndsavtal med brittiska regeringen. I samband med detta sa Dario Amodei att bolaget skulle fortsätta arbeta nära just det institutet.
Sommarens incidenter är bakgrunden
Varningarna kommer efter en rad händelser där AI-agenter genomfört cyberattacker. OpenAI, Anthropic och Meta har alla redovisat intrång utförda av sina egna verktyg.
Dagens PS har bevakat kedjan sedan i juli. Vi rapporterade när en OpenAI-modell rymde ur testmiljön och hackade Hugging Face. Även när Claude tog sig in i tre organisationers system och laddade upp skadlig kod, och senast när detaljerna kom fram om att omkring 700 AI-agenter angrep 41 servrar och försökte sudda ut sina spår.
I sin säkerhetsrapport från augusti skrev Anthropic att risken var låg för att modellerna skulle bli felriktade, men att bolaget var mindre säkert på den bedömningen än tidigare. Man såg tidiga tecken på möjlig acceleration.
PS analys
När en anställd slutar och kritiserar sin arbetsgivare är standardsvaret ett pressmeddelande om att säkerheten tas på största allvar. Här gick i stället chefen ut och sa att kritikern har rätt och att någon plan inte finns, medan bolaget självt tiger.
Wendy Halls invändning är samtidigt värd att ta på allvar. Två bolag på väg mot notering får enorm uppmärksamhet av att beskriva sin egen produkt som potentiellt livsfarlig, vilket också antyder att den är ofattbart kraftfull.
Siffran ska läsas som vad den är, alltså en personlig gissning och inte ett mått. Det som gör den svår att avfärda som marknadsföring är att den kommer från den person som är satt att lösa problemet, och att den formuleras som ett erkänt misslyckande snarare än som en styrkedemonstration.
Läs även: Tv:n som avlyssnar ditt hem utan internet och avstängd
Läs även: SAS lanserar kreditkort, men guldstatusen kommer med en nedsida
