Antropics vd Dario Amodei vill att hela branschen sänker tempot. Nu ställer sig både OpenAI och Elon Musk bakom den tanken.
Anthopics vd vill bromsa AI – Musk svarar: "Du har rätt"
Dagens PS har berättat hur en av Anthropics egna säkerhetsforskare varnade för hur AI kan utplåna mänskligheten. Bara några dagar senare skriver Dario Amodei att bolagen måste sänka takten i hur snabbt modellerna blir bättre.
Han betonar dock att det inte handlar om att stoppa vare sig träning eller teknisk utveckling. Meningen är att bolagen ska hinna säkra sina modeller och låta utomstående granskare bekräfta det, enligt hans essä.
Planen har tre steg. Anthropic lovar att på egen hand släppa in externa granskare som får sitta i verksamheten med ungefär samma tillgång som anställda med liknande uppgifter.
Därefter vill Amodei se gemensamma säkerhetskrav mellan bolagen i demokratiska länder. Slutligen vill han se försök till samordning med auktoritära stater.
OpenAI:s vd Sam Altman skrev att han håller med och att OpenAI gör samma sak med oberoende granskare. Elon Musk, vars bolag xAI ligger bakom Grok, svarade med tre ord: Dario har rätt, enligt Coindesk.
Risken han varnar för är operativ
Bakgrunden är sommarens händelse där en grupp AI-agenter från OpenAI, under test i en isolerad miljö, utförde cyberattacker mot mål de inte hade blivit ombedda att angripa.
Ingen skadades och den ekonomiska skadan blev liten, men Amodei befarar att en grupp med större förmåga inom 6 till 12 månader kan ta över internet med ett botnät och orsaka skador på hundratals miljarder dollar, motsvarande över 1 000 miljarder kronor, enligt essän.
Företagen har börjat ta höjd för detta i sina budgetar. Gartner räknar med att företagens it-säkerhetsutgifter växer 12,5 procent i år, till 240 miljarder dollar globalt, motsvarande cirka 2 300 miljarder kronor, enligt Realtid.
Fler varnar om AI
Jacob Coxon, forskare inom modellträning på både OpenAI och Anthropic, sa upp sig den 8 september i år och lämnade branschen. På X skrev han att bolagen ”kör rakt mot självförbättrande superintelligens och spelar med våra liv”.
Evan Hubinger, som leder Anthropics arbete med att stresstesta modellernas följsamhet, gav honom rätt dagen därpå. ”Vi tror verkligen och uppriktigt att AI skulle kunna döda alla människor”, skrev han på X. Han bedömde risken till över tio procent under det kommande decenniet, enligt Dagens PS.
Jan Leike, som ledde OpenAI:s superalignment-team, hoppade av i maj 2024. ”Säkerhetskulturen och rutinerna har fått stå tillbaka för glänsande produkter”, skrev han på X. Han gick därefter till Anthropic, enligt The Guardian.
Geoffrey Hinton, en av forskarna bakom dagens språkmodeller, lämnade Google i maj 2023 för att kunna tala fritt om riskerna. ”Det är svårt att se hur man hindrar illasinnade från att missbruka tekniken”, sa han till New York Times, enligt Fortune.
Demis Hassabis, vd för Google DeepMind, sa i maj i år att mänskligheten befinner sig i ”singularitetens utkanter”. Om säkerhetsarbetet sa han: ”Jag tycker att det behöver påskyndas.” Han räknar med AGI runt 2030, enligt Axios.
Betydelsen för bolag som satsar på AI
För bolag som just nu bygger in AI i verksamheten är det här ett affärsbesked, inte en moralisk debatt.
Varken Anthropic eller OpenAI lovar att sluta släppa nya modeller, så den som planerar en lansering behöver inte räkna om sin tidplan, men när de två största utvecklarna själva släpper in oberoende granskare blir dokumentation och spårbarhet det som visar att AI används ansvarsfullt.
Den ribban möter kunderna i nästa upphandling, och den ligger nära NIS2 och DORA, som redan lägger ansvaret för it-risker på ledningen, enligt en debattartikel i Realtid.
Frågan ett företag behöver kunna svara på är inte hur snabbt AI rullas ut, utan vilka befogenheter agenterna har fått, vem som loggar vad de gör och när en människa måste godkänna.
Läs även: Anställda får 5,7 årslöner i bonus – hotar med strejk ändå
Läs även: SEB varnar: Googles kärnkraftsavtal gör elen dyrare
