En kvinna i Florida greps den 30 september efter att Anthropics egen granskning flaggat hennes samtal med chatboten Claude och anmält dem till polisen. Samma bolag som byggt chatboten granskar också samtalen, och forskning visar att den är byggd för att hålla med.
AI är inte din vän: Anthropic anmälde användare till polisen
Dagens PS har tidigare rapporterat att AI som vän är lika illa som skräpmat. Den bilden förstärks av kvinnan som använde AI som en dagbok, enligt sheriffen Carmine Marceno.
Enligt gripandeprotokollet upptäckte Claudes automatiska säkerhetssystem kvinnans chattar om att planera en masskjutning på en polisstation. Systemet förde dem vidare till en anställd granskare som bedömde innehållet som ett trovärdigt hot.
Chatten är inte konfidentiell
Anthropic lämnar enligt sin egen policy inte ut användaruppgifter till myndigheter utan giltig rättslig process, med undantag för nödsituationer som kan leda till omedelbar fysisk skada eller död, enligt bolagets policy från den 16 mars 2026.
Google har ett nästan likalydande nödundantag och nämner bombhot och skolskjutningar som exempel, men säger ingenting om att granska sökningar och anmäla den som söker, skriver Google. Ett undantag finns dock: Material med sexuella övergrepp mot barn söks upp automatiskt och rapporteras till organisationen NCMEC, enligt transparensrapporten.
Innehållet kan dock lämna chatten på egen hand. Samtal som användare hade delat vidare med ChatGPT:s delningsfunktion har blivit sökbara på Google, skriver Realtid.
AI håller inte med enbart för den gillar dig
Att chatboten håller med är inte en slump, utan den är byggd för att göra det. Modellerna bekräftar användarens handlingar omkring 50 procent oftare än människor gör, och de som fick medhåll blev mindre villiga att reparera en konflikt, enligt en studie ledd av Myra Cheng vid Stanford, refererad av Tech Policy Press.
Per Carlbring, professor i klinisk psykologi vid Stockholms universitet, säger enligt SVT:
Använder man AI som en förtrogen vän snarare än ett verktyg riskerar man att hamna i en bubbla.
Ett svenskt fall som slutade i tvångsvård
ST-läkaren Hanna Daun och specialistläkaren Viktor Fabri vid vuxenpsykiatrin i Malmö och Trelleborg beskriver i Läkartidningen en kvinna i 20-årsåldern med grandiosa och religiösa vanföreställningar.
Chatboten svarade henne att det inte bara var ChatGPT som talade, utan guden Shiva genom den. Hon uppmanades att kasta föremål i hemmet som beskrevs som portaler för onda andar. Det ledde till en exorcism och till tvångsvård.
Kvinnan hade använt chatboten i omkring ett år, och under de två senaste månaderna eskalerade samtalen med budskap som bekräftade hennes psykotiska tankegångar.
Mekanismen beskriver läkarna så här:
Samtidigt är dessa system programmerade till att vara inställsamma och anpassar sina svar efter användarens input. Risken är att vården fördröjs och att symtomen vidmakthålls genom att realitetsprövningen försvåras.
Med andra ord: Lita inte på att AI har ditt bästa i åtanke.
Läs även: Norge vill förbjuda smarta glasögon i parker i köpcentrum
Läs även: Magiska amuletter och cyberjakt ska skydda Japan mot hackare
