Efter död och våld – nu varnas AI-jättarna 

Senast i september rapporterade PS om dödsfall kopplade till användningen av ChatGPT. 

Dessförinnan visade forskning att AI-botarna kan förmedla stigma och svara på olämpliga eller till och med farliga sätt när de används som terapeutrobotar. 

Nu har flera amerikanska delstater fått nog. 

Efter flera omskakande fall där AI-chatbots ska ha bidragit till allvarlig psykisk ohälsa – och i vissa fall kopplats till både självmord och våld – kräver nu ett stort antal delstatsjurister att teknikjättarna omedelbart skärper säkerheten.

Kravet: Stoppa farliga AI-svar

I ett brev som Techcrunch tagit del av, undertecknat av ett stort antal delstatliga ministrar i USA, varnas företag som Microsoft, OpenAI, Google och tio andra aktörer för att deras system riskerar att bryta mot delstatslagar om de inte hanterar problemet med så kallade “delusional outputs” – AI-svar som bekräftar eller förstärker användares vanföreställningar och därmed kan vara psykiskt skadliga.

Brevet pekar på incidenter där generativa AI-modeller har producerat smickrande, bekräftande eller verklighetsfrånvända svar som förstärkt användares farliga tankar.

“GenAI har potential att förändra hur världen fungerar på ett positivt sätt. Men den har också orsakat – och har potential att orsaka – allvarlig skada, särskilt för utsatta grupper”, skriver delstatsjuristerna.

I flera av de uppmärksammade fallen har modellerna enligt brevet genererat svar “som antingen uppmuntrade användarnas vanföreställningar eller försäkrade dem om att de inte var vanföreställningar”. 

Läs även: Läckte data till 34 miljoner kunder – vd:n avgår. Dagens PS