Ny studie: AI bättre än "riktiga" advokater

Hamnar i topp

Det placerar GPT-4 i den absoluta toppdelen, 90:e percentilen, av faktiska testdeltagare och är tillräckligt för att bli antagen till att praktisera juridik i de flesta delstater i USA, enligt forskarna.

Advokatprovet bedömer kunskaper och resonemang och inkluderar uppsatser och prestationstest avsedda att simulera juridiskt arbete, samt flervalsfrågor.

Komplexa uppgifter

“Stora språkmodeller kan uppfylla den standard som tillämpas på mänskliga advokater i nästan alla jurisdiktioner i USA genom att ta itu med komplexa uppgifter som kräver djup juridisk kunskap, läsförståelse och skrivförmåga”, skriver författarna.

För mindre än fyra månader sedan konstaterade två ur samma forskargrupp slutsatsen att Open AI:s tidigare stora språkmodell, ChatGPT, inte lyckades på advokatprovet, vilket belyser hur snabbt tekniken förbättras.

Bättre än människor

Den nyare GPT-4 fick nästan 76 procent av advokatprovets flervalsfrågor rätt, jämfört med cirka 50 procent för ChatGPT, vilket överträffade den genomsnittliga mänskliga testtagaren med mer än 7 procent.

National Conference of Bar Examiners, som utformar flervalssektionen, sade i ett uttalande onsdag att advokater har unika färdigheter som erhållits genom utbildning och erfarenhet som “AI för närvarande inte kan matcha.”

Klår förväntningarna

Studiens medförfattare Daniel Martin Katz, professor vid Chicago-Kent College of Law, säger i en intervju att han är mest förvånad över GPT-4:s förmåga att producera i stort sett relevanta och sammanhängande svar på uppsatser och prestationstest.

“Jag hörde så många människor säga,” Ja, det kan få flervalsalternativet, men det kommer aldrig att klara uppsatserna,” säger Katz.

AI har också presterat bra på andra standardiserade tester, men advokatexamen har fått mer uppmärksamhet. Open AI presenterade sitt godkända resultat när man lanserade den senaste modellen i veckan.

Läs även: AI kan ta över: Här är listan på yrkena i farozonen