AI:s "hjälp" gav oväntad kalldusch för kodare

Tidsbesparingar åts upp av oväntat arbete

En djupare analys av skärminspelningar från en delmängd av utvecklarna visade att AI-verktygen visserligen minskade den tid som ägnades åt aktiv kodning, testning, felsökning samt läsning och sökning efter information.

Försvarade sig med fantasi-fall – AI lurade advokaterna rejält

Advokaterna som företräder MyPillow och vd Mike Lindell har dömts till böter efter att ha använt AI med felaktiga uppgifter i rätten. En domstol i Denver

Dessa besparingar kompenserades dock av den tid som gick åt till att granska AI-genererade resultat, skriva instruktioner till AI-systemen (prompts) och vänta på att AI skulle generera utdata.

Dessutom ökade “inaktiv/övrig tid” där skärminspelningarna inte visade någon aktivitet.

Forskarna noterade att utvecklarna i studien endast accepterade mindre än 44 procent av den AI-genererade koden utan att behöva modifiera den. En majoritet av utvecklarna rapporterade att de behövde göra större ändringar i den kod som deras AI-assistent producerat.

Totalt 9 procent av den totala uppgiftstiden i den AI-assisterade delen av studien gick åt till granskning och rengöring av AI-genererad kod.

Komplexa projekt och mänsklig expertis utmanar AI

Studien pekar på att resultaten kan skilja sig från andra forskningsrön som visar på ökad kodningseffektivitet med AI-verktyg. Detta beror delvis på att många tidigare studier använder mått som totalt antal kodrader eller antal slutförda uppgifter, vilket inte alltid speglar faktisk produktivitet.

Dessutom har många befintliga prestandatester fokuserat på syntetiska, specialutvecklade uppgifter, vilket gör det svårt att dra slutsatser om verkliga kodbaser.

En viktig faktor i METR:s studie var projektens komplexitet. De studerade projekten var i genomsnitt tio år gamla och innehöll över 1 100 000 kodrader.

Faktorerna som bidrog till inbromsningen inkluderade utvecklarnas överoptimism om AI:s användbarhet, utvecklarnas höga förtrogenhet med befintliga kodbaser, stora och komplexa koder, låg tillförlitlighet hos AI-genererad kod och AI:s oförmåga att hantera implicit kodkontext.

Roboten sa ”ja” till självmord – larm om nya AI-terapeuter

Medan teknikens framsteg inom ai lovar en ljusare framtid, finns det områden där mänsklig kontakt förblir oersättlig. En ny studie från Stanford

Framtidens AI-verktyg kan bli effektivare

Trots de nuvarande begränsningarna är forskarna optimistiska om att framtida AI-verktyg kan leda till effektivitetsvinster för programmerare.

System med högre tillförlitlighet, lägre fördröjning och mer relevanta utdata (genom tekniker som prompt-scaffolding eller finjustering) “skulle kunna påskynda utvecklare i vår miljö”. Det finns redan “preliminära bevis” för att den nyligen släppta Claude 3.7 “ofta korrekt kan implementera kärnfunktionaliteten i problem på flera av de koder som ingår i vår studie”.

Denna studie, publicerad av METR med författarna Joel Becker, Nate Rush, Beth Barnes och David Rein, ger värdefulla insikter om AI:s nuvarande inverkan på erfarna mjukvaruutvecklare. Den understryker vikten av att inte enbart förlita sig på expertprognoser eller utvecklarundersökningar, utan istället genomföra robusta fältstudier med konkreta resultatmått för att förstå AI:s faktiska påverkan i verkliga scenarier.

Insideravslöjande: Så pumpas pengar in i Musks hetaste projekt

En stor investering kan vara på gång för Elon Musks AI-bolag, då SpaceX ryktas satsa miljarder. Detta drag stärker Musks imperium. Ett oväntat drag inom