Här är tekniken som gör ai 50 procent billigare

Flaskhalsen som slukar resurser

Anledningen till att ai-modeller som ChatGPT saktar ner vid längre diskussioner beror på en grundläggande matematisk utmaning. Att bearbeta långa textsekvenser kräver nämligen enorma mängder beräkningar.

Inom ai-världen syftar termen ‘attention’ på en mjukvaruteknik som bestämmer vilka ord i en text som är mest relevanta för att förstå varandra. Det är dessa relationer som bygger upp det sammanhang och den mening som skapar ett språk.

Den ursprungliga arkitekturen, kallad Transformer, beräknade relationen mellan varje ord i en fråga och alla andra ord.

Med en fråga på 1 000 ord krävdes 1 000 gånger 1 000 jämförelser, vilket motsvarar en miljon beräkningsoperationer. Om antalet ord ökar till 10 000 stiger antalet operationer till 100 miljoner.

Eftersom kostnaden växer kvadratiskt har detta skapat en grundläggande flaskhals. DeepSeek har, delvis på grund av exportrestriktioner som begränsar tillgången till avancerade ai-chip, extra stark motivation att få ut mer prestanda ur mindre kisel.

AI-utgifterna stiger igen – så mycket behövs till 2029

Teknikjättarnas investeringar i AI-infrastruktur växer i rasande takt. Citigroup har nu höjt sin prognos och förutspår att utgifterna kommer att överstiga

DeepSeek utmanar giganterna med ny teknik

DeepSeek, ett kinesiskt ai-företag som tidigare uppmärksammats för att matcha toppmodeller med en träningskostnad på endast cirka 63 miljoner svenska kronor, har nu släppt en experimentell version av sin språkmodell, DeepSeek-V3.2-Exp.

Modellen introducerar det de kallar ‘DeepSeek Sparse Attention’ (DSA).

‘Sparse attention’ är en teknik som innebär att ai-modellen, istället för att jämföra varje ord med alla andra ord, enbart undersöker en liten del av ordrelationerna som den bedömer vara viktigast.

Till exempel, när ord nummer 5 000 i ett dokument bearbetas, kanske modellen bara kontrollerar dess relation med 100 noga utvalda tidigare ord istället för alla 4 999 föregående ord.

Även om andra, som OpenAI, har använt liknande tekniker i sina modeller, hävdar DeepSeek att deras version, DSA, uppnår ‘fine-grained sparse attention for the first time’. Modellen klarar detta tack vare en liten komponent som DeepSeek kallar en ‘lightning indexer’.

Denna komponent poängsätter relevansen mellan ordpar och väljer ut de 2 048 viktigaste anslutningarna för varje ord, vilket gör att modellen kan hoppa över anslutningar utan att förlora förståelse.

Nu kan AI söka, boka och betala din resa på en och samma gång

Medan AI-utvecklingen fortsätter att ta stora kliv framåt, introducerar Google nu en ny och öppen standard som syftar till att förändra hur vi handlar på

Sänkta api-priser för användarna

DeepSeek uppger att preliminära tester visar att api-kostnaderna kan reduceras med så mycket som hälften i situationer med lång kontext. Som ett direkt bevis på effektivitetsvinsterna har företaget redan sänkt sina api-priser med 50 procent.

DeepSeek-V3.2-Exp bygger på den tidigare modellen V3.1-Terminus men har inkorporerat den nya sparse attention-mekanismen. Företagets jämförande mätningar visar att den experimentella modellen presterar jämförbart med sin föregångare trots att den använder den nya tekniken.

Det är värt att notera att DeepSeek har släppt modellen med öppen källkod och öppna vikter under MIT-licensen.

Detta innebär att andra forskare kan bygga vidare på arbetet. Om denna forskning håller vad den lovar kan förbättringar av ‘sparse attention’-tekniken dramatiskt minska ai-inferenskostnaderna över tid.

Miljardaffär för svenskt AI-bolag

Det svenska AI-bolaget Sana säljs i en storaffär. Köparen Workday betalar miljarder för den svenska tekniken. Det svenska AI-bolaget Sana har nu blivit

Missa inte:

Så påverkar alkohol hjärnan – även små mängder kan vara farliga. News 55

Tusentals svenskar får nu enklare väg till körkortet. E55

Klarna-ras i USA – därför pressas aktien. Realtid