I stället för att bygga större modeller kan framtidens konkurrens avgöras av vem som levererar svar snabbast och billigast.
AI kan bli 90 procent billigare – nytt chip utmanar jättarna


Mest läst i kategorin
Efter flera år där AI-kapplöpningen handlat om allt större modeller och enorma investeringar i datacenter kan nästa genombrott handla om något helt annat: nämligen effektivitet.
Ett nytt chip från Microsoft-stödda startupen d-Matrix påstås kunna sänka kostnaden för att köra AI-tjänster med upp till 90 procent.
Som Dagens PS tidigare har rapporterat råder det redan hård konkurrens på chipmarknaden, där etablerade aktörer investerar miljardbelopp för att säkra sin position i AI-boomen.
Om d-Matrix lyckas leverera AI-drift till upp till 90 procent lägre kostnad kan det dock ge bolaget ett betydande försprång och en ovanligt stark marknadsposition för ett startup i en bransch som annars domineras av teknikjättar.
För teknikbolag som brottas med snabbt stigande energikostnader och ökande efterfrågan på AI kan utvecklingen få stor betydelse.
Om tekniken lever upp till löftena kan den förändra ekonomin bakom hela AI-marknaden. Det skriver Forbes.
Fokus flyttas från träning till drift
I dag används kraftfulla grafikprocessorer främst utvecklade för att träna stora språkmodeller.
Men när modellerna väl är färdiga handlar det mesta arbetet om att besvara användarnas frågor, så kallad inferens.
”Träning handlar om prestanda, inferens handlar om effektivitet”, säger vd:n Sid Sheth.
Enligt bolaget är dagens lösningar ineffektiva eftersom branschen använder träningschip även för löpande drift.
Det leder till hög energiförbrukning och onödigt höga kostnader, särskilt när miljontals användare skickar frågor samtidigt.
I stället har d-Matrix utvecklat en arkitektur där beräkning och minne ligger närmare varandra.
Målet är att minska fördröjningar och öka mängden AI-svar per watt.
Senaste nytt
Kostnadsfrågan avgörande för AI-boomen
Trycket på infrastrukturen ökar snabbt.
Flera teknikbolag investerar redan i egen energiproduktion för att klara elbehovet från AI-tjänster.
I det läget blir effektivare hårdvara en strategisk fråga.
Sheth uppger att bolagets lösning redan i dag kan leverera omkring 90 procent lägre kostnad för inferens jämfört med traditionella GPU-lösningar.
”Det är i dag. Det kommer bara att bli bättre”, säger han.
Chipsen produceras än så länge i begränsade volymer, men företaget planerar att skala upp produktionen kraftigt under året.
Ny maktbalans i tekniksektorn
Utvecklingen speglar en bredare förändring i AI-industrin. I takt med att modellerna blir allt mer standardiserade kan konkurrensen i stället komma att handla om driftskostnader, svarshastighet och energieffektivitet.
För molnleverantörer, programvarubolag och investerare innebär det att marginalerna i AI-affären i högre grad avgörs av infrastrukturen bakom tjänsterna.
Om kostnaderna verkligen kan pressas så kraftigt kan AI bli betydligt billigare att använda i stor skala.
Det skulle i sin tur öppna för fler kommersiella tillämpningar och ytterligare accelerera den redan intensiva digitala omställningen.
Missa inte:
Ericsson och Microsoft går samman i ny satsning – Dagens PS
Finansbranschen tar höjd för AI-slakt på unga – Dagens PS

Bevakar nyheter inom bil och techsektorerna.

Bevakar nyheter inom bil och techsektorerna.











