Den kinesiska AI-tjänsten Deepseek uppges vara bättre än konkurrerande lösningar och ha utvecklats till endast en bråkdel av kostnaden – och anledningen är att tjänsten använder Nvidias instruktionsuppsättning PTX (Parallel Thread Execution). Där Nvidias generella och proprietära instruktionsuppsättning (ISA) CUDA brukas för allt från videoredigeringsmjukvara till AI-tjänster kan istället underuppsättningar med PTX-kod köras närmare hårdvaran och på så sätt optimeras bättre för specifika tillämpningar.
Uppgifterna kommer från en Mirae Asset Securities Korea-analys som översatts på X av användaren Jukanlosreve och gör gällande att Deepseeks genombrott helt enkelt beror på smart programmering. Genom att ”bygga om allt från grunden” i PTX och allokera en del av streamingprocessorerna i beräkningskretsarna till kommunikation mellan servrar, istället för att utföra beräkningar, har mycket kunnat effektiviseras.
Att kunna allokera delar av kretsarna till specifika arbetslaster är ingenting som är möjligt med CUDA, utan endast med PTX. Optimeringarna ligger med andra ord endast i hur mjukvaran är skriven, och kan sannolikt ses som ett av de största kliven framåt inom AI-beräkningar sedan dess popularisering för allmänheten med OpenAI:s ChatGPT.
Intressant nog har Deepseek och i förlängningen Kina släppt v3-modellen av tjänsten som open source, öppen källkod, vilket landet och dess bolag traditionellt inte förknippas med. Att den bygger på PTX tydliggör däremot att den bygger på Nvidia-hårdvara – där Mirae Asset Securities nämner de Kina-specifika kretsarna H800, medan rykteskvarnen har talat om att Deepseek körs på 50 000 stycken H100-kretsar.
Exakt vilken hårdvara Deepseek besitter är irrelevant, bortom faktumet att en kodbas för PTX potentiellt är skriven för specifik hårdvara. Bolagets AI-modell belyser däremot än en gång Kinas uppfinningsrikedom när landet målats in i ett hörn av amerikanskledda handelsrestriktioner. Huawei Clouds VD Zhang Ping’an nämnde under sommaren 2024 att Kina skulle fokusera på effektivare AI-beräkningar och edge-enheter som samlar in data från landets drygt 1,4 miljarder invånare. Smolket i Zhangs bägare är sannolikt att han önskat se Huaweis hårdvara under huven hos Deepseek, snarare än Nvidias.
De tekniska framgångarna åsido varnar medier och säkerhetsprofiler världen över för priset användare får betala i utbyte för användning av tjänsten – personlig data. Förfrågningarna till tjänsten skickas i klartext till servrar i Kina, där de i sin tur sannolikt används för att ytterligare förbättra AI-modellen. Att tjänsten är hårt censurerad gällande ämnen likt Kinas roll under COVID-19-pandemin, skeenden på Himmelska fridens torg (Tiananmen) och hävdar att Taiwan ”sedan urminnes tider” varit kinesiskt territorium är ingen högoddsare då det är en kinesisk tjänst.
Oavsett vad som blir av Deepseek framöver lär tjänsten bli ihågkommen som den som bidrog till den första stora optimeringsvågen inom AI. Att aktiekurserna för bolag likt Nvidia och TSMC vid lanseringen av Deepseek dök med tvåsiffriga procentsatser är enligt exempelvis före detta Intel-VD:n Pat Gelsinger däremot en ”felaktig reaktion av marknaden”, rapporterar Tom’s Hardware. ”Att sänka kostnaden för AI kommer bredda marknaden”, menar Gelsinger som erfarit det mesta i halvledarbranschen sedan han började på Intel som 18-åring år 1979.
Vidare menar Gelsinger att ett öppet ekosystem ”vinner varje gång det ges en reell chans” samt att ”AI är alldeles för viktigt för vår framtid för att tillåta att endast ett slutet ekosystem får ensamt majestät”. Exakt hur resten av världen anammar en öppen kinesisk AI-modell återstår däremot att se – men räkna med att även slutna AI-modeller börjar nyttja kod för PTX i vidare utsträckning snarast möjligt.
