En av de stora flaskhalsarna med modern AI-hårdvara är den dyra minnestypen High-Bandwidth Memory (HBM) som används för beräkningskretsarna och det av flera skäl. HBM som baseras på traditionellt primärminne av typen Dynamic Random Access Memory (DRAM) är svårt att skala upp i kapacitet, något som begränsar möjligheterna till mer komplexa storspråksmodeller (LLM) – vilket i branschen kallas ”memory wall” eller minnesväggen.
För att råda bot på detta har Nvidia ingått ett samarbete med den japanska minnestillverkaren Kioxia för att utveckla SSD-enheter närmare 100 gånger snabbare än dagens konventionella modeller. De framtida SSD-enheterna, som är tänkt att introduceras 2027, ska baseras på Kioxias nya lagringsminne XL-Flash NAND som introducerades så sent som senvåren 2025.
Prefixet ”XL” är kort för extremely low-latency (sv. extremt låg latens) och är en vidareutveckling av Kioxias traditionella 3D NAND, men med arkitektoniska anpassningar för krävande applikationer såsom AI, databaser och servrar. Designen är omdanad för att erbjuda bredare parallellisering än traditionellt NAND och har gått tillbaka till att använda en Single-Level Cell-arkitektur (SLC), där endast en databit (0 eller 1) lagras per minnescell. Det senare betyder i korta ordalag att SSD-enheter baserade på XL-Flash NAND alltlika erbjuder så lite som en fjärdedel av kapaciteten jämfört med kommersiella NAND-kretsar på marknaden baserade på Multi- (MLC), Triple- (TLC) och Quad-Level Cell (QLC).
Syftet med XL-Flash NAND är inte att ersätta varken NAND och DRAM, utan att erbjuda ett alternativ däremellan som kombinerar den förstnämndas kostnadsfördelarna med den senares prestandafördelarna. Minnestypen kan med andra ord inte ersätta HBM, som erbjuder oöverträffad bandbredd, men användas som komplement för att möjliggöra betydligt större storspråksmodeller än vad som idag är möjligt.
För att göra den framtida AI-anpassade SSD-enheten till verklighet ska den dels behöva anslutas till en PCI Express 7.0-anslutning, som erbjuder fyra gånger högre bandbredd än PCI Express 5.0, och därtill vara elektroniskt direktansluten till AI-beräkningskortet. Det senare än en viktig del för att minimera overhead och framförallt leverera lägre latens än vad som är möjligt när en SSD behöver ta omvägen genom serverns processorplattform.
Branschtidningen Digitimes rapporterar att Nvidia driver på för att Kioxia ska leverera en prestanda om 200 miljoner input/output operations per second (IOPS), men Kioxia själva har siktet inställt på 100 miljoner IOPS. Minnestillverkaren planerar dock att kunna leva upp till kravet genom att koppla ihop två sådan SSD-enheter. Kioxias första generations SSD-enheter med XL-Flash NAND är specificerad till 3,5 miljoner IOPS vid läsningar och målet med generation två som planeras för 2026 är 10 miljoner IOPS.
