Šef Della ovih je dana iznio prilično sumornu prognozu: AI groznica u nadolazećem razdoblju ne samo da neće jenjavati, nego će dodatno ubrzati, pa se nestašica memorije može još više pojačati. Prema njegovim riječima, potražnja za memorijskim čipovima u nadolazećem bi razdoblju mogla narasti do nezamislivih razmjera, a razlog je to što se uz hardver namijenjen AI podatkovnim centrima, radi razvoja mogućnosti, ugrađuje sve više i više memorije, taj skok proizvodnja ne može pratiti.
Prema Michaelu Dellu, potražnja za memorijom u idućih će se nekoliko godina povećati 625 puta, odnosno stanje nestašice memorije dodatno će se pogoršati, jer se i uz AI akceleratore i uz poslužiteljske procesore koji ih opslužuju ugrađuje više memorije, a broj podatkovnih centara dinamično raste, pa će trebati više svake komponente. Povećanje od 625 puta izveo je, uzgred, na primjeru da je Nvidijin akcelerator H100 2022. trebao 80 GB HBM3 memorije, dok bi AI akceleratori koji stižu 2028. mogli imati 2 TB HBM memorije, što znači da se na tom području očekuje nešto više od 25-struko povećanje. Tome se pridodaje očekivanje da će i potražnja za AI akceleratorima do 2028. porasti 25 puta, čime smo stigli do broja 625 koji je gore spomenuo.
Čelnik je, čini se, za AI akceleratore sljedeće generacije računao s maksimalnim podržanim kapacitetom memorije, što je kod Vera Rubin Superchipa doista 2 TB, no većina će racka vjerojatno koristiti „samo” 576 GB HBM4 memorije. To je naravno 7,2 puta više nego što je trebao H100 iz gornjeg primjera, ali ipak nije 25-struki porast. Ako je rast potražnje za AI akceleratorima dobro procijenio, odnosno ako doista bude 25-struk, ukupno se na memorijskom tržištu može računati sa „samo” 180-strukim porastom, što se naravno i dalje čini masivnim i gotovo nesavladivim.
Veliki proizvođači memorije već sada ne mogu pratiti tempo rasta potražnje, a HBM4 memorijske čip-sendviče proizvodit će samo tri tvrtke: SK hynix, Samsung i Micron. Na području HBM3 pokušavaju se dotegnuti i drugi igrači, ali ni združenim snagama ne mogu zadovoljiti trenutačnu potražnju. Istina je da bi zahvaljujući tekućim kapitalnim ulaganjima 2028. moglo proraditi nekoliko novih tvornica i nekoliko novih proizvodnih linija, ali to će biti zanemariva pomoć ako potražnja doista toliko poleti kao što predviđa šef Della.
DRAM čipova, koji su potrebni i u poslužiteljskim memorijskim modulima i u HBM memorijskim čip-sendvičima, već je sada masivno manjka, a istodobno je golema i potražnja za LPDDR5x memorijskim čipovima i NAND Flash memorijskim čipovima, koja će se očekivano dodatno povećavati, no za sada je nemoguće točno procijeniti kako će se razvijati iduća tromjesečja, toliko je velika neizvjesnost.
U AI poslužitelju NVL72 temeljenom na Nvidiji GB200 jedan rack trenutačno zahtijeva ukupno 480 GB LPDDR5x radne memorije, a jedan toranj sadrži ukupno 144 E.1 utora u koje se mogu smjestiti SSD kartice velike brzine i velikog kapaciteta za pohranu. Cijeli toranj može dosegnuti najviše 13,4 TB HBM3e memorije, najviše 17 TB sistemske memorije i najviše 547 TB kapaciteta za pohranu podataka, a takvih tornjeva u jednom većem AI podatkovnom centru može biti nekoliko stotina ili čak nekoliko tisuća, odnosno za njih je doista potrebna golema količina memorijskih čipova.
