JEDEC je dovršio zanimljiv memorijski standard čiji je prvenstveni cilj kreativnim rješenjima pomoći u smanjenju troškova povezanih s memorijskim podsustavom AI akceleratora koji se oslanjaju na standard HBM memorije, iako će za to biti potrebno prihvatiti i nešto kompromisa, što nagovještava da će memorijski standard SPHBM4 funkcionirati kao svojevrsna zanimljiva dopuna, a ne kao izazivač standardima HBM4/HBM4E.
Standard Package High Bandwidth Memory, koji nosi kodni naziv JESD330-4, prvenstveno služi tome da zamijeni skupe i složene tehnologije pakiranja čipova koje su dostupne samo uz ograničene proizvodne kapacitete, zbog čega je količina čipova koji se njima mogu proizvesti jako ograničena – pomislimo samo na primjer na TSMC-ov CoWoS. U okviru standarda SPHBM4 DRAM čipovi također se slažu jedan na drugi, dakle potrebne su uobičajene vertikalne veze (TSV-ovi), no ispod sendviča memorijskih čipova ne dolazi skup i složen interposer, uz koji idu napredne tehnologije pakiranja i skupi materijali, nego znatno jeftiniji bazni čip izrađen od organskih materijala, koji umjesto uobičajene 2048-bitne memorijske sabirnice može koristiti samo znatno užu, tek 512-bitnu memorijsku sabirnicu.
Kako bi se brzina prijenosa podataka karakteristična za HBM4 sendviče memorijskih čipova održala unatoč užoj memorijskoj sabirnici, brzina prijenosa podataka znatno se podiže, pa se može kretati između 22,4 GT/s i 46 GT/s, dok obični HBM4 čipovi rade samo brzinom od 8 GT/s, a kod HBM4E čipova možemo računati s brzinom od oko 12 GT/s. Obični HBM4E memorijski čipovi zahvaljujući 2048-bitnoj memorijskoj sabirnici nude memorijsku propusnost od 3 TB/s, dok kod SPHBM4 ista vrijednost iznosi 2,944 TB/s ako računamo s razinom od 46 GT/s, što u prvo vrijeme sigurno neće biti stvarnost.
Kako se kod SPHBM4 postiže ta brzina uz 512-bitnu memorijsku sabirnicu? Memorijski čipovi SPHBM4 imaju ukupno 32 16-bitna DDR memorijska kanala, koje sustav može koristiti u obliku 8 Quad Channela. Kod HBM4 sendviča memorijskih čipova svaki čip interno koristi ukupno 32 memorijska kanala, svaki od 64 bita, odatle dolazi 2048-bitna memorijska sabirnica. Da bi SPHBM4 2048 bita unutarnje sabirnice preslikao na 512-bitnu vanjsku sabirnicu, potrebno je interne HBM4 memorijske kanale po četiri sažeti u Quad Channel nizove, u kojima svaki Quad Channel upravlja s ukupno 64 podatkovne trake, tj. na raspolaganju je 4 x 16 bita, koje u biti zamjenjuju 256 internih podatkovnih kanala što su dostupni kod običnog HBM4 čipa.
Tih 64 podatkovnih traka radi s četiri puta većom brzinom prijenosa podataka nego kod običnih HBM4 čipova, pa 512-bitni čip na kraju može ponuditi gotovo jednaku memorijsku propusnost kao obična 2048-bitna verzija, ali za to je potrebna primjena prilično mnogo dodatnih tehnologija. Na baznom se čipu primjenjuju brojni postupci koji su zbog visoke brzine prijenosa podataka nezaobilazni i koji kod običnih HBM4 memorijskih čipova nisu potrebni zbog niske brzine, ali velike paralelnosti. Kod SPHBM4 potrebni su i dodatni koraci obrade podataka (npr. SerDes), koji mogu povećati latenciju za nekoliko nanosekundi, što je kod nekih vrsta zadataka prihvatljivo, no kod inferencije to više neće biti prohodan put, jer ondje latencija jako puno znači.
SPHBM4 je dakle kompromisno rješenje koje može dobro doći samo užem sloju AI akceleratora, ali tamo jako dobro. Za sada je pitanje kakva će biti konačna slika u pogledu energetske učinkovitosti, jer to uvelike ovisi o implementacijama proizvođača, no sigurno je da će se s tom tehnologijom moći koristiti samo fiksni I/O napon, koji iznosi 0,75 V. Kod HBM4 mogu se koristiti i 0,7 V, 0,75 V, 0,8 V te 0,9 V, ovisno o tome kakav je prostor za manevar u pogledu potrošnje, brzine i integriteta signala te kakvu ravnotežu među njima treba pronaći.
SPHBM4 memorijski čipovi mogu se, kao i HBM4E modeli, sastojati od 4, 8, 12 ili 16 slojeva čipova, a ti čipovi mogu imati kapacitet od 24 Gb i 32 Gb. Teoretski se sa 16 čipova od 32 Gb kapacitet od 64 GB može postići i kod SPHBM4 kao i kod HBM4E, dakle slika će u pogledu memorijskog kapaciteta biti vrlo slična. Međutim, budući da se kod SPHBM4 čipova zahvaljujući manje širokoj memorijskoj sabirnici mogu izraditi manji čipovi, njih može stati više na zadanu površinu nego kad bi dotični proizvođač razmišljao u okvirima HBM4 osnova.
Koliko će SPHBM4 biti privlačan pojedinim proizvođačima, još je stvar budućnosti, a tek će se kasnije otkriti i kako će se kod pojedinih implementacija kretati energetska učinkovitost u odnosu na HBM4 ili HBM4E.
