Micronovi inženjeri rade na razvoju posebne memorijske tehnologije čiji je cilj da se u blizinu GPU-a, koji djeluje kao AI akceleratorski čip, može smjestiti polje NAND Flash memorijskih čipova razmjerno velikog kapaciteta pohrane, dovoljno brzo i s dovoljno niskom latencijom, čime bi se znatno pomaknule granice mogućnosti pokretanja i treniranja osobito velikih LLM-ova.
Projekt, koji za sada ide pod radnim nazivom "Near-GPU NAND", u biti stiže kao koristan dodatak uz glavnu memoriju temeljenu na HBM-u i DRAM-u te klasične sustave za pohranu temeljene na NAND Flashu, odnosno između njih. Može dobro doći u slučajevima kad nije potrebna visoka propusnost HBM ili običnih DRAM čipova ni niska latencija koju oni nude, ali podatke treba smjestiti znatno bliže GPU-u nego što dopuštaju mogućnosti klasičnih NAND Flash sustava za pohranu.
Radi uspjeha razvijaju se posebni NAND Flash memorijski čipovi koji nude svojevrsni međusloj između spomenutih memorijskih tehnologija, kako po gustoći podataka tako i po latenciji. Ti će memorijski čipovi imati manju gustoću podataka od klasičnih TLC ili QLC NAND Flash čipova, jer se umjesto na gustoću podataka usredotočuju na veću I/O učinkovitost, veću propusnost i bolje vrijeme čitanja. "Near-GPU NAND" u biti kao superbrza, visokoučinkovita predmemorija stvara most između klasičnih HBM ili GDDR7/LPDDR6 memorijskih čipova i običnog sustava za pohranu.
Ta se predmemorija može izvrsno koristiti za zadatke zaključivanja (inference) i za pokretanje konkretnih velikih jezičnih modela, a podatke je pritom ekonomičnije držati blizu GPU-a nego da se za postizanje cilja koristila klasična DRAM ili HBM memorijska tehnologija. Predmemorija o kojoj je riječ mogla bi nuditi kapacitet od nekoliko stotina GB, a pritom bi mogla biti znatno jeftinija od klasičnih DRAM tehnologija, a mogla bi nuditi i bolje performanse od klasičnih sustava za pohranu temeljenih na NAND Flashu. Zahvaljujući posebnoj predmemoriji i složeni LLM-ovi mogli bi raditi na sustavima s manje GPU-ova, zahvaljujući primjeni više razina memorije i pohrane, što bi sveukupno pomoglo optimizirati performanse sustava.
Slično se razvija i u radionicama SanDiska i SK hynixa pod nazivom HBF, odnosno High-Bandwidth Flash, što bi pomoglo proširiti HBM memorijski prostor GPU-a korištenjem NAND Flash čipova smještenih blizu GPU-a, uz povećanje njihove izdržljivosti. Rad na tome i sada traje, jer treba smisliti rješenje koje nudi odgovarajuću propusnost i latenciju, a dovoljno je i izdržljivo, pa može učinkovito nadopuniti superbrze i superskupe HBM memorijske "sendviče", kojih se inače ne proizvodi onoliko koliko bi tržištu trebalo. Istodobno ni Samsung ne dokoličari, nego pod nazivom zNAND-O razvija posebnu memorijsku arhitekturu, također za AI namjene, opremljenu prilično impozantnim značajkama.
