Nvidia je najavila vrlo važnu novost: NVHBM, posebnu memorijsku tehnologiju. NVHBM bi, prema planovima, bio dostupan partnerima programa NVLink Fusion Link za izradu prilagođenih AI akceleratora, kao i za Nvidijine AI akceleratore izgrađene oko vlastitih GPU-ova, a u oba slučaja nudi znatnu prednost u odnosu na memorijske podsustave standarda HBM4E.
Bit NVHBM-a je nova memorijska arhitektura u kojoj memorijski kontroleri više nisu na XPU čipu, pa tako ne zauzimaju vrijednu površinu silicija na čipovima prepunim računskih komponenti, nego se smještaju na osnovni čip NVHBM memorijskih slojeva. Premještanjem memorijskih kontrolera na NVHBM čipove oslobađa se vrijedna površina silicija na XPU čipovima, pa se mogu izraditi složeniji AI akceleratori s većom računskom snagom jer veći tranzistorski proračun mogu uložiti u komponente za računanje.
Ian Cutress, izuzetno dobro potkovan analitičar koji je dugo bio stup ugašenog AnandTecha, smatra da je NVHBM zapravo važan korak od standardiziranih HBM memorijskih slojeva prema dizajnima s prilagođenom memorijskom strukturom specifičnom za kupca, koji nude brojne nove mogućnosti. Uz standardne HBM memorijske slojeve, u budućnosti će se za naklonost kupaca boriti HBM dizajni s prilagođenim osnovnim čipom te 3D memorije čvršće integrirane s čipovima, pa će upravo ovi potonji sve više zamjenjivati danas široko rasprostranjene standardne HBM memorijske slojeve, jer dizajni i osnovni čipovi skrojeni prema posebnim zahtjevima nude mnoštvo prednosti i u računskoj snazi, i u memorijskoj propusnosti, i u energetskoj učinkovitosti.
Prema Nvidijinu timu, kod NVHBM memorijskih slojeva memorijska se propusnost u odnosu na uobičajene HBM4E module može povećati do 30% po čipu, dok se potrošnja može smanjiti do 15% u odnosu na razinu uobičajenu kod standardnih HBM4E čipova. Istodobno će kupci zahvaljujući preoblikovanom memorijskom sučelju moći iskoristiti do 25% više površine silicija za XPU namjene, odnosno na istom čipu stat će više komponenti, što ovisno o potrebama može značiti veću računsku snagu i/ili dodatne funkcije.
Usto, zbog užeg memorijskog sučelja može se pojednostavniti i građa interposera, lakše će se izvesti ožičenje, pa u cjelokupnom pakiranju može ostati i do 80% više iskoristive površine silicija. Prema Nvidiji, ukupne performanse XPU-a mogu porasti do 30% jer NVHBM nudi dodatnu memorijsku propusnost, oslobađa se nešto površine silicija koja se može upotrijebiti za povećanje računskog kapaciteta, a memorijski podsustav temeljen na HBM-u radi i energetski učinkovitije.
Jedan od prvih kupaca koji bi mogao iskoristiti prednosti NVHBM-a bit će Annapurna Labs, tvrtka u sastavu Amazona. Tvrtka već razvija AI akcelerator Trainium4, koji bi mogao stići s podrškom za NVLink Fusion i NVLink 6, pa može surađivati s Nvidijinim AI akceleratorima temeljenima na GPU-ovima unutar iste rack arhitekture. Prema Nvidijinim planovima, kasnije će NVHBM čipove nuditi i više proizvođača memorije, no nisu otkrili koja će unutar njihove ponude biti prva generacija GPU-ova koja može profitirati od prednosti NVHBM-a.
