Golema je potražnja za memorijskim čip-sendvičima koji se temelje na različitim verzijama standarda High-Bandwidth Memory, jer su te komponente nezaobilazne u proizvodnji današnjih modernih AI akceleratora. Standard se k tome vrlo žustro razvija kako bi se što učinkovitije zadovoljile sve veće potrebe za memorijskim kapacitetom i propusnošću memorije.
Ni tri velika proizvođača memorije, Samsung, Micron i SK hynix, ne mogu proizvesti dovoljno čipova za tržište, pa sigurno može postojati potražnja za alternativnim izvorima, kao i za alternativnim memorijskim tehnologijama. Potonje, dakako, nije jednostavan teren, jer se memorijski kontroler AI akceleratora mora prilagoditi novoj vrsti memorijskih čipova, što nije kratkoročan zadatak, ali na AI akceleratorima sljedeće generacije već bi moglo biti mjesta za pojedinog HBM izazivača, kao što je HBC koji je Qualcomm upravo predstavio.
HBC, odnosno High-Bandwidth Compute, razlikuje se od HBM-a s jedne strane time što umjesto klasičnog DRAM-a koristi energetski štedljive memorijske čipove tipa LPDDR namijenjene mobilnom tržištu, a s druge time što koristi i posebnu osnovnu pločicu, koja omogućuje obavljanje računskih zadataka blizu memorije.
Tim bi područjem htio ciljati i Samsung, dakle na tom polju može biti konkurentan i HBM, ali u energetskoj učinkovitosti vaga bi se mogla nagnuti prema HBC-u, jer memorijske pločice koje rade na nižem radnom naponu troše manje od običnih parnjaka, što u pojedinom podatkovnom centru može postati bitna prednost, budući da jedan veći klaster obično čine tisuće ili desetke tisuća AI akceleratora. Kod takve količine računa se i razlika u potrošnji od nekoliko vata: niža potrošnja znači niže pogonske troškove, a i učinkovito hlađenje može biti nešto jednostavnije.
Unutar čip-sendviča tipa HBC nalaze se složeni LPDDR memorijski čipovi, među kojima vertikalni vodiči (TSV-ovi, Through-Silicon Vias) uspostavljaju vezu, a završavaju u osnovnoj pločici. Osnovna pločica daje i nešto računske snage kako bi se nad podacima mogle obaviti neke osnovne operacije, čime se rasterećuje GPU AI akceleratora i rad čini učinkovitijim, što u konačnici donosi rast performansi. Na tom se području nastoji istaknuti i HBM4, ali Qualcommovo rješenje teži još višoj učinkovitosti i još optimalnijem premještanju podataka, čime se propusnost memorije po vatu potrošnje može povećati šest puta u odnosu na ono što može sadašnji HBM standard.
Prva generacija HBC-a uz akcelerator AI250 omogućila je postizanje propusnosti memorije od 133 TB/s, što je 18 puta više u odnosu na ono što Qualcommova sadašnja kartica AI200 može oslanjajući se na normalne LPDDR5X memorijske čipove. Među daljnjim planovima je da će Qualcomm HBC čipove ugraditi na više AI akceleratora sljedeće generacije, a prvi ih može dobiti model AI250 koji stiže sredinom 2027. Sljedeća generacija HBC-a također je u razvoju i donijet će daljnji napredak, ponajprije u znatnom povećanju propusnosti memorije.
Za sada nije otkriveno od kojeg dobavljača Qualcomm želi nabaviti LPDDR5X memorijske pločice, a nije rečeno ni na koji će se točno LPDDR standard novitet oslanjati. Tvrtkine Snapdragon SoC jedinice proizvodi TSMC, ali Compute Die koji se koristi kod HBC-a u biti se može proizvesti kod bilo kojeg proizvođača memorije, dakle zadatak se može povjeriti dobavljaču koji dolazi i s LPDDR pločicama. Jedan od najočitijih izbora mogao bi biti Samsung Foundry, jer ta poluvodička ugovorna tvornica ne proizvodi samo interno razvijene LPDDR pločice, nego i prilagođene pločice koje obavljaju izračune.
Qualcomm za sada nije otkrio identitet odabranog dobavljača, ali nadajmo se da će do toga uskoro doći. Za sada nije jasno ni želi li Qualcomm HBC-om postaviti konkurenciju HBM-u i vlastitim rješenjem ciljati tržište AI akceleratora – s obzirom na AI groznicu to ne bi bila loša zamisao, osobito ako je i prijem na tržištu pozitivan.
