Brine li i vas što velike tech tvrtke rade s vašim podacima? Onda imamo dobru vijest: danas više nije obavezno nigdje ništa slati. Svijet AI modela koji se mogu pokretati lokalno posljednjih je godina neizmjerno napredovao, a ono što je prije nekoliko godina zahtijevalo milijunsko ulaganje u serversku farmu, danas se rješava jednom namjenskom grafičkom karticom. SAPPHIRE AMD Radeon AI PRO R9700 rođena je upravo za to – a mi smo isprobali što to znači u praksi.
Nije za igranje – i to je dobro
Isprva može djelovati čudno govoriti o grafičkoj kartici koja ne cilja na najnovije AAA igre, nego je projektirana isključivo za pokretanje umjetne inteligencije. SAPPHIRE AMD Radeon AI PRO R9700 – to odaje već i njezino ime – namjenski je hardver: optimiziran je za pokretanje lokalnih velikih jezičnih modela (LLM-ova). Bit je u VRAM-u, jer kod lokalnog pokretanja modela veličina video memorije određuje koliko velik model možemo učitati i kojom brzinom s njim možemo raditi.
U testnoj konfiguraciji kartica je dobila mjesto uz procesor AMD Ryzen 7, dopunjena s 32 GB sistemske RAM memorije. No naglasak nije bio na radnoj memoriji, nego na tome koliko i s kolikom učinkovitošću kartica može poslužiti iz vlastitog VRAM-a. Cilj je jasan: model treba raditi na GPU-u, a ne na CPU-u – jer se ovdje o brzini odlučuje.
Čemu služi lokalni AI? – i kome se isplati
Prije nego što uronimo u rezultate testova, vrijedi razjasniti kome je i zašto uopće važno lokalno pokretanje modela. Odgovor u jednoj riječi: sigurnost podataka. Tko radi s osjetljivim poslovnim podacima, informacijama o klijentima i internim dokumentima, s pravom može brinuti da završavaju na poslužitelju davatelja usluga u oblaku – čak i ako ih, prema pravilima dotičnog davatelja, ne koriste za treniranje.
Kod lokalnog pokretanja podaci nikad ne napuštaju računalo. Nema API poziva, nema oblaka, nema treće strane. Što se događa na računalu, ostaje na računalu. To može biti ključno osobito za europsko tržište osjetljivo na GDPR – bilo da je riječ o odvjetničkom uredu, zdravstvenom pružatelju ili financijskom savjetniku.
Važna napomena o cijeni: R9700 je dostupan i u iPonovoj ponudi, a ako promatramo cijelu konfiguraciju računala, upotrebljiva sklopovska cjelina kreće se oko 1 milijun forinti. To na prvi pogled djeluje kao mnogo, ali stavimo to u perspektivu: ako bi netko na lokalno prešao isključivo zbog besplatnog pokretanja, računajući s mjesečnom naknadom pretplate na ChatGPT Plus ili Claude Pro, to odgovara otprilike 9 – 10 godina pretplate. Dakle, samo radi uštede ne isplati se – ali s gledišta zaštite podataka i poslovanja može biti neprocjenjive vrijednosti.
Testno okruženje: LM Studio i Qwen 3.5
Za testiranje koristili smo aplikaciju LM Studio (lmstudio.ai), koja je trenutačno jedan od najjednostavnijih načina da bilo tko preuzme i pokrene modele otvorenog koda na vlastitom računalu. Sučelje je iznimno intuitivno: odaberemo model, preuzmemo ga i već možemo čavrljati s njim – točno kao s ChatGPT-jem, samo što se sve odvija na našem hardveru.
Testni subjekt bila je obitelj modela Qwen 3.5, u dvije inačice: manja s 9 milijardi parametara (9B) i ozbiljnija s 35 milijardi parametara (35B). Potonju smo pokretali u kvantizaciji Q8 – to je blaga kompresija koja smanjuje veličinu modela kako bi stao u VRAM, a pritom zadržava otprilike 95 – 97 % izvorne učinkovitosti. Kvantizacija je u biti kao da broj zaokružimo na manje decimala: postoji određeni gubitak preciznosti, ali u praksi je gotovo neprimjetan.
Testovi: od kreativnog pisanja do programiranja
Kreativno pisanje – test s kafićem
Kao prvi zadatak zadali smo test pisanja: napiši kratak, duhovit oglas za budimpeštanski kafić koji se otvara u 5 ujutro. Zove se Koránkelő Kávézó (Kafić za ranoranioce), namijenjen pospanim IT-jevcima i bakama ranoranilicama, treba sadržavati igru riječi i akcijsku ponudu, najviše sa 100 riječi.
Model od 9B pokušao je prvi, ali mađarska gramatika mjestimice je posrnula, igre riječi bile su usiljene, a ukupan dojam bio je prije zbunjujući nego zabavan. Brzina je ipak impresivna: 86 tokena u sekundi, zajedno s načinom razmišljanja. Na jednostavno pitanje odgovor je bez razmišljanja stigao brzinom od 102 tokena/s – to je munjevito.
Model od 35B ipak je iznjedrio iznenađujuće dobar tekst. „Ovdje je kava toliko jaka da ćeš se i za Hello World! bolje probuditi” – to je već prilično upotrebljiva igra riječi za IT publiku. „Kod nas nema buga, samo Java” – savršena osjetljivost za ciljanu publiku. Brzina je naravno bila niža: 28 tokena/s, a i faza promišljanja trajala je dulje, otprilike dvije minute. No rezultat se osjetno igra u kategoriji više.
Programiranje – traženje mina, pomodoro, kviz i vremenski widget
U testovima programiranja model je dobio četiri različita zadatka, a svaki je trebao riješiti u jednoj HTML datoteci:
- Igra Minesweeper – Qwen od 35B napravio ju je u načinu razmišljanja za otprilike 3 – 4 minute. Rezultat: odmah iz prve funkcionalan, igriv Minesweeper s dobro komentiranim mađarskim kodom. Nije AAA igra, ali sama činjenica da lokalno pokrenut model iz prve daje besprijekoran kod koji se može pokrenuti – sama po sebi zaslužuje pažnju.
- Pomodoro mjerač vremena – Ovo je brzo odradio bez razmišljanja. Pauza, ponovno pokretanje, prebacivanje – sve je radilo. I dizajn je bio posve prihvatljiv.
- AI kviz aplikacija – kviz s 8 pitanja i četiri odgovora, s trenutačnom povratnom informacijom i konačnim rezultatom. Model je sam generirao pitanja i odgovore na temu AI-ja – i donio iznenađujuće relevantna, poučna pitanja. Pitanje o prednostima pokretanja lokalnog AI-ja smislio je sam od sebe.
- Vremenski widget – S ugrađenim podacima, ali lijepog dizajna: moglo se prebacivati između Budimpešte, Debrecena, Szegeda, Pécsa i Győra. CSS rad bio je izrazito pažljiv.
Ono što je doista impresioniralo: posljednja dva zadatka pokretali smo paralelno, u dva zasebna prozora za chat. Grafička kartica poslužila je obje niti bez problema – nije zapinjala, nije se pregrijavala do kritične mjere, a iako je hlađenje povremeno zahučalo, daleko je od smetajuće razine. To upućuje na to da R9700 pouzdano radi i u stvarnim radnim procesima, a ne samo na laboratorijskim single-thread testovima.
Matematika – kalkulator popusta
Za testiranje logičkog razmišljanja zadali smo višestupanjski matematički zadatak: trgovina daje 20-postotni popust na sve proizvode, a ako je izvorni iznos veći od 50.000 forinti, dobivaš dodatnih 10 % na već sniženu cijenu. Izvorna cijena bila je 75.000 forinti – koliko je konačni iznos za plaćanje, koliko si uštedio i koliki je postotak ukupnog popusta?
Model od 35B izračun je vodio korak po korak, besprijekorno: 75.000 → 60.000 (popust 20 %) → 54.000 (dodatnih 10 %) → ušteda od 21.000 forinti, odnosno ukupni popust od 28 %. Brzinom od 26,58 tokena/s i vremenom do prvog tokena od 1,21 sekunde. Logika je cijelo vrijeme bila točna – to daje povjerenje da se može pouzdano koristiti i za računske zadatke.
Analiza slike – zalazak sunca na Balatonu
Test iznenađenja: Qwen 3.5 35B ima i sposobnost vida (vision), dakle može analizirati slike. Ubacili smo mu fotografiju zalaska sunca na Balatonu s pitanjem: što je na slici? U fazi razmišljanja modelu je palo na pamet da slika jako sliči okolici brda Boglár na Balatonu, iako je u konačnom odgovoru bio oprezniji. Opis slike bio je sadržajno točan: zalazak sunca, šetnica, zelena površina, njegovan park. Određivanje lokacije nije jednoznačno preuzeo, ali u procesu razmišljanja bio je ispravan smjer – to je izrazito dobar učinak za lokalni model od 35B.
Sažetak brzina
| Zadatak | Model | Brzina |
| Jednostavan chat (s razmišljanjem) | Qwen 3.5 9B | 86 token/s |
| Jednostavan chat (bez razmišljanja) | Qwen 3.5 9B | 102 token/s |
| Kreativno pisanje | Qwen 3.5 35B (Q8) | 28 token/s |
| Matematički zadatak | Qwen 3.5 35B (Q8) | 26,58 token/s |
| Programiranje (paralelno) | Qwen 3.5 35B (Q8) | 19 token/s |
Model od 9B munjevito je brz, ali za složenije zadatke nedovoljan. Inačica 35B Q8 je sweet spot: dovoljno pametna da obavlja stvaran posao i dovoljno brza da ne moramo čekati minutama na svaki odgovor. Paralelno pokretanje naravno usporava brzinu tokena, ali i tako ostaje upotrebljivo – to je u produkcijskom okruženju ključan čimbenik.
Kome ga preporučujemo?
SAPPHIRE AMD Radeon AI PRO R9700 nije za svakoga – i to je u redu. Ako netko jednostavno želi svakodnevno koristiti AI, pretplata na ChatGPT ili Claude jeftinije je i ugodnije rješenje. No postoji jasno omeđena ciljna skupina kojoj ova kartica može biti pravi game-changer:
- Poduzeća i tvrtke u kojima sigurnost podataka nije opcionalna, nego temeljni zahtjev – odvjetnički uredi, knjigovodstveni uredi, zdravstveni pružatelji, financijski savjetnici
- IT timovi koji žele postaviti interni AI asistent a da osjetljivi podaci ne napuste tvrtkinu mrežu
- Programeri i AI entuzijasti koji žele eksperimentirati s otvorenim modelima i finim podešavanjem, a za to im treba pouzdan, brz hardver
- Autori sadržaja koji bi lokalni AI koristili za transkripciju audio materijala, obradu teksta ili analizu slika – i to tako da materijali nikad ne napuštaju računalo
Zaključak
SAPPHIRE AMD Radeon AI PRO R9700 je iskren proizvod: radi točno ono za što je projektiran i u tome je dobar. Ne pokušava biti gaming grafička kartica, ne pokušava biti dobar za sve – umjesto toga na području lokalnog pokretanja AI-ja nudi uvjerljive performanse, predvidiv rad i stvarnu upotrebljivost. Testovi s modelom Qwen 3.5 od 35B pokazuju da i otvoreni model srednjeg broja parametara danas može pisati smislene kreativne tekstove, generirati kod koji radi, rješavati matematičke zadatke i analizirati slike – sve to lokalno, bez rizika od curenja podataka.
Stabilnost paralelnog izvršavanja zadataka i dosljedne brzine tokena pokazuju da ova kartica nije samo hobistički alat, nego može biti gradivni element ozbiljnih radnih stanica. S debelom cjenovnom oznakom nije impulzivna kupnja, ali onome tko razumije čemu služi – isplativo je ulaganje.
