UI-laboratorij na dlani

Dell Pro Max z GB10 je kompakten računalnik s 128 GB poenotenega pomnilnika, namenjen lokalnemu izvajanju velikih jezikovnih modelov. Po hitrosti ga sicer prehitijo tudi precej cenejši računalniki z zmogljivo grafično kartico, pa vendar – za koga je primeren in ali je cena nad 6.000 evri upravičena?

Med vmesniki izstopa dvojni ConnectX-7 za hitro povezavo dveh računalnikov.

Dell Pro Max z GB10 je Dellova izvedba Nvidijinega DGX Sparka, drobnega namiznega računalnika, ki razvijalcem prinaša strežniško okolje za umetno inteligenco v škatlici formata mini PC.

V njem je čip Nvidia GB10 Grace Blackwell z 20 jedri ARM (deset Cortex-X925 in deset Cortex-A725) ter grafičnim delom Blackwell, predvsem pa 128 GB poenotenega pomnilnika LPDDR5x.

Dodajmo še 4 TB disk NVMe, 10-gigabitni ethernet in posebnost, omrežno kartico Nvidia ConnectX-7. Gre za tehnologijo, ki jo sicer najdemo v strežnikih, s hitrostjo 2 × 200 Gb/s, s katero lahko med seboj povežemo dva enaka računalnika in dobimo 256 GB skupnega pomnilnika. To pa so že zmogljivosti strežnikov, ki v današnjih časih stanejo tudi do 20-krat več.

Celota je kljub temu energijsko zelo varčna, precej bolj kot običajen igričarski računalnik. V Evropi trgovci zanj zahtevajo od približno 6.000 evrov za različico z 2 TB diska do okoli 10.000 evrov za različico s 4 TB. Povpraševanje povzroča, da je cena celo višja od priporočene proizvajalčeve cene.

DGX OS že v osnovi ponuja vse potrebno za vzpostavitev strežbe umetne inteligence.

Komu je namenjen? Razvijalcem, raziskovalcem in ekipam, ki želijo velike jezikovne modele poganjati lokalno, brez pošiljanja podatkov v oblak. Največja prednost je pomnilnik: tam, kjer se na grafični kartici 16 GB ustavite pri modelu z nekaj deset milijardami parametrov, GB10 naloži tudi model gpt-oss-120b, in to z veliko prostora za kontekst. Računalnik je pri delovanju tih (brez ventilatorjev!) in varčen pri porabi. Omejitev je pasovna širina pomnilnika, le 273 GB/s, ki določa hitrost generiranja odgovorov. Ekipa, ki stoji za ogrodjem SGLang, je zmogljivost grafičnega dela uvrstila nekje med kartici RTX 5070 in 5070 Ti, zato je celota primernejša za prototipiranje in eksperimentiranje kot za produkcijo.

Operacijski sistem je DGX OS 7, Nvidijina različica Ubuntuja 24.04 LTS z vnaprej nameščenimi gonilniki, okoljem CUDA, s podporo za kontejnerje in z dostopom do kataloga NGC, iz katerega lahko poganjamo PyTorch, vLLM ali TensorRT-LLM. Okolje je enako kot na Nvidijinih strežnikih, kar olajša selitev v podatkovni center, a ker gre za arhitekturo ARM, lahko še vedno naletimo na orodja in knjižnice, ki arm64 podpirajo slabše. Tovrstni ekosistem sicer hitro napreduje, a še ni dozorel.

Zasnova je podobna Applovim računalnikom, na primer Mac Studiu: procesor in grafika delita isti pomnilnik, zato ni kopiranja med RAM in VRAM, veliki modeli pa se naložijo brez zapletov. Ko smo že pri tem, ima Mac Studio z M5 Max več kot dvakrat večjo pasovno širino (614 GB/s) in zato gpt-oss-120b generira približno 1,5-krat hitreje, Spark pa je zmogljivejši pri obdelavi vhodnega besedila (prefill) in ima prednost zaradi ekosistema CUDA.

Kaj lahko poganjamo? Velike modele LLM (MoE), kot je gpt- -oss-120b, ki generira okoli 50-60 žetonov na sekundo, izboljševanje modelov do okoli 70 milijard parametrov, RAG, agentne tokove in več modelov hkrati (generativni, multimodalni, embedding, reranker). Testi z vLLM na eni enoti dosegajo tudi več kot 40 žetonov na sekundo za model Qwen 3.5 122B v 4-bitni kvantizaciji.

DGX OS ima vgrajena orodja za upravljanje in monitoring delovanja umetne inteligence.

Slabše deluje pri gostih LLM- -modelih, kot je Llama 3.1 70B, ki je na testih dosegla le okoli 2,7 žetona na sekundo. Za produkcijsko inferenco GB10 zato ni primeren, saj ni zasnovan za strežbo večjega števila uporabnikov. Ocena hitrosti modelov za pomoč pri programiranju je na meji vzdržnega, vendar verjetno razvijalci za resno delo ne bodo dovolj potrpežljivi, saj bodo daljši razmisleki in prvi odzivi počasnejši kot v oblaku ali na grafični kartici RTX 5090.

Uporaba je torej smiselna predvsem tam, kjer želimo preizkusiti, kako se agenti in klepetalniki obnesejo z bistveno večjimi in manj kvantiziranimi modeli, kot jih zmorejo stlačiti v 16 ali 24 GB – tam, kjer štejeta kakovost odgovorov in doslednost, ne hitrost. Če agent na 120-milijardnem modelu nalogo opravi bolje kot na 20-milijardnem, je to podatek, ki ga še kako potrebujemo pred odločitvijo o lastni strojni opremi ali oblačni pogodbi.

V praksi

Naredili smo kratek test, kjer smo GB10 primerjali z domačim igralnim računalnikom z grafično kartico Asus RTX 5070 Ti (16 GB). Modele smo poganjali z vLLM, hkrati pa smo jih uporabljali v orodjih N8N, Dify.UI in LM Studio Bionic, novi agentski aplikaciji podjetja LM Studio. Rezultati so bili na vseh platformah konsistentni, razmerje med strojema pa je bilo povsod podobno. Za primerjavo smo uporabili model Qwen3.6-35b-a3bn.

Na GB10 smo dosegali hitrosti med 20 in 25 žetoni na sekundo, na RTX 5070 Ti pa med 45 in 55 žetoni na sekundo. Objavljeni tuji testi kažejo podobno sliko: LMSYS je pri gpt-oss-20b na Sparku z Ollamo izmeril okoli 50 žetonov na sekundo, RTX 5070 Ti z llama.cpp okoli 65 žetonov na sekundo, medtem ko je RTX 5090 isti model poganjal med 205 in 282 žetoni na sekundo. V praksi to pomeni, da se odgovori na naloge izpisujejo očitno počasneje – kot če bi gledali prastare besedilne terminale. Občutno počasneje kot pri delu s komercialnimi orodji umetne inteligence.

Sicer tudi igralni računalniki niso več poceni: računalnik z RTX 5070 Ti sicer stane od okoli 2.300 evrov naprej, sistemi z RTX 5090 (32 GB) pa so se zaradi povpraševanja po UI močno podražili – v nemških trgovinah jih najdemo za ceno od približno 6.000 do 8.000 evrov. Pa vendar, pri modelih, ki se prilegajo kartici, je ta s 16 GB po naši oceni od 2- do 3-krat hitrejša od Sparka, kartica s 24 GB (rabljeni RTX 3090 ali 4090) približno 3-krat, RTX 5090 pa po objavljenih testih od 3- do 4-krat. Štirikrat manjši pomnilnik (pri 16 GB celo osemkrat manjši) ni nujno težava: gpt-oss-20b zasede okoli 12 GB, številni odprti modeli, zlasti MoE v razredu 30 milijard parametrov, pa v takem prostoru delujejo dovolj dobro.

Zakaj bi torej nekdo dal 6.000 ali več evrov za stroj, ki je počasnejši od malo boljšega igralnega računalnika? Spark se izplača, kadar res potrebujete velik pomnilnik, tih stroj z majhno porabo (RTX 5090 zahteva glasen 1000-vatni napajalnik) ali lokalni strežnik za razvojno ekipo. Dell Pro Max z GB10 ni hiter, je pa (skoraj) edini v tem cenovnem razredu, ki brez trikov naloži velike modele z veliko konteksta.

Kdor potrebuje hitre lokalne odgovore, naj raje kupi dobro grafično kartico, kdor pa želi ugotoviti, kako dobra je lahko lokalna UI, naj meri na 128 GB pomnilnika (ali več). Pri teh zneskih velja pogledati tudi AMD Strix Halo, ki z enakim pomnilnikom stane približno polovico Della, ter seveda Mac Studio.

Te dni prihaja v prodajo tudi sorodna platforma RTX Spark, napovedana na sejmih Computex in IFA v Berlinu. Gre za enak čip z 20 jedri ARM, s 6.144 jedri CUDA in do 128 GB pomnilnika, vendar v prenosnikih in kompaktnih namiznikih z operacijskim sistemom Windows 11 (prenosniki se začnejo pri 2.599 dolarjih). Prvi neodvisni testi kažejo, da prototip prenosnika za isto delo porabi le od 3 do 8 odstotkov več časa kot DGX Spark. Razlika je drugje: RTX Spark nima povezave ConnectX-7 in sistema DGX OS, različice s 128 GB pa so seveda še vedno zelo drage.

DELL Pro Max z GB10

mini računalnik za umetno inteligenco Kdo: dell.com

Cena: Med 6.000 in 10.000 EUR.

+ Velik poenoten pomnilnik, tiho in varčno delovanje.

- Počasno delovanje, platforma ARM ne podpira vseh orodij.