AMD Ryzen AI Halo - lokalna umetna inteligenca za razvijalce
Podjetje AMD je nedavno začelo prodajati svoj novi sistem Ryzen AI Halo, ki predstavlja konkurenco računalniku Nvidia DGX Spark in je namenjen poganjanju velikih jezikovnih modelov na lokalnem računalniku. Gre za rešitev z velikim sistemskim pomnilnikom, ki cilja predvsem na razvijalce in napredne tehnološke zanesenjake. Ti želijo obsežne jezikovne in generativne modele izvajati v varnem zavetju lastne strojne opreme ter se pri svojem delu izogniti zanašanju na tuje oblačne storitve.
Največja zvezda novega AMD-jevega sistema je nedvomno 128 GB združenega pomnilnika, kar je za lokalne sisteme izjemna kapaciteta. Ta ogromen pomnilniški bazen omogoča hitro nalaganje bistveno večjih odprtokodnih modelov neposredno v pomnilnik. Sistem tako popolnoma zaobide ozka grla in nadležno potrebo po razdeljevanju nalog med različne strojne komponente, kar sicer močno upočasni celoten proces generiranja odgovorov.
V osrčju sistema AMD Ryzen AI Halo je zmogljiv procesor Ryzen AI Max+ 395, ki prinaša 16 jeder in 32 niti, zasnovanih na najnovejši arhitekturi Zen 5. Za grafično računsko moč in strojno pospeševanje pri naprednih opravilih skrbi integriran grafični čip Radeon 8060S s 40 računskimi enotami (arhitektura RDNA 3.5), medtem ko namenski procesor za umetno inteligenco XDNA 2 NPU zmore obdelati do 50 bilijonov operacij na sekundo (TOPS).
Vse te komponente so neposredno povezane s 128 GB hitrega združenega pomnilnika LPDDR5X-8000, ki se ponaša s pasovno širino 256 GB/s in omogoča hitro nalaganje zelo obsežnih jezikovnih modelov. Tehnično sliko kompaktnega namiznega računalnika zaokrožujejo še pogon NVMe SSD z 2 TB prostora, 10-gigabitni ethernetni priključek, Wi-Fi 7 ter podpora sodobnim vmesnikom, kot je USB 4. Kljub tej impresivni strojni opremi celoten sistem, ki zlahka poganja tako Linux kot Windows 11, deluje pri porabi zgolj 120 vatov in je zapakiran v nevsiljivo majhno ohišje.
Čeprav se na prvi pogled zdi, da je AMD razvil popolno rešitev za vse entuziaste, se realnost hitro ustavi ob pogledu na končno ceno produkta. Zaradi trenutne svetovne krize s pomnilniki je za ta tehnološki izdelek treba odšteti osupljivih 4.000 ameriških dolarjev. S tem se izdelek postavlja daleč izven dosega povprečnega domačega uporabnika in celo marsikaterega manjšega podjetja. Kljub temu strokovna javnost opozarja, da je novost še vedno zelo ugodna, če jo neposredno primerjamo z namenskimi podatkovnimi grafičnimi karticami za umetno inteligenco.
Glavna prednost, ki jo AMD ponuja kupcem, je stoodstotna zasebnost podatkov. V sodobnem času, ko informacijska varnost in preprečevanje odtekanja poslovnih skrivnosti postajata ključna elementa, lokalno poganjanje umetne inteligence zagotavlja, da vneseni podatki nikoli ne zapustijo domačega ali podjetniškega omrežja.
