Popularno pravimo, da so današnji razvpiti algoritmi umetne inteligence narejeni po principu delovanja možganov, kar pa je v resnici zelo površinska analogija. Hkrati v razvojnih oddelkih dejansko nastaja rod računskih integriranih vezij, ki se tesneje zgledujejo po centralnem živčevju, in to so nevromorfni čipi.
Na stikih med živčnimi sinapsami sporazumevanje poteka s prometom signalnih molekul, živčnih prenašalcev. Takšnih mehanizmov v elektroniko nima smisla prenašati in raziskave kažejo, da so lahko silicijeve izvedbe bistveno hitrejše – za okrog tisočkrat.
Karkoli si že mislimo o aktualni noriji okoli umetne inteligence, je neizpodbitno dejstvo, da spremljamo monumentalne premike v naravi računalniške obdelave podatkov. Informacijska doba je bila zgrajena na sekvenčno zapisanem programju, ki se je izvajalo vrstico za vrstico. Algoritmi, kot je ChatGPT ali Nano Banana, pa slonijo na strojnem učenju, ki ima bistveno drugačno obliko. Arhitekturno so takšni programi zasnovani v smislu razvejanega omrežja vozlišč, med katerimi se pretakajo signali. Preden lahko takšen algoritem koristno uporabimo, ga je treba »naučiti« na zbirki vzorčnih podatkov, pri čemer se nekatere od povezav med omenjenimi vozlišči ojačajo. To pomeni bistveno drugačen razvojni zalogaj, saj poleg samega pisanja algoritma vsebuje še fazi urjenja in seveda oblikovanja učnega sklopa podatkov, kar je pravzaprav znanost v malem, za nameček pa še specifične čipe za njegovo poganjanje.
Kdor je v omrežju vozlišč prepoznal analogijo živčevja, se ni uštel, saj je bil to poglaviten zgled pri snovanju takšne vrste obdelave podatkov. Vozlišča se tako popularno imenujejo tudi nevroni, po bioloških živčnih celicah, omrežja pa nevronske mreže. Medtem ko v naših možganih »program« dejansko teče na fizičnem omrežju živcev, imamo v računalništvu še vedno samosvojo situacijo: nevronske mreže algoritmov umetne inteligence so v resnici zgolj programsko emulirane, v strojnem smislu pa jih še vedno poganjajo procesni čipi klasične vrste (in da je mera polna, takšni, ki so bili sprva oblikovani za poganjanje iger). To se pravi, da je biološki zgled še dokaj površinski, kar je eden od razlogov, da so obstoječe izvedbe tako zelo energijsko požrešne, da to postaja globalen problem. Že več kot desetletje pa vztrajno potekajo prizadevanja, da bi takšne algoritme poganjali na strojni opremi, ki bi tudi sama do neke mere posnemala živčne strukture, in sicer tako s ciljem varčnosti kot večjih hitrosti.
V sodelovanju z naravo
Človeški možgani vsebujejo 86 milijard nevronov, ki jih povezuje nekje med 100 in 1000 bilijoni (se pravi, do 10 na 15. potenco) sinaps oziroma povezav. Kljub temu trošijo zgolj do 20 vatov energije, kar je sicer slaba petina celotne »porabe« človeškega telesa. Največji današnji jezikovni modeli imajo okoli bilijon parametrov, kar v grobem pomeni število uteži oziroma jakosti povezav med vozlišči. Nvidijini procesorji, ki jih potrebujemo za urjenje in izvajanje takšnih algoritmov, zahtevajo po več sto vatov elektrike. Neposredne primerjave so vselej nehvaležne, a če si jo kljub temu s stisnjenimi zobmi dovolimo, nam nakaže, da pri emulaciji »živčnega algoritma« z najmodernejšo tehnologijo za tisočkrat manjši »program« potrošimo nekaj redov velikosti več energije.
Najmodernejši pospeševalniki umetne inteligence, kot so Nvidijini procesorji Blackwell, so zares navdušujoči in kompleksni kosi tehnike – ki pa hkrati goltajo izjemne količine elektrike, v grobem okoli tisoč vatov na čip.
Od tod izvira namera računalniških strokovnjakov, da bi se s posnemanjem zgledov iz narave približali njeni izjemni učinkovitosti. Zasnove, ki so navdahnjene z zgradbo in delovanjem človeških možganov, so dobile krovno ime nevromorfno računalništvo; ponekod zasledimo tudi izraz kognitivni računalniki. Medtem ko začetke strojnega učenja in s tem povezanih digitalnih nevronskih mrež postavljamo v sredino prejšnjega stoletja, pa je nevromorfno področje nekaj desetletij mlajša stvar – s startom koncem 80. let. Kot pri vsakem mlajšem strokovnem področju tudi tu kriteriji še niso trdno zamejeni. Čeprav današnji generativni algoritmi uporabljajo nevronske mreže, jih sem v splošnem ne štejemo. V predal nevromorfnih rešitev pospravljamo predvsem strojne zasnove, ki do neke mere privzemajo obliko živčevja, in specifično programje, ki na njih teče.
Takoj je treba poudariti, da inženirji naravnih struktur in funkcij ne poskušajo »skopirati« v celoti, saj to ni ne izvedljivo ne praktično. Signali se v biološkem živčevju prenašajo skozi zapleteno množico elektrokemičnih procesov, ki jih nima smisla prenašati v silicijevo elektroniko, zato gre povsod za večje ali manjše približke. Raziskovalci se namesto tega osredotočajo na nekaj temeljnih principov, ki so se izkazali v naravi in za katere lahko z gotovostjo sklepamo, da prinašajo koristi tudi ob implementaciji v obstoječih procesih industrije polprevodnikov. Ker gre za živahno in zahtevno raziskovalno področje, se članek usmerja na peščico najpogosteje zastopanih prijemov: procesiranje v pomnilniku, impulzne nevronske mreže in dogodkovno senzoriko.
Von Neumannov zamašek
Ena najbistvenejših razlik med procesiranjem podatkov v siliciju in pa možganih leži v načinu shranjevanja podatkov. V običajnem računalniku sklopi za obdelavo podatke pobirajo iz oddaljenih pomnilnikov in jih po uporabi vnovič pošiljajo nazaj. V možganih so informacije shranjene v jakosti povezav med živčnimi celicami, ki pa hkrati predstavljajo tudi »računski« sklop, saj se podatki obdelujejo s seštevanjem signalov iz različnih povezav. Ta razkorak ima daljnosežne posledice v smislu trošenja energije, saj potovanje ničel in enic iz pomnilnika in nazaj zahteva nemajhne količine elektrike – v mnogih primerih večje kot procesiranje samo. V Googlovih čipih serije TPU računanje potroši zgolj petino celotne porabe čipa, preostale štiri petine odpadejo na delovanje pomnilnika in promet med njim ter računskimi enotami. Na splošno proces pobiranja inštrukcije in podatkov iz pomnilnika zunaj čipa potroši okoli dva velikostna razreda (to je, stokrat) več energije kot samo izvajanje inštrukcije.
Umetni vid je bil med najzgodnejšimi področji nevromorfnih raziskav in v resnici se iz tega naslova lahko nadejamo naprednih biokibernetskih vsadkov, ki bodo porabili zelo malo energije, kar je za implantate bistveno. Na sliki očesni vsadek družbe Pixium Vision.
Temu izzivu v industriji pravijo pomnilniška prepreka (memory wall), popularno pa tudi von Neumannovo ozko grlo (von Neumann bottleneck), če upoštevamo, da klasične računalniške arhitekture slonijo na teoriji, ki jo je na noge sredi preteklega stoletja postavil sloviti madžarsko-ameriški matematik John von Neumann. Zaradi tega že približno od srede 90. let prejšnjega stoletja tečejo prizadevanja, da bi se pomnilniške sklope nekako približalo procesnim. Tu pa naletimo na zahtevne tehnične ovire, kajti čeprav so tako računske kot pomnilniške enote zasnovane na osnovi silicijevih polprevodnikov, se med seboj vseeno razlikujejo v pomembnih podrobnostih, zaradi katerih jih je težko množično proizvajati skupaj. Procesorski tranzistorji so optimizirani za hitrost in kompleksnost, medtem ko so pomnilniške celice za gostoto in zanesljivost. Spajanje obeh procesov v isti strukturi pomeni, da ima eden od podsklopov – ali pa oba – slabše zmogljivosti, kot bi jih imel, če bi bil ločen.
Kljub temu smo po letu 2010 videli nekaj takšnih rešitev, ki so podlaga vsej prvi generaciji nevromorfnih čipov (TrueNorth, SpiNNaker, Loihi) ter tudi gigantskim megačipom družbe Cerebras. V zadnjem času inženirjem pomagata tehnologiji čipletov in naprednega pakiranja, zaradi katerih lahko na splošno vidimo pomnilniške sklope vse bliže računskim – denimo v procesorjih AMD vrste X3D. Končni ideal je še vedno pravo procesiranje v pomnilniku (compute-in-memory), ki bo zahtevalo prebojne tehnologije, med katerimi še vedno največ obetajo memristorji oziroma splošneje pomnilnik ReRAM (resistive random-access memory). Ta ima obliko mreže celic, ki informacije shranjujejo v spremembah svoje električne upornosti. Bistveno je, da je hkrati nevolatilen (podatke hrani brez napajanja) in omogoča izvajanje matričnih računskih operacij, pomembnih za izvajanje generativnih algoritmov.
Memristor, upornik s spominom
Leta 1971 je profesor Leon Chua z Univerze Berkeley presodil, da pri trojici osnovnih dvopolnih elektronskih elementov – uporniku, kondenzatorju in tuljavi – nekaj manjka. Dodal jim je četrtega, ki opisuje zvezo med magnetnim pretokom in električnim nabojem, ter ga poimenoval memristor, kar je skovanka iz besed memory in resistor. Po predvidevanjih naj bi bila namreč njegova električna upornost odvisna tudi od preteklih tokov, ki so tekli skozenj. Ker elementa ni dejansko zgradil, je bila njegova objava takrat razumljena kot hecna zanimivost … vse do leta 2008, ko so pri HP udarili z objavo, da so jim ga je uspelo naposled napraviti. Vse odtlej se v stroki krešejo mnenja, koliko ta in poznejše izvedbe dejansko sledijo prvotni teoretski zamisli Leona Chue, zaradi česar memristor nosi titulo najbolj kontroverznega elementa elektronike. V praksi je v industriji prišlo do nekakšnega kompromisa: elemente z upornostjo, ki se spreminja glede na pretekle dogodke, v splošnem označujemo za »memristorske tehnologije«. Volk sit in kondenzator poln.
Impulzno odločanje
Druga temeljna razlika med današnjimi algoritmi umetne inteligence in možgani je v sami naravi nevronskih mrež, ki jih udejanjajo. Jezikovni modeli uporabljajo tako imenovane konvolucijske globoke nevronske mreže (CNN – convolutional neural network), ki so zgrajene iz plasti vozlišč – od tod »globina« v izrazu. Signali in uteži imajo obliko decimalnih števil različne natančnosti, medtem ko o tem, kakšen signal bo posamezno vozlišče poslalo naprej, odloča aktivacijska funkcija. Živčevja živih bitij delujejo drugače in jih bolje ponazarja druga pomembna vrsta umetnih nevronskih mrež, tako imenovane impulzne nevronske mreže (SNN – spiking neural network). Tu so signali bistveno preprostejši, ponavadi 1, pri zapletenejših izvedbah pa tudi enoštevčna cela števila. Posamezno vozlišče signale prejema, dokler njihov seštevek ne preseže določene meje, nato naprej pošlje signal iste vrste, torej 1.
Problem pomnilniškega zidu lahko vidimo že na vsakem koraku, med drugim pri letošnji marčevski najavi Nvidijinega pospeševalnika izvajanja Groq 3, katerega bistvena odlika je – uganili ste – tesno vdelan pomnilnik.
Impulzne mreže imajo ključno časovno komponento, ki je konvolucijske načelno ne poznajo. Medtem ko CNN procesiramo v klasičnem smislu, pod nadzorom centralne urice, pa SNN signale prožijo povsem asinhrono in decentralizirano – ko pač posamezno vozlišče preseže mejno vrednost. To je bistveni element pri njihovi varčnosti, saj pošiljajo mnogo manj signalov in torej zahtevajo manj izračunov kot izvedbe v obstoječih generativnih algoritmih. Za možgane popularno pravimo, da imajo v povprečju frekvenco okoli deset hercev, kar pa je precej odvisno od vzbujenosti posameznih režnjev. Koliko je opisana časovna komponenta vpletena v odločitve živih bitij, je še vedno stvar pomembnih raziskav nevrološke znanosti. S stališča prenosa v računalništvo pa že vemo, da nam ponuja možnost hkratnega učenja ob izvajanju algoritma. To se pravi: glede na frekvenco pošiljanja signalov lahko sistem v posameznih intervalih nato ojača ali šibi povezave med vozlišči. Pri CNN sta namreč fazi učenja in izvajanja danes še vedno strogo ločeni.
Čipi z nevroni
Laboratorijski preizkusi različnih zasnov fizičnih umetnih živčnih spletov tečejo najmanj od 80. let prejšnjega stoletja, ko je Carver Mead z inštituta Caltech oblikoval takšno vezje za grobo prepoznavo podob. A šele po letu 2010 smo dobili večje naprave, podobne nečemu, kar lahko imenujemo procesorji univerzalnejšega namena. Inženirji so skozi desetletja raziskav prišli do sklepa, da so neke vrste vezja CMOS na osnovi silicijevih polprevodnikov še vedno obvezna in da so obdelava podatkov v pomnilniku in impulzne nevronske mreže dvoje bistvenih elementov, okoli katerih je smiselno takšne čipe graditi, in zato označujeta današnje področje večjih nevromorfnih sistemov. Praktično vse pomembne rešitve so zgrajene na tej kombinaciji, se pa posamezne izvedbe lahko precej razlikujejo. Nekatere koristijo klasični predpomnilnik SRAM, postavljen tesno ob računska vozlišča, druge dejansko izrabljajo omenjene analogne pomnilnike vrste ReRAM.
Poglaviten zgodnji izziv raziskav je bilo vprašanje, kako v vezjih udejanjiti takšno nepregledno množico povezav med biološkimi nevroni, tako imenovanega konektoma. Današnji čipi, kot je Loihi 2, vseh sinaps med vozlišči ne ponazarjajo fizično, temveč virtualno, čemur so namenjeni podsklopi, ki morajo urejati takšen promet.
Prvi večji igralec v industriji s svojo zasnovo je bil IBM s čipom TrueNorth leta 2014. Procesor je vseboval 1.048.576 vozlišč in 256 milijonov mogočih programabilnih povezav med njimi. To je približno toliko kot možgani navadne čebele, če seveda odštejemo vse ostale biološke podrobnosti. Glavna odlika TrueNortha je bila njegova varčnost: kljub 5,4 milijarde tranzistorjev je trošil največ 65 milivatov! Takrat jezikovni modeli še niso bili aktualni, zato so poganjali predvsem algoritme za prepoznavo slik in gibalni nadzor robotov. Tri leta pozneje je sledil Intel s podobnim čipom Loihi, ki je vseboval 131.072 vozlišč in 130 milijonov povezav. Na Daljnem vzhodu so Kitajci s takšnimi zasnovami začeli leta 2019, ko so na univerzi Tsinghua zasnovali čip Tianjic. Na papirju je majhna stvar, s 40.000 vozlišči in z 10 milijoni povezav, njegova posebnost pa je zmožnost izvajanja tako impulznih kot globokih nevronskih mrež.
Tudi Evropa je na tem področju sorazmerno močna. Med letoma 2013 in 2023 je na stari celini tekel ambiciozen program pod sponzorstvom Evropske unije, Human Brain Project, katerega del so bile tudi nevromorfne rešitve z računalniki SpiNNaker in BrainScaleS. Prvo različico SpiNNakerja so zasnovali na univerzi v Manchestru pod vodstvom legendarnega inženirja Steva Furberja, enega od očetov procesorjev ARM. Ne gre za čip, temveč superračunalnik z več kot milijonom jeder ARM9, ki so ga dokončali leta 2019. Vsako od jeder je namenjeno simuliranju impulznih mrež na tisoč virtualnih nevronih, kar pomeni, da so poskušali tako simulirati milijardo živčnih celic. Da je šlo za raziskovalni in ne komercialni podvig, pove podatek o porabi: 100 kilovatov. Drugo generacijo so leta 2021 sestavili na Univerzi za tehnologijo v Dresdnu.
BrainScaleS je z našega vidika nemara zanimivejši. Tudi tu gre za superračunalnike – prvega so leta 2016 postavili na univerzi v Heidelbergu –, ki pa imajo malce posebne čipe. Enica je vsebovala 20 čipov velikosti celotne rezine, ki so skupaj imeli skoraj štiri milijone fizičnih vozlišč in 860 milijonov spremenljivih povezav. Zanimiva je bila pretežno analogna zasnova tako nevronov kot medpomnilnikov za utežne parametre. Pri drugi generaciji, iz leta 2022, so opustili takšne orjaške procesorje v zameno za bolj klasično obliko z množico sistemskih čipov, od katerih ima vsak po 512 nevronov in 131.000 povezav. Eno od poglavitnih področij raziskav na napravah BrainScaleS je primerjava med analognimi in digitalnimi signali. Nemci so tu prišli do sklepa, da so digitalni nevroni v splošnem hitrejši.
Najstniško odraščanje
Zaokrožene nevromorfne procesorje torej poznamo že dobro desetletje in danes stojijo v več superračunalnikih po svetu. Še vedno gre za raziskovalne dejavnosti in nobena od teh naprav ne poganja storitev, ki bi jih lahko izkoristili za plonkanje pri šolskem spisu. Še najbliže nekakšnemu poskusu komercialnega izdelka je Intelov kompaktni superračunalnik Hala Point izpred dveh let. Sestavlja ga 1.152 procesorjev Loihi 2, s skupno več kot milijardo vozlišč in 128 milijardami povezav. V ameriški ustanovi Sandia National Laboratories ga uporabljajo za bazične raziskave. V eni aktualnejših analiz iz lanskega aprila v reviji Nature Communications lahko zasledimo dve poglavitni prepreki na poti takšnih čipov na tržišče: zahtevno programiranje uporabnih rešitev in pa izziv izrabe obstoječih postopkov proizvodnje polprevodnikov.
Raba impulznega načina pošiljanja signalov pomeni zaznavno drugačno podlago delovanja algoritmov in zahteva dolgotrajno prilagajanje tako programskih prevajalnikov kot njihovih uporabnikov. Eden bolj praktičnih procesov pri raziskavah na strojih, popisanih v prejšnjem poglavju, je bilo postopno uvajanje popularnih orodij, kot sta PyTorch in TensorFlow, oziroma programja, s kakršnim so že seznanjeni razvijalci izdelkov za komercialno umetno inteligenco. V tem pogledu desetletje pravzaprav ni tako dolga doba. Zasilna začasna rešitev je lahko tudi prilagajanje konvolucijskih nevronskih mrež za nevromorfne čipe – te so z nekaj hacki uspešno implementirali tako na čipih TrueNorth kot Loihi (2). A tu je treba biti pazljiv: analize so na TrueNorthu hitro pokazale, da takšen način izniči prednosti manjše porabe ter večje hitrosti. Mreže CNN zahtevajo večjo natančnost, kar pomeni večjo porabo elektrike.
Zadnja izvedba čipov SpiNNaker2 je našla mesto na teh velikih veznih ploščah dresdenskega podjetja SpiNNcloud Systems, ki združujejo 48 nevromorfnih vezij in pa klasične pospeševalnike nevronskih mrež. Tudi na takšen način poskušajo inženirji znižati vstopni prag za nevromorfne naprave.
Bliskovit razvoj Nvidijinih procesorjev in pa pospeševalnikov izvajanja, kakršen je TPU, pomeni, da bodo morali tudi nevromorfni izdelki izkoriščati podobne proizvodne linije, če želijo biti količkaj konkurenčni. To pa pomeni, da v svojem drobovju ne smejo biti preveč eksotični. Vse kaže, da se bo industrija vsaj sprva ustalila na digitalni ponazoritvi nevronov, tako zaradi združljivosti s proizvodnimi metodami kot kompatibilnosti z drugimi tipi nevronskih mrež. Usoda analognih pomnilnikov, kot je ReRAM, tako še vedno precej visi v zraku. Zimzeleni Steve Furber je prav tako lani v reviji Nature s kolegi popisal mnenje, da je področje nevromorfnega računalništva doseglo raven, ko lahko rešitve tako strojno kot programsko enostavno širijo na želeno velikost; edino, kar še potrebujejo, je neki killer app. Strokovnjaki so torej optimistični in menijo, da naj bi do preboja na tržišče prišlo do konca desetletja.
Bežeče pike
A kot že pri optičnih procesorjih v prejšnji številki tudi pri nevromorfnih velja, da bomo uporabne izdelke morda prej videli »na robu« kot pa v superračunalnikih za poganjanje jezikovnih modelov. Vedeti je treba, da se večina raziskovalnih projektov na univerzah po vsem svetu pravzaprav ukvarja z manjšimi čipi v različnih tipalih, kjer njihova varčnost pride še bolj do izraza, analognost pa je lahko prednost pri pobiranju podatkov iz okolice. Najboljši primer takšne uporabe so dogodkovne kamere (event camera). Zamisel je naslednja: Kaj, če tipalo ne bi vseskozi zaznavalo in procesiralo vseh pik v sliki, temveč zgolj tiste in takrat, ko bi prišlo do spremembe? Konkretno: pri teniškem dvoboju se večina prizorišča ne spreminja, gibljejo se predvsem igralca in žogica. Če bi beležili zgolj spremembe v pikslih, ki jih pokrivajo, bi prihranili dosti energije. Še več, takšen način zajema slike omogoča tudi natančnejšo zaznavo gibanja, saj se pika odzove ob stvarni spremembi, ne z umetno nastavljeno frekvenco. To pa precej spominja na impulzne mreže, mar ne?
Pri Cerebrasu svojih orjaških čipov Wafer Scale Engine sicer ne oglašujejo kot nevromorfnih, toda njihova oblika je delno taka zaradi pomnilnika SRAM, ki je postavljen neposredno ob logičnavezja.
Dogodkovne kamere so sila pomembno raziskovalno področje in so iz vesolja že opazovale strele na Zemlji ter bolnikom s slepoto pomagale skozi očesne implantate. Časovna ločljivost v posameznem pikslu lahko dosega red mikrosekund, na ravni celotne naprave pa nekaj milisekund. Hkrati je treba opomniti, da proizvajajo signal, ki človeku ni takoj razumljiv, in če želimo posneti film, moramo njihove podatke spojiti s tistimi iz klasične kamere, kjer v zameno dobimo izjemno ostro gibanje brez zabrisanja. A uporabne so tudi same na sebi in se utegnejo že v kratkem znajti v samovozečih avtomobilih, letalnikih ter industrijskih robotih. To pa je zgolj najlažje razumljiv primer, saj je mogoče koncept razširiti še na vse mogoče druge vrste signalov, kjer je potrebna visoka časovna ločljivost. Kdo pravi, da narava vedno »razmišlja« počasi?
Pri nasledniku TrueNortha, procesorju NorthPole, so se inženirji IBM pomaknili malo nazaj; naprava je delno nevromorfna, z vdelanim pomnilnikom, toda poganja klasične globoke nevronske mreže.
