S svetlobo nad umetno inteligenco
Tranzistorska elektronika je temelj današnjega računalništva, toda specifične računske zahteve nevronskih mrež, na katerih slonijo strojno učeni algoritmi, ponujajo možnost za bistven odmik v strojnem načinu procesiranja: uporabo svetlobe namesto elektrike.
Podivjana gradnja podatkovnih centrov, predvsem za namene poganjanja umetne inteligence, se je začela neprijetno dotikati tudi tistih, ki se z računalništvom ne ukvarjajo profesionalno. Grozljiv skok v cenah pomnilnika je močno otežil nadgrajevanje delovnih postaj in že draži vse s tem povezane naprave, od prenosnikov dalje. Druga poglavitna nevšečnost so energetske potrebe teh orjaških stavb, saj v lokalnih okoliših dostikrat podražijo elektriko za vse prebivalce. Pri Bloombergu so lani jeseni preiskali področje okoli regije v ameriški Virginiji, popularno imenovane Data Center Alley, ker gosti ogromno takšnih podjetij. Ugotovili so, da so se cene elektrike na debelo zvišale za triinpolkrat, za prebivalce pa do 80 odstotkov.
Kako streti oreh omejenih zmogljivosti za proizvodnjo električne energije, ki je poleg razpoložljivosti čipov drugo od obeh glavnih ozkih grl v širitvi procesnih kapacitet, je dandanes glavna tema v panogi. Ni torej nenavadno, da se strategi v sili začenjajo oklepati rešitev, ki so doslej veljale za čisto eksotiko. Na strani proizvodnje elektrike IT-velikani na veliko vlagajo v zagonska podjetja, ki projektirajo fuzijske elektrarne, čeprav to za zdaj še ni opazno povečalo napredka na tem področju. Na strani porabe so iz predalov potegnili zamisli, ki bistveno predrugačijo načine obdelave podatkov in njihovega transporta. Širitev optičnih povezav v samo osrčje čipov smo obravnavali v prejšnji številki in naj bi svoje koristi pokazala v bližnji prihodnosti.
Tokrat pa se lotimo bolj zapletene snovi, ki še ni zares pogledala iz laboratorijev: dejanskih optičnih procesorjev.
Ko je Deepmindov algoritem AlphaGo leta 2016 v igri go premagal Leea Sedola, je za svoje delovanje potreboval skoraj 2.000 vatov moči. Sedolovi možgani so je seveda neprimerno manj, zato vemo, da je mogoče nevronske mreže poganjati varčneje kot doslej.
Muhasti valovi
Na površju je ideja prehoda na optične naprave sila logična. Energijska poraba računalnika izvira iz dejstva, da tokove podatkov reprezentiramo z električnimi tokovi. Vodniki, po katerih ti potujejo, imajo električno upornost, zaradi katere trošimo električno moč, da tokove lahko poganjamo. Hkrati se vodniki zaradi upornosti tudi grejejo, kar na koncu pomeni, da se vsa ta energija pretvori v toploto, ki jo je običajno treba odvesti, kar povzroči dodatno porabo na strani hladilnih sistemov. Optična vlakna, po katerih potujejo svetlobni žarki, takšne upornosti ne poznajo, zaradi česar je prenos podatkov po njih v primerjavi z električnimi vodniki bistveno učinkovitejši.
Energijske izgube tu pridejo iz naslova sipanja svetlobe na majhnih nepravilnostih v materialu vlakna, nekaj malega tudi iz absorpcije. Zaradi tega dolgi optični kabli potrebujejo ojačevalce, ki so običajno postavljeni na vsakih 50–100 kilometrov. To hkrati pove, da znotraj majhnega računskega čipa takšne izgube ne bi prišle do izraza, zato lahko na oko zaokrožimo, da bi bila poraba samih svetlobnih vodil zanemarljivo majhna. Optični signal za nameček tudi potuje malce hitreje od električnega. Če za lažje razumevanje vzamemo grobe povprečne vrednosti, v optičnem vlaknu dosega dobri dve tretjini hitrosti svetlobe v vakuumu, medtem ko električni signal v čipu potuje približno s polovico svetlobne hitrosti v vakuumu.
Takšne lastnosti izkoriščamo pri prenosu podatkov, medtem ko v njihovi obdelavi doslej niso prišle do izraza. Svetloba ima namreč fizikalne lastnosti, ki ovirajo učinkovito zasnovo običajnih stikal, s katerimi bi lahko oblikovali logična vrata in jo uporabili za računanje v okviru Boolove algebre. Dimenzije fizičnih elementov, s katerimi lahko manipuliramo s svetlobnimi žarki, morajo imeti najmanj valovno dolžino uporabljene svetlobe. V prenosu podatkov in silicijevih pretvornikih običajno izkoriščamo valovne dolžine med 800 in 1.600 nanometri, to se pravi infrardečo svetlobo, saj so tu izgube v uporabljenih medijih najmanjše. Te razsežnosti so mnogo večje od tistih pri elementih najmodernejših čipov, ki merijo nekaj deset nanometrov. Optična stikala, podobna tranzistorjem, bi bila torej preprosto prevelika in bi jih na posamezen čip spravili premalo, da bi bila njihova raba smiselna.
Optična obdelava podatkov v resnici ni nova stvar. Takšne analogne naprave so že v 60. letih prejšnjega stoletja uporabljali za obdelavo podatkov radarjev vrste SAR, s katerimi kartirajo Zemljino površje. Elektronski čipi so bili tedaj za to nalogo še prešibki.
Nevronske mreže, temelj strojnega učenja
Nevronske mreže v osnovi posnemajo delovanje centralnega živčevja v bioloških organizmih. Signal po njih potuje skozi razvejan preplet vozlišč (nevronov), ki odločajo o tem, kako bodo podatki obdelani. V fazi učenja vhodne informacije spreminjajo parametre mreže, kot so uteži na povezavah med vozlišči, ki odločajo o moči signala. V fazi izvajanja (ali inference) pa nato »izurjena« mreža vhodne podatke obdela na način, da na drugem koncu dobimo uporaben rezultat – na primer informacijo, ali je na obdelani sliki pes ali mačka. To so sicer gole osnove in poleg uteži so pomembne tudi tako imenovane aktivacijske funkcije, ki v posameznem vozlišču odločajo, kakšen signal bo spuščen naprej, in podobno. Omeniti je še treba, da takšne mreže niso fizično reprezentirane v čipih, ki jih poganjajo, temveč so za zdaj zgolj programsko emulirane. Panogi, ki se ukvarja s fizično obliko mrež, pravimo nevromorfno računalništvo in še ni zares pogledala iz laboratorijev.
Namenska vezja
Na srečo pa se izkaže, da današnja umetna inteligenca Boolove algebre v dobršni meri sploh ne potrebuje. Za preračunavanje znatnega dela operacij v nevronskih mrežah (glej okvir), ki so podlaga strojno učenim algoritmom, namreč ne potrebujemo procesorjev s široko zastavljenimi računskimi zmogljivostmi, temveč so dovolj mnogo preprostejše zasnove. Tokove signalov med vozlišči mreže je v pretežni meri mogoče obvladovati s preprosto matrično aritmetiko oziroma množenjem matrik. Ravno zaradi tega so se grafični čipi izkazali kot nalašč za takšne operacije – tudi transformacije prostora, ki ga izvajamo pri izrisovanju navideznih okolišev v igrah, so podoben računski zalogaj. Bliskovit vzpon Nvidie, ki ga spremljamo v zadnjem desetletju, praktično v celoti sloni točno na tej ideji.
V matematičnem smislu to pomeni velikansko količino množenja in seštevanja števil, kar omogoča dodatne optimizacije. Iz tega naslova pridejo namenski pospeševalniki (ASIC) umetne inteligence, kot so enote NPU (neural processing unit) v sistemskih čipih in pa procesorji v oblaku, kakršen je Googlov Tensor Processing Unit (TPU). Ti imajo v svoji sredici vezje MAC (Multiply Accumulator Circuit), katerega edina naloga je, da zmnoži dve števili in rezultat prišteje v akumulacijski register. Ker to predstavlja okrog devet desetin vsega potrebnega računanja za izvajanje takšnega algoritma, gre za zelo učinkovito arhitekturo, vsaj v primerjavi z grafičnimi čipi. Konkretno: čipi TPU so, odvisno od konkretne narave algoritma, od dva- do štirikrat učinkovitejši na potrošen vat od splošneje usmerjenih GPU. Hkrati je njihova enostavnost tudi njihova glavna hiba, saj so manj primerni za raziskave in urjenje novih modelov. V praksi se zato za urjenje pretežno uporablja Nvidijine čipe, medtem ko se »izučene« modele nato izvaja na namenskih procesorjih.
Google je procesorje TPU predstavil leta 2015 in razburkal panogo oblačnih storitev. Svoje različice ima danes večina tekmecev; Amazon čipe Trainium, Microsoft pa linijo Maia.
Daleč največja dela procesorjev TPU sta vezje MAC na desni, in pa predpomnilnik na sredini. Preostanek odpade na registre in kontrolne enote.
Svetlobna poštevanka
Iz opisanega ustroja čipov, kot je TPU, sledi, da je večina njihove porabe posledica procesiranja in transporta podatkov. Govorimo o več kot 80 odstotkih, medtem ko preostala petina odpade na medpomnilnike. To pomeni, da bi v resnici prihranili ogromno, če bi bili vodila in računski elementi zgrajeni na osnovi silicijeve fotonike in bi podatke kodirali s svetlobo. Takšna vodila že znamo izdelati kakor tudi pretvornike električnega signala v optičnega in obratno. Pri računskih elementih za množenje matrik pa se izkaže, da zanje ne potrebujemo običajnih stikal in logičnih vrat, temveč jih je mogoče implementirati tudi drugače. Eden najmnožičneje zastopanih načinov izkorišča interferenco svetlobe, se pravi način, na katerega se snopa elektromagnetnega valovanja seštejeta med seboj.
Ideja je naslednja: laserski žarek pošljemo skozi Mach-Zehnderjev interferometer, ki ga razklene na dva dela. Ta »podsnopa« odpotujeta po različnih poteh, katerih natančna dolžina je odvisna od vrednosti dveh vhodnih števil. Nato se spet združita, da dobimo zmnožek ali vsoto. Dolžine poti je mogoče nastavljati z majhnimi deformacijami, na primer s piezoelektričnimi kristali, ki jih nadzorujejo kontrolni kondenzatorji. Iz mreže takšnih elementov je sestavljena obsežna »fotonska mrežica« (photonic mesh), ki lahko funkcionalno povsem nadomesti vezja vrste MAC. Eno najboljših funkcionalnih zasnov na takšni podlagi je leta 2017 popisala raziskovalna ekipa bostonskega inštituta MIT pod vodstvom Dirka Englunda in Marina Soljačića. Po tem receptu je ameriško podjetje Lightmatter, ki je istega leta izšlo iz inštituta MIT, predstavilo serijo prototipnih fotonskih čipov. Čip Mars iz leta 2020 ima 4.096 Mach-Zehnderjevih interferometrov, izdelanih v 90-nanometrskem proizvodnem procesu.
Poglavitni tehnični izzivi so bili pred petimi leti natančnost, velikost ter implementacija nekaterih naprednejših funkcij globokega učenja. Čip Mars ima 8-bitno natančnost, kar je dovolj za izvajanje algoritmov, ne pa tudi njihovo učenje. Treba je poudariti, da so takšni optični čipi po svoji naravi analogne naprave, pri katerih je natančnost samosvoja kategorija. Majhno število elementov v Marsu tudi pove, da inženirje čaka še dosti dela, preden bodo takšna vezja letela z najsodobnejših linij za izdelavo polprevodnikov. A tudi koristi so otipljive: prihranek energije v primerjavi z elektronskimi čipi merimo v razredih velikosti, to se pravi desetkratno.
Tako se popularno predstavlja tokove podatkov po fotonski mrežici. Na spojih se žarki združujejo, vmes so kontrolne enote in te kodirajo vrednosti, ki jih žarki nosijo v svoji valovni fazi.
Lightmatterjev čip Mars je sicer mnogo prešibak, da bi bil obče uporaben, toda gre za delujočo napravo, izdelano v obstoječih litografskih tehnikah. To se pravi: vemo, da takšne zasnove delujejo in jih je teoretično mogoče množično proizvajati.
Mach-Zehnderjev interferometer, delovna živina optike
Svetlobna interferometrija ali spajanje žarkov je eno najpomembnejših področij fizikalnih meritev, saj je mogoče na ta način zaznavati zelo majhne premike, oddaljena gibanja v vesolju ali fino sestavo snovi. Ni torej presenetljivo, da eno od njenih poglavitnih orodij izvira iz 19. stoletja. Leta 1891 je avstrijski fizik Ludwig Mach predstavil zamisel naprave, ki na polprosojnem zrcalu razklene svetlobni snop na dvoje; ta dvojica nato potuje po različnih poteh, preden se spet združi. Iz rezultata je mogoče dognati razliko v dolžini poti obeh snopov. Leto kasneje je švicarski fizik Ludwig Zehnder napravo še dodelal, zato jo imenujemo Mach-Zehnderjev interferometer. Zaslužen je za mnoge raziskave v fiziki, pomemben pa je tudi v računalništvu. Na osnovi takšnih interferometrov smo videli pomembne preboje v silicijevi fotoniki, ki so prinesli silicijeve modulatorje, se pravi pretvornike električnih signalov v optične.
Galop z vzhoda
Poudariti je treba, da je predstavljena Lightmatterjeva zasnova zgolj ena od mnogih različnih na področju, ki je po letu 2020 raziskovalno eksplodiralo, saj smo pomembnim odkritjem priče vsakoletno. Spomladi 2023 je ekipa z univerze Stanford kot prva pokazala fotonsko mrežico, ki je zmožna strojno izvajati backpropagation, enega najpomembnejših elementov treniranja globokih nevronskih mrež. To kaže, da optični čipi nemara ne bodo zgolj inferenčne naprave, kot so se strokovnjaki dotlej bali, temveč bo na njihovi osnovi lahko teklo tudi učenje. Leta 2024 so kitajski raziskovalci z univerze Tsinghua predstavili mrežico, ki kombinira rabo interference in uklona svetlobe. Uklonski mehanizmi »računajo« na način, da svetlobne žarke sipljejo v različne smeri. V primerjavi z interferenčnimi so še varčnejši in fizično manjši, a jih ne moremo reprogramirati. To pomeni, da se tudi znotraj optičnih čipov že oblikujejo raznolike podenote za različne vrste obdelave podatkov.
Istega leta je že omenjena proslavljena skupina z MIT predstavila nov konceptni čip, HITOP, ki podatkov ne kodira zgolj v valovni fazi svetlobe v eni ravnini, temveč izkorišča metode, ki jih že poznamo iz učinkovitejšega »pakiranja« podatkov v optičnih kablih: svetloba je polarizirana v več ravninah, žarek pa sestavlja več valovnih dolžin svetlobe. Povedano bolj po kmečko: v posamezen žarek svetlobe lahko naenkrat zakodiramo več informacij in jih tako obdelujemo še hitreje. HITOP naj bi zmogel približno 1 TOPS, kar je sicer v absolutnem smislu 40-krat slabše od enot NPU v prenosnikih standarda Copilot+ PC, toda ob porabi 40 TOPS na vat, kar je za razred velikosti bolje od Nvidijinih čipov. Bolj kot sami podatki o učinkovitosti naj takšne rešitve prikažejo dejstvo, da smo še vedno v laboratorijski fazi opisane tehnologije in nas od uporabnih izdelkov za podatkovne centre loči vsaj še pet let, raje deset. Tudi pri Lightmatterju so se tega zavedeli in so se kratkoročno usmerili v fotoniko za povezave, kar ponazarja platforma Passage, opisana prejšnji mesec.
Lani so sicer kitajski raziskovalci prvič prehiteli ameriške v številu znanstvenih objav, ki se tičejo fotonskih čipov. Azijska velesila je v zadnjih desetih letih vztrajno vlagala v raziskovalni kader in tehnične zmogljivosti na tem področju, dejavnosti pa so še pospešili po začetku trpke trgovinske vojne z ZDA, v kateri so Američani v več fazah postopno omejili izvoz najboljših Nvidijinih procesorjev na Kitajsko. Zadnji tehnični krik mode z vzhoda je čip LightGen, namenjen generiranju slik. Z uporabo metapovršin – to so ploskve, ki s fino strukturo vplivajo na padajočo svetlobo – so v vezje vdelali več kot milijon računskih elementov. Kar je zgolj še en kazalnik, da se panoga na sami bazični ravni še vedno močno razvija, tako da še vedno ne vemo, kakšno zasnovo natančno bodo dejansko nosili prvi večji komercialni modeli.
Na robu
Vseeno utegnemo oprijemljive uporabne stvari videti, še preden bodo prve takšne čipe prejeli podatkovni centri, kajti opisane vrste procesiranja so uporabne tudi za drugačne kose opreme, ne le za oblak. Pravzaprav se eden od pomembnih argumentov pri tako zaželeni varčnosti optičnih čipov nahaja ravno na drugi strani informacijske verige – na robu. To se pravi: vezja v telefonih ter vse bolj prisotnih pametnih oblačilih in dodatkih, od pametnih očal dalje, kjer so velike električne shrambe (beri: baterije) vedno nadloga. Največ doslej predstavljenih konceptnih rešitev takšne sorte se tiče organske obdelave slik, saj izrablja dejstvo, da vizualne informacije v senzorje že spočetka pridejo v obliki svetlobe. Predstavljajte si, da podobe ne zabeleži klasična enota CCD kot v fotoobjektivu, temveč jo že kar takoj pošljemo na obdelavo v kompakten optični čip.
Pred štirimi leti so na Univerzi v Pensilvaniji pripravili takšno vezje, velikosti manj kot deset kvadratnih milimetrov, ki je znalo prepoznavati »prebrane« črke, in sicer s teoretično hitrostjo dveh milijard na sekundo. Pri tem ni potrebovalo dodatnega napajanja, razen na samem koncu, za zapis rezultata. Lanskega oktobra so na Kalifornijski univerzi v Los Angelesu predstavili podoben čip, ki deluje v obratni smeri, pri generiranju slik. Zelo enostavno si je predstavljati, da bi bila takšna elektrooptika vgrajena v AR-naočnike, kjer bi na eni strani samodejno prebirala knjigo in na drugi projicirala podobe na zaslonček. Seveda pa bo od takšnih konceptnih vzorcev v laboratorijih do dejanskih izdelkov moralo preteči še nekaj … svetlobe, zato bomo lahko srečni, če bomo katerega videli pred koncem desetletja.
Še en kraj, kjer je razpoložljiva elektrika omejena, je vesolje. Na sliki konceptni minisatelit iz Kanadskega nacionalnega raziskovalnega centra v Ottawi za testiranje optičnih procesorjev za namene obdelave podatkov na satelitskih teleskopih.
