Jo že čutite? Pravijo, da je blizu, še od dve do pet let moramo počakati – mogoče pa bo tu že prihodnje leto! In menda bo vse spremenila: zdravila bo bolezni, rešila planet in prinesla blaginjo. Z metodami, ki si jih sploh še ne znamo predstavljati, bo rešila naše največje težave. Spremenila bo definicijo, kaj pomeni biti človek!
Will Douglas Heaven, MIT Technology Review
Čakajte – kaj pa, če je vse to prelepo, da bi bilo res? Kajti slišim tudi, da bo z njo prišla apokalipsa, v kateri ne bo zmagovalcev.
Kakorkoli že in ne glede na časovnico prihaja nekaj velikega.
Lahko bi rekli, da nas čaka Jezusov drugi prihod. Ali da bo prišel dan, ko bo pripadnike Nebeških vrat pobral neznani leteči predmet in se bodo preobrazili v razsvetljena zunajzemeljska bitja? Ali trenutek, ko se bo Donald Trump končno odločil za napovedano 'nevihto', svojo dokončno zmago nad političnimi nasprotniki, kot si jo predstavlja skrajno desni QAnon. Ampak ne. Govorimo seveda o splošni umetni inteligenci oziroma s slovensko kratico SUI (angleško pa AGI), hipotetični prihodnji tehnologiji, za katero pravijo, da bo zmogla skoraj vse, kar zmorejo človeški možgani.
SUI je za mnoge več kot tehnologija. V tehnoloških središčih, kot je Silicijeva dolina, zanjo uporabljajo skrivnostne izraze. Ilya Sutskever, soustanovitelj OpenAI in nekdanji vodja tamkajšnjih znanstvenikov, naj bi na sestankih ekipe dajal pobudo za skandiranje: »Občuti SUI!« Občuti jo bolj kot večina: lani je zapustil OpenAI, katerega uradni cilj je zagotoviti, da bo SUI koristila vsem ljudem, in soustanovil zagonsko podjetje Safe Superintelligence, ki tuhta, kako preprečiti izroditev AGI (oziroma jo obdržati pod nadzorom, ko se bo izrodila). Superinteligenca je zadnja velika novost – še boljša kot SUI –, ki se rojeva zdaj, ko na vseh koncih in krajih poslušamo o SUI.
SUI bo pametna kot cela država genijev (Dario Amodei, direktor Anthropica), sprožila bo dobo največjega mogočega človekovega razcveta, v kateri bomo potovali do zvezd in kolonizirali galaksijo (Demis Hassabis, direktor Google DeepMinda), občutno bo povečala obilje in blaginjo, ljudje pa bodo lahko bolj uživali v življenju in imeli več otrok (Sam Altman, direktor OpenAI).
Sutskever je tudi primer nedoslednosti pri vzgibih številnih samooklicanih pridigarjev SUI. Vso svojo poklicno pot postavlja temelje za prihodnjo tehnologijo, ki se mu zdaj zdi srhljiva. »Nekaj enkratnega bo, pretresla bo ves planet, obstajal bo svet prej in potem,« mi je povedal nekaj mesecev pred odhodom iz OpenAI. Svoja prizadevanja je nato preusmeril v brzdanje te tehnologije, in sicer, kot je pojasnil, iz lastnih interesov. Verjetno nihče ne dvomi, da je treba preprečiti izroditev superinteligence, ne glede na to, kdo jo bo razvil.
V tem velikopoteznem, skoraj apokaliptičnem razmišljanju seveda ni osamljen.
Vsaka doba ima svoje vernike, ljudi z neomajno vero v prelomne spremembe, v svet prej in potem, v katerem bodo imeli čast (ali smolo) živeti.
Za nas je to obljubljeni vzpon SUI. Ljudje so vajeni poslušati, da bo to ali ono prineslo prelomne spremembe, je pojasnila Shannon Vallor, ki na univerzi v Edinburgu preučuje etiko tehnologije. »Imeli smo računalniško dobo, nato internetno in zdaj dobo umetno inteligence (UI). Čisto normalno je, da nam predstavijo novost in govorijo, da je to tehnologija prihodnosti. Razlika pa je seveda, da v nasprotju z računalniki in internetom SUI ne obstaja,« je pojasnila.
Slutnja SUI zato ni enako kot razglašanje nove tehnologije prihodnosti. A dogaja se nekaj še bolj čudnega. Po mojem SUI precej spominja na teorijo zarote, in to na takšno z najobsežnejšimi posledicami v zadnjem času.
O umetni inteligenci pišem že več kot desetletje in spremljam, kako se predstava o SUI počasi prebija iz ozadja in postaja prevladujoča tema, ki vpliva na celotno panogo. Nekoč nedosegljive sanje danes večajo dobiček nekaj podjetij z največjo tržno vrednostjo in s tem tudi ameriškega trga z vrednostnimi papirji. S temi sanjami upravičujejo načrte za nove elektrarne in podatkovne centre, ki so menda nujni za njihovo uresničitev. Podjetja za razvoj UI nam s poudarjanjem hipotetične tehnologije vsiljujejo svojo zgodbo.
Samo poslušajte, kaj govorijo vodilni v nekaterih teh podjetjih. SUI bo pametna kot cela država genijev (Dario Amodei, direktor Anthropica), sprožila bo dobo največjega mogočega človekovega razcveta, v kateri bomo potovali do zvezd in kolonizirali galaksijo (Demis Hassabis, direktor Google DeepMinda), občutno bo povečala obilje in blaginjo, ljudje pa bodo lahko bolj uživali v življenju in imeli več otrok (Sam Altman, direktor OpenAI). Izdelek in pol.
Morda pa tudi ne. Ne pozabite na temno plat. Ko ti ljudje ravno ne razglašajo utopičnih predstav, nas vsaj rešujejo pred peklom. Amodei, Hassabis in Altman so se leta 2023 podpisali pod izjavo z malo več kot dvajsetimi besedami: »Omejevanje tveganja za izumrtje zaradi UI bi moralo biti najpomembnejša mednarodna naloga skupaj s preprečevanjem drugih družbenih tveganj, od pandemij do jedrske vojne.« Elon Musk pravi, da UI predstavlja 20-odstotno tveganje za uničenje človeštva.
»V zadnjem času opažam, da s superinteligenco, za katero sem mislila, da je je bolje ne omenjati, če želiš, da te javnost jemlje resno, veselo opletajo direktorji, ki jo očitno načrtujejo razviti,« je komentirala Katja Grace, glavna raziskovalka v organizaciji AI Impacts, ki raziskovalce na področju UI anketira o njihovem področju. »Mislim, da veliko ljudi verjame brez zadržka, da je s tem vse v redu. Pravijo tudi, da nas bo ubila, a se pri tem smejijo.«
Priznati je treba, da vse to res diši po zarotništvu. Če razvijate teorijo zarote, potrebujete nekatere sestavine: načrt, ki je dovolj prilagodljiv, da ohrani podpornike, tudi če se izkaže, da ni povsem uresničljiv, obet o boljši prihodnosti, ki bo prišla le, če bodo verniki razkrili prikrito resnico, in upe o odrešitvi pred grozotami tega sveta.
SUI za las izpolnjuje vse naštete pogoje. Čim bolj razčlenjujete idejo, tem bolj spominja na zaroto, čeprav seveda ni – oziroma načelno ni. Te vzporednice ne izpostavljam, ker bi omalovaževal oprijemljive, osupljive dosežke številnih strokovnjakov s tega področja, vključno s tistimi (oziroma predvsem tistih), ki verjamejo v SUI.
Amodei, Hassabis in Altman so se leta 2023 podpisali pod to izjavo: »Omejevanje tveganja za izumrtje zaradi UI bi moralo biti najpomembnejša mednarodna naloga skupaj s preprečevanjem drugih družbenih tveganj, od pandemij do jedrske vojne.« Elon Musk pravi, da UI predstavlja 20-odstotno tveganje za uničenje človeštva.
Če se poglobimo v tisto, kar ima SUI skupnega s pravimi zarotami, njeno zasnovo lažje osvetlimo in jo razgalimo za tisto, kar je v resnici: tehnoutopične (ali tehnodistopične, odločite se sami) vročične blodnje, ki so se zasidrale v globoka in trdovratna prepričanja.
To ni le provokativen miselni eksperiment. Nujno se moramo povpraševati o vsem, kar nam pripovedujejo o SUI, saj navduševanje nad njo ni nedolžno. Trenutno je SUI najpomembnejša tema tehnologije – delno pa tudi svetovnega gospodarstva. Ne moremo razumeti, kaj se dogaja z UI, ne da bi vedeli, od kod izvira zamisel o SUI, zakaj je tako očarljiva in kako vpliva na naša stališča o tehnologiji na sploh.
Vem, vem, označevanje SUI za zaroto ni najbolj posrečena vzporednica. Pa še veliko ljudi bo razkačila. A skočite z menoj v to brezdanjo luknjo in dovolite, da vas razsvetlim.
Kako se je Silicijeva dolina 'navlekla' na SUI
Privlačno je zvenela
Povprečna teorija zarote se običajno začne širiti na obrobju, mogoče nekaj ljudi objavi kakšno sporočilo in zbira 'dokaze'. Drugič je to peščica ljudi v puščavi, ki z daljnogledi čaka, da bo zagledala jarko svetlobo na nebu. Nekatere teorije imajo srečo, če lahko tako rečem. Razširijo se, postanejo malo sprejemljivejše, začnejo vplivati na ljudi na oblasti. Včasih so to neznani leteči predmeti (se opravičujem, neznani zračni pojavi), o katerih zdaj uradno in javno razpravljajo na vladnih zaslišanjih, spet drugič pomisleki o cepivih (da, to je veliko nevarnejši primer), ki postanejo uradna politika. Nemogoče je prezreti, da je tudi SUI šla po precej podobni poti kot njene očitnejše zarotniške sestre.
Vrnimo se v leto 2007, ko UI še ni bila privlačna in frajerska. Podjetja, kot sta Amazon in Netflix (ki je zgoščenke še vedno pošiljal po pošti), so modele za strojno učenje, ki pa so protoorganizmi v primerjavi s sedanjimi velikimi jezikovnimi modeli, uporabljala za priporočila za filme in knjige svojim kupcem. To pa je bilo več ali manj vse.
Ben Goertzel je imel veliko večje načrte. Približno desetletje prej je ta raziskovalec UI ustanovil spletno zagonsko podjetje Webmind za usposabljanje nekakšnih otroških digitalnih možganov na internetu, ki je bil takrat še v povojih. Webmind je brez finančne podpore hitro propadel. A Goertzel je imel precejšen vpliv v obrobni skupnosti raziskovalcev, ki so že leta sanjali o razvijanju umetne inteligence, podobne človeški, oziroma večnamenskega računalniškega programa, ki bi zmogel marsikaj, kar počnejo ljudje, le bolje. To je bila vizija, ki je daleč presegala tehnologijo, s katero je eksperimentiral Netflix.
Goertzel je želel izdati knjigo, s katero bi širil svojo vizijo, in potreboval je ime, s katerim bi jo nedvoumno razločevali od nezanimive UI tedanjega časa. Nekdanji zaposleni v Webmindu, Shane Legg, je predlagal poimenovanje splošna umetna inteligenca. Zvenelo je zanimivo.
Čez nekaj let je Legg z Demisom Hassabisom in Mustafom Suleymanom ustanovil DeepMind. A najresnejšim raziskovalcem tistega časa se je trditev, da bo UI nekega dne posnemala človeške zmožnosti, zdela rahlo smešna. SUI je bila skoraj zmerljivka, mi je povedal Sutskever. Andrew Ng, ustanovitelj Google Braina in nekdanji glavni raziskovalec v kitajskem tehnološkem velikanu Baiduju, pa mi je priznal, da se mu je vse skupaj zdelo noro.
Kaj se je torej zgodilo? Goertzla sem vprašal, kako se je čudaška zamisel na meji verodostojnosti razmahnila v tako rekoč vsakdanji pojem. »Sem človek za zapletene kaotične sisteme, zato ne bi rad trdil, da vem, kaj naj bi bila nelinearna dinamika v memosferi,« je izjavil. (Prevod: Zapleteno je.)
Goertzel predvideva, da se je zamisel razširila iz več razlogov. Prvi je konferenca o SUI, letno srečanje raziskovalcev, ki ga je pomagal uvesti 2008, leto dni po izidu svoje knjige. Konferenco so pogosto spremljala vrhunska akademska srečanja, kot sta konferenca združenja za napredek UI in skupna mednarodna konferenca o UI. »Če bi samo izdal knjigo, ki bi imela v naslovu SUI, je najbrž ne bi nihče opazil,« je komentiral Goertzel. »Konferenca pa se je odvijala vsako leto in udeleževalo se je je vse več študentov.«
Naslednji dejavnik je bil Legg, ki je izraz razširil po DeepMindu, ko se je preselil tja. »Mislim, da je bilo to prvo veliko podjetje, ki je govorilo o SUI,« je pripomnil Goertzel. »Ni bila med njihovimi prednostnimi nalogami, vendar sta Shane in Demis občasno govorila o njej. To je prav gotovo pripomoglo k njeni legitimnosti.«
Ko sem se pred petimi leti z Leggom prvič pogovarjal o SUI, mi je povedal: »Če si na začetku stoletja razlagal o SUI, so te uvrstili med norce … Celo ko smo leta 2010 ustanovili DeepMind, so na konferencah presenetljivo pogosto zavijali z očmi.« A do leta 2020 se je veter obrnil. »Nekaterim ljudem še vedno vzbuja nelagodje, vendar zagotovo ni več obrobna tema,« je rekel.
Tretje, na kar je opozoril Goertzel, je sovpadanje pojava zgodnjih znanilcev SUI in vplivnežev iz velikih tehnoloških družb. V letih po zaprtju Webminda in izdaji knjigo o SUI je Goertzel občasno sodeloval s Petrom Thielom v njegovem skladu za zavarovanje pred tveganjem Clarium Capital. »Veliko sva razpravljala.« Spomni se, da je nekoč s Thielom preživel dan v hotelu Four Seasons v San Franciscu. »Trudil sem se, da bi ga ogrel za SUI. Nato pa je od Eliezerja slišal, da nas bo vse pobila,« je pripovedoval Goertzel.
Pojav črnoglednežev
Vplivno ime, ki je za širjenje predstave o SUI doseglo vsaj toliko kot Goertzel, je Eliezer Yudkowsky, le da je po njegovem mnenju veliko možnosti – ena od številk, ki jih navaja, je 99,5 odstotka –, da bo razvoj SUI pomenil katastrofo.
Leta 2000 je Yudkowski soustanovil neprofitno raziskovalno organizacijo Singularity Institute for Artificial Intelligence (pozneje so jo preimenovali v Machine Intelligence Research Institute), ki se je razmeroma hitro začela posvečati preprečevanju črnogledih scenarijev. Thiel je bil med prvimi dobrotniki.
Yudkowskyjeve zamisli sprva niso požele veliko pozornosti. Spomnimo se, da je takrat predstava o vsemogočni umetni inteligenci – kaj šele nevarni – veljala za čisto znanstveno fantastiko. A leta 2014 je Nick Bostrom, filozof z univerze v Oxfordu, izdal knjigo Superintelligence (Super inteligenca).
»Če si na začetku stoletja razlagal o SUI, so te uvrstili med norce … Celo ko smo leta 2010 ustanovili DeepMind, so na konferencah presenetljivo pogosto zavijali z očmi.« A do leta 2020 se je veter obrnil.
»Ta knjiga je brez zadržkov predstavila koncept SUI,« je povedal Goertzel. »Veliko ljudi s tehnološkega in umetnointeligenčnega področja – Bill Gates, Elon Musk in drugi – je to knjigo prebralo in ne glede na to, ali so se strinjali z Eliezerjevim črnogledim pogledom, je Nick koncepte predstavil na zelo sprejemljiv način. SUI je s tem dobila pečat legitimnosti, da ni šlo za blodnje samooklicanih vidcev, ki zaman vpijejo v puščavi,« je še dodal.
Yudkowsky že 25 let vztrajno ponavlja isto in številni inženirji v današnjih vodilnih podjetjih za UI so odrasli ob branju in razpravljanju o njegovih pogledih na spletu, predvsem na portalu LessWrong, priljubljenem središču živahne skupnosti racionalistov in učinkovitih altruistov iz tehnološkega sveta.
Danes so ti pogledi bolj priljubljeni kot kadarkoli prej in navdihujejo mlajšo generacijo katastrofičnih mislecev, kot je David Krueger, raziskovalec na univerzi v Montrealu in nekdanji raziskovalni direktor britanskega inštituta za varnost umetne inteligence. »Mislim, da smo nedvomno na poti k razvijanju nadčloveških sistemov UI, ki bodo ubili vse,« mi je povedal Krueger. »In mislim, da je to grozno, zato bi se morali takoj ustaviti.«
O Yudkowskyjem pišejo časniki, kot je New York Times, ki ga je označil za tehnološko različico pridigarja, ki straši s sodnim dnem. V svoji novi knjigi If Anyone Builds It, Everyone Dies (Če jo bodo razvili, bomo vsi umrli), ki jo je napisal skupaj z Natom Soaresom, predsednikom inštituta za raziskovanje strojne inteligence, posreduje divje, šepavo podkrepljene trditve, da bo SUI, če ne bomo zavrli njenega razvoja, povzročila globalno apokalipso. Njuno stališče je skrajno: trdita, da bi morali za vsako ceno sprejeti mednarodno prepoved, četudi bi to pomenilo jedrske povračilne ukrepe. Navsezadnje podatkovni centri lahko ubijejo več ljudi kot jedrsko orožje, pišeta Yudkowsky in Soares.
Te zadeve niso več obrobne. Knjiga se je prebila na lestvico prodajnih uspešnic New York Timesa in jo podpirajo strokovnjaki za nacionalno varnost, kot sta Suzanne Spaulding, nekdanja uslužbenka ameriškega ministrstva za domovinsko varnost, in Fiona Hill, nekdanja višja direktorica Sveta za nacionalno varnost Bele hiše, ki zdaj svetuje britanski vladi, znani znanstveniki, kot sta Max Tegmark in George Church, ter druge znane osebnosti, med njimi Stephen Fry, Mark Ruffalo in Grimes. Yudkowskyjev glas tako seže še dlje.
»V resnici za SUI ni prave definicije. Inteligenca na ravni človeka lahko predstavlja neskončno veliko stvari – inteligenčna raven vsakega človeka je nekoliko drugačna.«
Kljub temu so morda prav tiste prve besede, zašepetane na prava ušesa, imele najusodnejše posledice. Yudkowskyju pripisujejo zasluge, da je Petra Thiela seznanil z ustanovitelji DeepMinda, nato pa je postal eden prvih večjih vlagateljev v podjetje. Po združitvi z Googlom je iz njega nastal interni laboratorij za UI tehnološkega velikana Alphabet.
Skupaj z Muskom je Thiel odigral ključno vlogo tudi pri ustanovitvi podjetja OpenAI leta 2015, v katerega je vložil milijone. Ustanovljen je bil s posebnim ciljem – ustvariti SUI in doseči, da bo varna. Leta 2023 je direktor OpenAI Sam Altman na omrežju X zapisal: »Eliezer je po mojem mnenju naredil več za hitrejši razvoj SUI kot kdorkoli drug. Zanesljivo je mnoge od nas navdušil za SUI.« Altman je dodal, da bi Yudkowsky za to nekega dne morda zaslužil Nobelovo nagrado za mir. Toda takrat je Thiel očitno postal nezaupljiv do tistih, ki naj bi skrbeli za varnosti UI in vpliva, ki so ga dobivali. »Ne razumeš, kako je Eliezer načrtno vplival na pol zaposlenih v tvojem podjetju, da verjamejo v te stvari,« naj bi Thiel na večerji konec leta 2023 rekel Altmanu. »To bi moral resneje jemati.« Altman se je trudil, da ne bi zavijal z očmi, je poročal novinar Wall Street Journala Keach Hagey.
OpenAI je zdaj zasebno podjetje z največjo tržno vrednostjo na svetu, ki znaša pol bilijona dolarjev.
In preobrazba je popolna: kot vse največje zarote se je tudi SUI skoraj neopazno vključila v osrednje tokove in se tam zasidrala.
Velika zarota o splošni umetni inteligenci
Izraz splošna umetna inteligenca je resda postal priljubljen šele pred manj kot dvema desetletjema, mit okrog nje pa se je začel spletati že na začetku računalniške dobe kot nekakšno kozmično mikrovalovno ozadje drznosti in reklame.
Alan Turing se je le pet let po tistem, ko je bil leta 1945 zgrajen prvi elektronski računalnik ENIAC, spraševal, ali stroji lahko razmišljajo. Le malo pozneje je v radijski oddaji leta 1951 povedal: »Zdi se verjetno, da bi metoda strojnega razmišljanja kmalu po svojem nastanku lahko presegla naše omejene zmožnosti. Stroji ne umirajo, svoj um pa bi še izostrili s komuniciranjem med seboj. Prej ali slej bi torej lahko pričakovali, da bodo prevzeli nadzor.«
Potem pa je leta 1955 ameriški raziskovalec na računalniškem področju John McCarthy s sodelavci zaprosil za državno finančno podporo projekta, ki so ga preroško poimenovali umetna inteligenca – kar je bilo precej drzno glede na to, da so bili računalniki takrat veliki kot soba in zmogljivi kot termostat. Pa vendar je McCarthy v prošnji zapisal: »Poskusili bomo ugotoviti, kako stroje pripraviti do tega, da bodo znali uporabljati jezik, oblikovati abstrakcije in koncepte, reševati težave, ki jih za zdaj znajo le ljudje, in se izboljševati.
Ta mit je srčika zarote o SUI. Stroj, pametnejši od človeka, ki zna vse, ni tehnologija. Je sen, ki se ne navezuje na resničnost. Komur je to jasno, počasi opazi še druge vzporednice z zarotniškim razmišljanjem.
Tako izmuzljivo predstavo, kot je SUI, je nemogoče je ovreči.
Pogovor o njej je včasih podoben razpravi z navdušenim uporabnikom Reddita o tem, katera mamila (ali delci na nebu) nadzorujejo tvoj um. Vsak argument naleti na protiargument, ki spodkopava občutek za to, kaj je res. Pod črto gre za spopad svetovnih nazorov, ne za izmenjavo argumentov, podkrepljenih z dokazi. Tudi SUI je takšna – izmuzljiva.
Težava med drugim tiči v tem, da kljub denarju in besedam nihče ne ve, kako jo razviti. Še več, večina ljudi se sploh ne strinja, kaj SUI pravzaprav je – zato je lažje razumeti, zakaj nekateri neomajno trdijo, da jo bo mogoče izkoristiti tako za rešitev sveta kot tudi za njegovo ugonobitev. Jedro večine definicij je zamisel o napravi, ki se lahko kosa s človekom pri širokem naboru nalog. (In spomnimo se: superinteligenca je bleščava nova nadgradnja SUI – stroj, ki nas lahko preseže.) Toda že temu zlahka ugovarjamo: o katerih ljudeh govorimo? O kakšnih kognitivnih nalogah? In kako širok naj bo ta nabor?
»V resnici ni prave definicije,« pravi Christopher Symons, vodja znanstvenikov za umetno inteligenco v podjetju za zdravstveno tehnologijo Lirio in nekdanji vodja oddelka za računalništvo in matematiko v državnem laboratoriju Oak Ridge. »Inteligenca na ravni človeka lahko predstavlja neskončno veliko stvari – inteligenčna raven vsakega človeka je nekoliko drugačna.«
In tako, pravi Symons, smo se znašli v tej čudni dirki, da bi razvili … Kaj pravzaprav? »Kaj bi si želeli, da bi sploh počela?«
Leta 2023 je skupina raziskovalcev Google DeepMinda, med njimi tudi Legg, poskusila razvrstiti različne definicije SUI, ki so jih predlagali ljudje. Nekateri so navedli, da se mora stroj znati učiti, drugi, da mora prinašati zaslužek, spet tretji, da mora imeti telo in se gibati naokrog (in morda znati skuhati kavo).
Legg mi je povedal, da je bila nejasnost namerna, ko je Goertzlu predlagal ta izraz za naslov njegove knjige. »Nisem imel jasne definicije, nisem niti čutil potrebe po njej,« je pojasnil. »V resnici sem SUI videl bolj kot raziskovalno področje, kot artefakt.«
Skratka, prepoznali jo bomo, ko jo bomo videli. Ampak nekateri menijo, da so jo že.
Leta 2023 je skupina Microsoftovih raziskovalcev objavila članek, v katerem so opisali svoje izkušnje s poskusno različico velikega jezikovnega modela GPT-4 podjetja OpenAI. Naslovili so ga Zametki splošne umetne inteligence in s tem razdelili panogo.
Takrat mnogi strokovnjaki niso mogli verjeti svojim očem in dojeti, čemu so priče. »Novost je delovala bolje, kot so pričakovali,« pravi Goertzel. »Koncept SUI je začel postajati otipljiv.«
Napovedi o tem, kdaj bomo dobili SUI, so tako natančne kot numerološko odštevanje do konca sveta.
Goertzel kljub vsem izjemnim jezikovnim sposobnostim velikih jezikovnih modelov meni, da ti ne vsebujejo zametkov SUI. »Rahlo me preseneča, da nekateri ljudje z globokim tehničnim uvidom v delovanje teh sistemov še vedno mislijo, da bi iz njih lahko nastala SUI, ki bi dosegala človekovo raven. Po drugi strani pa ne moreš dokazati, da se to ne bo zgodilo.«
In to je tudi bistvo: ni mogoče dokazati, da se to ne bo zgodilo. »Prepričanje, da SUI prihaja, da je tik pred vrati in da je neizogibna, je pripomoglo k izgubi stika z realnostjo,« pravi Shannon Vallor z univerze v Edinburgu. »Toda v resnici nimamo dokazov.«
Spet se krepi zarotniško razmišljanje. Napovedi o tem, kdaj bomo dobili SUI, so tako natančne kot numerološko odštevanje do konca sveta. Ker ni nič pomembnega na kocki, se nihče ne razburja, ko se napovedi ne uresničijo. Preprosto se ponudi izgovor in urnik se spet prilagodi.
To se zgodilo tudi, ko je OpenAI poleti predstavil tako opevani GPT-5. Navdušenci nad umetno inteligenco so bili razočarani, ker nova različica paradne tehnologije ni prinesla pričakovane prelomne spremembe. Toda namesto da bi si to razlagali kot dokaz o nedosegljivosti SUI – ali vsaj, da ni dosegljiva z velikimi jezikovnimi modeli –, so verniki samo prilagodili svoje napovedi, kdaj bo prišla. Saj veste, naslednjič se bo zagotovo izšlo.
Morda imajo prav. Ali pa bodo ljudje preprosto izbirali dokaze, ki potrjujejo njihovo predstavo, in ignorirali tiste, ki jo zanikajo. Jeremy Cohen, ki na kanadski univerzi McMaster preučuje zarotniško razmišljanje v tehnoloških krogih, temu pravi nepopolno zbiranje dokazov, kar je tipična značilnost zarotniškega mišljenja.
Cohen je svojo raziskovalno kariero začel v arizonski puščavi, kjer je proučeval skupnost People Unlimited, ki je verjela, da so njeni člani nesmrtni. To prepričanje je bilo imuno za nasprotne dokaze. Ko so člani umrli po naravni poti (vključno z dvema ustanoviteljema), so si ostali razlagali, da so to pač zaslužili. »Vladalo je splošno prepričanje, da so bile te smrti samomor,« je pojasnil Cohen. »Če si nesmrten, pa dobiš raka ter umreš, si gotovo nekaj naredil narobe.«
Od takrat se Cohen posveča preučevanju transhumanizma (prepričanja, da tehnologija lahko pomaga ljudem preseči naravne omejitve) in SUI. »Vidim veliko vzporednic. Prepoznavam tudi nekakšno prepričanje o čarobnosti kot sestavnem delu domišljijskih predstav, ki jih podžiga SUI,« je razložil. »To se zelo lepo ujema tudi s tipom verskih predstav, ki jih je danes mogoče razbrati v zarotniškem razmišljanju.«
Verniki so na sledi skrivnost SUI
Morda kdo od bralcev misli, da sem butelj in sploh ne 'štekam'. A ravno to hočem tudi izpostaviti. Obstajajo dobro obveščeni in obstranci. Ko se pogovarjam z raziskovalci in inženirji, ki o SUI govorijo kot o nečem samoumevnem, se mi zdi, da vedo nekaj več od mene. Nihče pa mi ni znal pojasniti, kaj to nekaj več je.
Resnico odkriješ, če veš, kje iskati. Teorije zarote so osredotočene predvsem na odkrivanje prikrite resnice, mi je pojasnil Cohen. »To je ena temeljnih lastnosti zarotniškega razmišljanja in to je nedvoumno zaznati, ko ljudje govorijo o SUI.«
Lani je Leopold Aschenbrenner, 23-letni nekdanji zaposleni v OpenAI, ki je danes vlagatelj, objavil 165-stranski manifest z naslovom Situational Awareness (Situacijsko zavedanje), o katerem se je veliko pisalo in govorilo. Ni ga treba prebrati, da bi izluščili rdečo nit: ali vidite resnico, kaj nas čaka, ali pa je ne. Prav tako ne potrebujete suhoparnih, trdnih dejstev, zadostuje, da čutite. Kdor ne čuti, preprosto še ni spregledal.
»Pred vsakim pomembnim tehničnim dosežkom, od letenja do električne energije, je veliko pametnih učenjakov poudarjalo, zakaj tega ne bomo nikoli dočakali. V resnici večina ljudi verjame le tistemu, kar vidi z lastnimi očmi.«
Ta predstava je rahlo zaznamovala tudi moj pogovor z Goertzlom. Ko sem vztrajal s svojim vprašanjem, zakaj so ljudje skeptični do SUI, na primer, je odgovoril: »Pred vsakim pomembnim tehničnim dosežkom, od letenja do električne energije, je veliko pametnih učenjakov poudarjalo, zakaj tega ne bomo nikoli dočakali. V resnici večina ljudi verjame le tistemu, kar vidi z lastnimi očmi.«
Ob takšnih pojasnilih se SUI zdi kot nekaj, v kar moraš verovati. To sem omenil tudi Kruegerju, ki je prepričan, da nas od SUI loči mogoče pet let. Posmehnil se je: »Mislim, da je to popolnoma zgrešeno.« Namreč, po njegovem verujejo tisti, ki trdijo, da SUI ne bo – to naj bi bili skeptiki, ki vztrajno zanikajo očitno. (Kljub temu je dodal, da nihče ne more zagotovo vedeti, vendar ni pametnega razloga, da ne bi dobili SUI.)
Skrita resnica privablja iskalce resnice, odločene, da bodo razkrili, kar že vseskozi vedo. A pri SUI ni dovolj le razkriti nekaj skritega, temveč je nujno tudi ustvariti nekaj nezaslišanega. Če verjamete, da je SUI uresničljiva, verjamete tudi, da so tisti, ki jo razvijajo, porodničarji naprav, ki bodo dosegle ali celo presegle človeško inteligenco. »Predstava o rojstvu strojnih božanstev seveda laska egu,« je komentirala Vallorjeva. »Misel, da postavljaš temelje za nekaj nenadkriljivega, je izjemno zapeljiva.«
Tudi to je skupna točka z zarotniškim razmišljanjem. Ljudi privablja tudi občutek smisla, koristnosti v sicer zmešanem svetu, v katerem se nam včasih zdi vse brez pomena. Ljudje hrepenijo po tem, da bi pripomogli k spremembi.
Krueger, ki sicer dela na Berkeleyju, pravi, da pozna strokovnjake, ki se ukvarjajo z UI in v tej tehnologiji vidijo našo naravno naslednico. »Zdi se jim kot imeti otroka. Naj dodam: običajno so to ljudje brez otrok,« je povedal.
SUI bo naša resnična odrešenica (ali pa bo sprožila apokalipso)
Cohen vidi vzporednice med številnimi sodobnimi teorijami zarote in gibanjem new age, ki je imelo največji vpliv v 70. in 80. letih. Privrženci so verjeli, da je človeštvo na pragu dobe duhovne blaginje in razširjene zavesti, ki nam bo prinesla mirnejši in obilnejši svet. Skratka, z nekaj psevdoverskimi običaji, vključno z astrologijo in s skrbnim polaganjem kristalov, bi ljudje razširili svoje omejitve in vstopili v nekakšno hipijevsko utopijo.
Sodobna tehnološka industrija temelji na računski moči, ne kristalih, njen občutek, kaj je na kocki, pa je enako nezemeljski. »Saj veste, o čem govorim. O predstavi, da bomo doživeli temeljit zasuk, tisočletni preobrat, po katerem se bomo znašli v tehnoutopični prihodnosti,« je povedal Cohen. »In o predstavi, da bo SUI človeštvu omogočila preseči težave, s katerimi se soočamo.«
Marsikdo si predstavlja, da bomo SUI dobili čez noč. Postopen napredek na področju UI se bo sešteval, dokler nekega dne ne bo dovolj dobra, da bo začela izboljševati samo sebe. Takrat bo naredilo bum in začela bo napredovati tako hitro, da bomo SUI dobili v eksploziji inteligence, kot to pogosto poimenujejo, kar bo privedlo do točke brez vrnitve, znane kot singularnost, nenavaden izraz, ki je že leta priljubljen v krogih SUI. Izraz, izposojen iz fizike, je v 80. letih kot prvi uporabil pisatelj znanstvene fantastike Vernor Vinge, ki si je tehnološko singularnost zamislil kot horizont dogodkov na poti tehnološkega napredka, onkraj katerega bi ljudje hitro zaostali za eksponentnim samoizboljševanjem strojev, ki so jih sami ustvarili.
Rečemo ji lahko tudi veliki pok umetne inteligence – pri katerem prav tako poznajo prej in potem, nezemeljski trenutek, ko se človeštvo, kot ga poznamo, za vedno spremeni (na bolje ali na slabše). »Ljudje si to predstavljajo kot dogodek,« je komentirala Katja Grace iz organizacije AI Impacts.
Za Vallorjevo je ta sistem verovanj zanimiv, ker je vera v tehnologijo zamenjala vero v ljudi. Newagevsko razmišljanje je kljub vsej nadnaravni in čudaški navlaki vsaj podžigala predstava, da ljudje razpolagajo z vsem, kar potrebujejo, da bi spremenili svet, če bi to le zmogli izkoristiti. Z iskanjem SUI pa smo opustili vero vase in sprejeli predstavo, da nas lahko reši le tehnologija.
Takšno razmišljanje se mnogim zdi zanimivo – in tudi pomirjujoče. »Živimo v časih, ko se zdi, da so druge poti za materialno izboljšanje človekovega življenja in družbe izčrpane,« je pripomnila Vallorjeva.
Tehnologija je nekoč obljubljala pot v boljšo prihodnost. Napredek je bil lestev, po kateri bi dosegli človeški in družbeni razcvet. »Ta vrh smo že pustili za seboj. Mislim, da ljudem upanje in takšen optimizem glede prihodnosti spet vrača SUI,« meni Vallorjeva.
Če bi to zamisel pripeljali do zaključka, pa SUI postane nekakšna boginja, ki lahko nudi zavetje pred zemeljskim trpljenjem, je še dodala.
Kelly Joyce, sociologinja z univerze v Severni Karolini, ki preučuje, kako kulturna, politična in ekonomska prepričanja vplivajo na naš pogled na tehnologijo in njeno uporabo, v vseh teh divjih napovedih o SUI vidi nekaj bolj banalnega, del dolgoročnega vzorca pretiranih obljub tehnološke industrije. »Zame je zanimivo, da nas vedno posrka. Prevladuje globoko prepričanje, da je tehnologija boljša od človeka.«
Po mnenju Joyceove so ljudje zato nagnjeni k temu, da verjamejo hrušču, ki se dvigne ob novotariji. »To je vera,« je prepričana. »Verjamemo v tehnologijo. Je boginja. Težko je ljudi prepričati o nasprotnem, tega nočejo slišati.«
Kako je SUI ugrabila panogo
Sanje o računalnikih, ki zmorejo skoraj vse, kar zmore človek, so zapeljive. A tako kot številne prepričljive teorije zarote imajo povsem otipljive posledice. Izkrivile so to, kako razmišljamo o tveganjih, ki prežijo v trenutnem tehnološkem razcvetu (ali morebitnem propadu). Mogoče so panogo celo spravile iz pravega tira in ji prevzele vire za otipljivejše in bolj praktične načine uporabe tehnologije. Predvsem pa nam dajejo bianko menico, da smemo biti leni, ukanijo nas, da si domišljamo, da se lahko izognemo dejanskemu garanju za rešitev vztrajnih težav, ki pestijo ves svet – težav, pri katerih bodo nujni mednarodno sodelovanje, kompromisi in draga pomoč. Zakaj bi izgubljali čas s tem, če pa bomo kmalu dobili naprave, ki bodo to uredile namesto nas?
Kot je povedal eden vodilnih delavcev v nekem podjetju za UI, moramo biti od SUI vedno oddaljeni od pol do enega leta, kajti če bi trajalo dlje, ne bi pritegnili pravih ljudi, če pa bi bila že skoraj tu, bi bilo pa tako in tako vseeno.
Pomislite samo na vire, ki jih zapravljajo za ta veličastni projekt. OpenAI in Nvidia sta napovedala partnerstvo, v katero bosta vložila do sto milijard dolarjev in v okviru katerega bo veliki proizvajalec čipov poskrbel za najmanj deset gigavatov nenasitnih potreb ChatGPT. To so podatki, ki presegajo podatke za jedrsko elektrarno. Toliko energije se morda sprosti, ko udari strela. Časovni stroj doktorja Emmeta Browna je potreboval le 1,2 gigavata, da je Martyja v filmu Nazaj v prihodnost poslal - nazaj v prihodnost. Le dva tedna zatem je OpenAI napovedal drugo partnerstvo, in sicer s proizvajalcem čipov AMD za nadaljnjih šest gigavatov energije.
Altman je na CNBC ob oznanitvi dogovora z resnim obrazom zatrdil, da bi se brez takšne nadgradnje podatkovnega centra ljudje morali odločati med zdravilom za raka in brezplačnim izobraževanjem. »Nihče noče sprejemati takšnih odločitev,« je zatrdil. (Le nekaj tednov pozneje pa je napovedal, da bodo v ChatGPT vključili tudi erotične pogovore.)
K tem številkam je treba dodati še naložbe v otipljivejšo tehnologijo, ki bi že danes, jutri in pojutrišnjem lahko spreminjala življenje. »Zame je to velika izgubljena priložnost, da toliko virov vlagajo v razvijanje nečesa meglenega, ko pa vsi vemo, da obstajajo dejanske težave, ki jih je mogoče rešiti,« je poudaril Symons iz Liria.
A OpenAI in sorodnim podjetjem ni treba razmišljati tako. »Ker se jim zliva toliko denarja, se jim ni treba ubadati s tem,« je dodal Symons. »Kdor ima na stotine milijard, se lahko požvižga na praktične, izvedljive projekte.«
Krueger kljub trdnemu prepričanju, da SUI prihaja, meni tudi, da je osredotočenost panoge le nanjo kriva za zanemarjanje resnih težav, kot je boljša zdravstvena oskrba. »Tole s SUI je traparija, odvračanje pozornosti, veliko hrupa za skoraj prazen nič,« mi je povedal.
Kako država podpira in zakonsko ureja tehnologijo, ima konkretne posledice. Tino Law, ki na kalifornijski univerzi Davis študira politiko tehnologije, skrbi, da lobisti vplivajo na zakonodajalce z zgodbami, kako nas bo UI nekega dne vse pobila, namesto da bi se ukvarjali z dejanskimi pomisleki, kako bo UI že jutri vplivala na naše življenje. Neenakost je izpodrinilo eksistencialno tveganje.
»Zganjanje hrupa je za tehnološka podjetja donosna strategija,« je nadaljevala Tina Law. K temu hrupu sodi tudi predstava, da nas čaka neizogibno: če nečesa ne bomo storili mi, bo to opravil nekdo drug. »Če nekaj označimo za neizogibno, ljudje ne dvomijo le o tem, ali naj se uprejo, temveč tudi, ali so tega sploh zmožni.« Vsi se ujamejo v past.
Izkrivljanje zaradi SUI ni omejeno le na politiko, ki se tiče tehnologije, je pojasnil Milton Mueller s tehnološkega inštituta v Georgii, ki se posveča tehnološki politiki in predpisom. Dirko za SUI primerjajo z dirko za jedrsko bombo, je ponazoril. »Kdor bo prvi, bo imel vso moč nad drugimi. To je nora in nevarna misel, ki bo dejansko izkrivila naš pristop do zunanje politike.«
Podjetja (in države) imajo tudi poslovne interese, da podpihujejo mit o SUI, je prepričan Mueller, saj se potem lahko bahajo, da nameravajo zmagati v tej dirki. A ker se tekmovalci niso dogovorili, kje je cilj, bo mit mogoče raztegovati, dokler bo koristen. Ali dokler bodo vlagatelji želeli zapravljati denar zanj.
Ni težko razumeti, kako to poteka. Ni ne utopija ne pekel – to so OpenAI in sorodna podjetja, ki na veliko služijo.
Konec velike zarote o SUI
S tem smo morda spet pri zadevi z zaroto in zapletu ter skoraj na koncu te zgodbe. Doslej se nismo dotaknili priljubljene lastnosti zarotniškega razmišljanja: da obstaja skupina vplivnih osebnosti, ki v ozadju vleče niti, in da verniki med svojim iskanjem resnice lahko razkrinkajo to elitno kliko.
Seveda ljudje, ki čutijo SUI, ne obtožujejo javno iluminatov ali sile, podobne Svetovnemu gospodarskemu forumu, da preprečujejo prihod SUI ali nekaj prikrivajo. Ampak kaj pa, če res obstajajo skrivnostni gospodarji – in so to ravno tisti ljudje, ki že ves čas najbolj vneto razglašajo zaroto z SUI? Kralji Silicijeve doline v razvoj dobičkonosne SUI vlagajo toliko, kot le lahko. Mit njihovim interesom služi bolj kot interesom kogarkoli drugega.
Kot je povedal eden vodilnih delavcev v nekem podjetju za UI, moramo biti od SUI vedno oddaljeni od pol do enega leta, kajti če bi trajalo dlje, ne bi pritegnili pravih ljudi, če pa bi bila že skoraj tu, bi bilo pa tako in tako vseeno.
Vallorjeva je pojasnila: »Če bi OpenAI razglašal, da razvijajo napravo, zaradi katere bodo koncerni še močnejši, ne bi pritegnil toliko javne podpore, kot jo potrebuje.«
Ne pozabimo: če ustvarite boga, tudi sami postanete kot bog. Krueger pravi, da se po Silicijevi dolini širi razmišljanje, da je razvoj UI način, kako si prilastiti ogromen vpliv. (To je ena od premis Aschenbrennerjevega situacijskega zavedanja, na primer.) »Imeli bomo moč, podobno božji, in razmisliti bomo morali, kaj z njo,« je opozoril Krueger. »Veliko ljudi misli, da bodo postali gospodarji sveta, če bodo zmagali v tej tekmi. V širjenje svojega videnja prihodnosti s SUI vlagajo toliko truda in so razmeroma uspešni pri tem, ker imajo takšen vpliv,« je dodal.
Goertzel pa je med tistimi, ki že skorajda obžalujejo to, kako uspešna je morebitna skrivnostna klika. Dejansko počasi pogreša obdobje, ko je bil na obrobju. »V moji generaciji si moral imeti veliko vizij, da si sploh želel delati pri SUI, in moral si biti zelo trmast. Danes pa je malodane nekaj, kar jim babica svetuje, naj študirajo, da jim ne bo treba vpisati ekonomije,« se je pošalil.
»Čudno je, ker so te stvari tako široko sprejete,« meni. »Ob tem si skorajda zaželim, da bi se lotil nečesa, kar ne zanima veliko ljudi.« Napol se šali (se mi zdi). »A seveda je dokončanje zadnjih malenkosti pri SUI pomembnejše kot potešitev moje potrebe, da vedno orjem ledino.«
Po vsem tem še vedno ne vem, komu ali čemu manjkajo še zadnje malenkosti. Kaj za tehnologijo na sploh pomeni, če tako gladko nasedamo pravljicam? Cela predstava o SUI v marsičem temelji na popačeni predstavi o tem, kaj naj pričakujemo od tehnologije in kaj sploh je inteligenca. Če izluščimo bistvo, argument za SUI temelji na premisi, da je ena tehnologija, UI, zelo hitro postala zelo dobra in se bo še izboljševala. Če odmislimo tehnične ugovore – kaj pa, če se ne bo več izboljševala? –, nam ostane le trditev, da je inteligenca dobrina, ki je lahko pridobiš več, če imaš prave podatke ali računsko moč ali nevronsko mrežo. A ni tako.
Inteligenca ni količina, ki jo lahko neskončno dolgo pretikaš v višjo prestavo. Pametni ljudje včasih blestijo na enem področju, na drugih pa ne. Nekateri Nobelovi nagrajenci ne znajo igrati klavirja in skrbeti za svoje otroke. Nekateri zelo pametni ljudje vztrajno ponavljajo, da bomo SUI dočakali prihodnje leto.
Kako se potem ne bi spraševali, kaj bo naslednje, čemur bomo nasedli.
Preden sva končala telefonski pogovor, mi je Goertzel povedal o dogodku, ki ga je ravno obiskal v San Franciscu. Posvečen je bil zavedanju UI in parapsihologiji. »Zunajčutne zaznave, prekognicija in take zadeve.«
»Na tej stopnji je bila SUI pred dvajsetimi leti,« je rekel. »Vsi mislijo, da so to čiste norosti.«
Copyright Technology Review, distribucija Tribune Content Agency.
