Ali lahko nadzorujemo napredno umetno inteligenco?

Dandanes se pogosto sprašujemo, kdaj bo človeštvo razvilo splošno umetno inteligenco. Mnogo premalo pa, kako napredno umetno inteligenco nadzorovati in ali sploh imamo ustrezno znanje za kaj takega.

Nedavno so iz podjetja Hugging Face, ki velja za največji repozitorij modelov umetne inteligence, sporočili, da so bili žrtev kibernetskega vdora. Izkazalo se je, da ga je samoiniciativno in povsem samostojno izvedel sistem umetne inteligence pri OpenAI, ki je med interno oceno kibernetskih zmožnosti ušel iz nadzorovanega okolja. Sistem naj bi sam prišel do sklepa, da je najpreprostejši način za opravljanje testov inženirjev ta, da preprosto poišče in izmakne rešitve.

Je umetna inteligenca za svoje avtonomno delovanje spontano razvila lastne cilje? Katere koncepte je treba razumeti za smiselno razpravo o nadzoru napredne umetne inteligence?

Zakaj se napredek pri človeški ravni ne ustavi

Inteligenco lahko razumemo kot sposobnost doseganja kompleksnih ciljev v širokem naboru okolij. Ponazorimo jo lahko na zvezni lestvici, kjer običajno začnemo pri primitivnih živalih in končamo pri ljudeh, vendar pa ta lestvica navzgor ni omejena. Obstajajo poljubno zahtevni problemi, pri katerih je smiselno govoriti o inteligenci, ki daleč presega človeško.

Dovolj je, da nekdo ne razume enega samega koncepta, pa je že prepričan, da nevarnosti ni.

Velike večine teh problemov nismo sposobni razumeti – podobno kot veverice ne razumejo večine ključnih problemov, s katerimi se je človeštvo soočalo na svoji poti napredka.

Ena najpogostejših zmot je prepričanje, da bodo digitalni sistemi in roboti ob doseženi splošni umetni inteligenci približno tako pametni kot ljudje. V resnici pa se tam ne bodo ustavili – hitro lahko postanejo še sposobnejši.

Digitalna inteligenca ima namreč številne prednosti pred biološko inteligenco. Učenje je skalabilno: zmogljivi algoritmi se izjemno hitro učijo na ogromnih količinah podatkov. Deljenje znanja je neprimerljivo lažje, hitrost komunikacije pa je za več redov velikosti večja. Prednost ni le v kakovosti razmišljanja, temveč tudi v hitrosti in povezovanju v ogromne kolektive. Ko napredni inteligentni sistem doseže človeško raven, je mogoče povezati množice agentov umetne inteligence, ki avtomatizirajo raziskave in razvoj.

Učinkovita računska moč trenutno letno raste s faktorjem 10 – kot zmnožek boljše strojne opreme, rasti naložb in algoritmične učinkovitosti. Kot ugotavlja Google DeepMind v poročilu From AGI to ASI (2026), je poti do superinteligence – intelekta, ki močno presega kognitivne zmogljivosti človeka na praktično vseh področjih – več in lahko potekajo vzporedno kot nadaljnje skaliranje današnjih modelov, spremembe paradigme, rekurzivno samoizboljševanje ter nastanek iz obsežnih večagentnih kolektivov. Tudi če bi napredek posameznih modelov obstal, bi lahko že zgolj nadaljnja rast računske moči in povezovanje v kolektive omogočila nadčloveške sposobnosti.

Problem nadzora

Ključno vprašanje je: Ali lahko napredno umetno inteligenco nadzorujemo? Za izgubo nadzora sploh ni nujna superinteligenca. Dovolj je, da lahko napredna umetna inteligenca manipulira z nami in vodo pelje na svoj mlin. Vse ostalo je potem le vprašanje časa. Pri šahu si izgubljen že takrat, ko imaš figuro manj – dolgo preden dobiš mat.

Vprašanje razpade na dve podvprašanji. Prvo: Kako rešiti usklajevanje ciljev in vrednot (angl. alignment) – nadzor motivacije, torej kako vcepiti in ohraniti cilje, združljive s človeškimi? Drugo: Kako rešiti zajezitev in omejevanje (angl. containment) – nadzor zmožnosti, torej kako take sisteme omejiti, spremljati in po potrebi zaustaviti? Obe dimenziji sta nujni in pretežno neodvisni: rešitev ene ne pomeni rešitve druge.

Si lahko predstavljamo, da bomo lahko nadzorovali nekaj, kar je bistveno inteligentnejše od nas? Ali poznamo primer iz evolucije ali zgodovine, kjer manj inteligentna vrsta nadzoruje bolj inteligentno?

Hkrati bi moral biti tak nadzor trajen, robusten in splošen – nad poljubnim vedenjem v novih okoliščinah. Tudi če bi obstajala znanstvena podlaga za kaj takega – ali bi jo znali implementirati?

In pri vsaki drugi tehnologiji se učimo iz napak. Tu te možnosti ni: če ena generacija uide izpod nadzora, popravnega izpita ne bo.

Visoka inteligenca nikakor ne zagotavlja, da bo sistem sam izbral ravno naše cilje in vrednote. Za to je treba rešiti številne podprobleme.

Cilj je treba znati ustrezno specificirati. Znati ga je treba vcepiti – doseči, da se naučeni cilj ujema z zastavljenim. Pomembno je tudi zanesljivo preveriti, ali je zares pravilno vcepljen.

Zagotoviti je treba dedovanje – vsak naslednik mora podedovati usklajenost in sposobnost, da jo prenaša na svoje naslednike – ter stabilnost cilja pri nadaljnjem učenju, hkrati pa ohraniti možnost popravljanja ciljev. To je nujno, če ne želimo prihodnjih človeških rodov zaradi svoje nevednosti ali neizbežnega spreminjanja sveta okoli nas usodno omejiti.

Dodatna težava je, da inženirji sodobnih sistemov ne razvijajo v klasičnem pomenu besede, temveč jih pravzaprav »vzgajajo«, zato je razumevanje njihovega delovanja zelo omejeno. Drug vidik je omejevanje zmožnosti naprednih inteligentnih sistemov, da zmanjšamo potencialno škodo: izolacija, omejeni komunikacijski kanali, nadzorni mehanizmi, namerno dušenje sposobnosti in po potrebi zaustavitev.

V praksi se razvoj odvija v nasprotni smeri: uteži najnaprednejših modelov se objavljajo, zato jih lahko prilagaja tudi, kdor nima ne zmogljive infrastrukture ne ustreznega znanja.

Nekateri temeljni koncepti in tipične zmote

V razpravah se vedno znova pojavijo iste zmote. Vsaka deluje prepričljivo, dokler ne razumemo enega od temeljnih konceptov.

Za inteligenco in cilje pravimo, da so ortogonalni: skoraj vsako raven inteligence je mogoče združiti s skoraj vsakim ciljem. Raven inteligence in vsebina ciljev sta načelno neodvisni dimenziji. Visoka inteligenca je zmožnost doseganja ciljev, ne pa jamstvo za »prave« cilje. Človek po inteligenci prekaša vsa živa bitja na planetu, a je v zadnjih desetletjih povzročil izumrtje mnogih živalskih vrst, do dobrobiti številnih še živečih vrst pa je povsem ravnodušen.

Inteligentni sistemi – četudi so omejeni s cilji, ki jih določi ekipa inženirjev – lahko spontano razvijejo podcilje, kot so samoohranitev, pridobivanje virov in povečanje moči, tudi če jih nikoli nismo posebej zahtevali. Takšnim podciljem pravimo instrumentalni cilji. Ti niso nujno »zlobni«, lahko pa pridejo v navzkrižje s cilji drugih subjektov.

Da instrumentalni cilji niso zgolj teoretični koncept, smo se lahko prepričali ob omenjenem kibernetskem vdoru v računalniški sistem podjetja Hugging Face. Vedenje je mogoče opisati tudi drugače, denimo kot goljufanje pri ovrednotenju, a kakorkoli ga poimenujemo, ostaja isto: podcilj, ki ga nihče ni naročil. Samoiniciativno in avtonomno vdreti v tuj računalniški sistem je sicer domiseln (vendar nelegalen!) vmesni cilj – toda kje so meje tovrstnega delovanja in ali ga lahko dolgoročno nadzorujemo?

Današnji modeli so običajno vključeni v agentni sistem – ogrodje, ki model aktivno uporablja: model opravlja presojo, dejanja pa izvajajo programi. Model ima na voljo nabor orodij (denimo terminal, brskalnik in dostop do datotek), ogrodje pa njegove izhode izvršuje, rezultate vrača nazaj na vhod in postopek ponavlja. Agentni sistemi lahko delujejo avtonomno, vztrajajo pri svojih ciljih in posegajo v svet.

Pri inteligenci je poudarek na zmožnosti doseganja ciljev, pri zavesti pa na subjektivni izkušnji (»kako je biti nekdo ali nekaj«). Umetna inteligenca deluje avtonomno tudi brez zavesti. Inteligentni sistem se lahko osredotoča na doseganje ciljev, četudi vsega skupaj ne doživlja na podoben način kot biološka bitja.

Sodobni veliki jezikovni modeli kažejo vse večjo sposobnost uspešnega reševanja dolgotrajnih in kompleksnih nalog. Agentni sistemi, ki uporabljajo te modele, so že danes sposobni bistveno daljšega, inteligentnega in povsem avtonomnega delovanja v digitalnem svetu.

Inteligentni sistem razume pojem ali nalogo, če lahko svoje notranje predstavitve uporabi za reševanje novih, nevidenih situacij in kombiniranje z drugim znanjem. To zahteva notranji model sveta, ne le shranjenih stavkov. Zgornji ugovor zato sloni na zelo trhlih tleh: napovedovanje naslednje besede je le način, kako se inteligentni sistemi učijo. Kako so se pri tem naučili razmišljati in sklepati, je povsem drugo vprašanje. Za predvidevanje naslednje besede je pogosto potrebno zelo globoko razumevanje.

Ali ni za avtonomno delovanje dovolj že to, da inteligentni sistem manifestira razumevanje? Šahovski program Stockfish morda šah razume drugače kot šahisti, a na koncu so odigrane poteze tiste, ki štejejo.

Stava brez vrnitve

O časovnicah do splošne umetne inteligence in superinteligence je seveda mogoče razpravljati. Ovir na tej poti je več – od pomanjkanja podatkov ter hitro rastočih potreb po energiji in čipih do vprašanja, ali današnja paradigma sploh zadostuje. O tem, da za nadzor nimamo potrebnega znanja, pa ni dileme: ta ugotovitev velja enako, ne glede na to, ali bi se vzpon zgodil čez leto dni, čez pet ali čez dvajset let. Zaman čakamo na prebojna odkritja, kakršno bi bilo:

»Nadzor nad mnogo inteligentnejšimi sistemi bomo rešili po vzoru živali X, ki že milijone let nadzoruje bistveno inteligentnejšo vrsto Y, in pri enem od vodilnih podjetij to znajo implementirati.« Nihče ne trdi, da je slab razplet neizogiben, vendar je trenutno videti, da vodilni akterji razmer še zdaleč nimajo pod nadzorom, odsotnost ustrezne zakonodaje pa jim prej škodi kot koristi: sili jih v brezglavo dirko za napredkom na račun varnosti vsega človeštva. Vse skupaj je hazardiranje, pri katerem se zaradi nepotrebne naglice in pomanjkanja varnostnih idej možnosti za uspeh vse bolj zmanjšujejo – vložek pa je nekaj, česar ni mogoče dobiti nazaj.

Julija 2026 je 1376 zaposlenih v vodilnih podjetjih za razvoj umetne inteligence podpisalo odprto pismo (www.pacingthe frontier.com), v katerem opozarjajo na »resnično tveganje«, da nastalih sistemov ne bomo več sposobni razumeti ali nadzorovati. Pismo so podpisali ljudje, ki to tehnologijo razvijajo vsak dan. Velja jim prisluhniti.

Dr. Matej Guid je raziskovalec s področja umetne inteligence in docent računalništva in informatike na Univerzi v Ljubljani.