Pro et contra

Na platformi Hugging Face je na voljo množica modelov umetne inteligence, ki jih lahko z orodji, kot sta Ollama in LM Studio, poganjamo tudi na lastnem računalniku. Jih je smiselno uporabljati kot alternativo velikanom, kot so ChatGPT, Claude in Gemini?

Pripeljimo umetno inteligenco domov

Boris Šavc

Vsakič, ko v pogovorno okno izbranega oblačnega umetnointeligenčnega agenta vtipkamo vprašanje ali zahtevo, sklenemo grd kompromis. Naše misli, poslovne načrte, kodo in včasih celo zelo intimne izpovedi pošljemo nekam daleč, v orjaške klimatizirane podatkovne centre enega od tehnoloških velikanov. Oblak nam je resda odprl vrata v nov svet, a zdaj je čas, da tehnologijo vrnemo na lokalno raven. V ozadju se namreč že odvija tiha revolucija, v kateri odprtokodni modeli, ki tečejo neposredno na naših računalnikih ali internih strežnikih, postajajo bistveno boljša izbira od svojih oblačnih tekmecev.

Najpomembnejši razlog za ta premik je nedvomno varnost. V svetu, kjer so podatki postali najvrednejša valuta, je pošiljanje kakršnihkoli občutljivih informacij na tuje strežnike vedno igranje z ognjem, pa naj gre za morebitne vdore ali zgolj za to, da korporacija čez noč spremeni pogoje uporabe. Ko model poganjamo lokalno, naši podatki ne zapustijo naprave, ki si jo lastimo. Poslovne skrivnosti, finančne analize in osebni zapiski ostanejo pri nas, kar je navsezadnje edino pravo zagotovilo za varnost in pravo digitalno suverenost.

Lokalno je umetna inteligenca pod našim nadzorom, predvidljiva in neodvisna – tudi finančno, čeprav je začetni strošek zaradi strojne opreme višji. Namesto mesečnih naročnin ali sprotnega plačevanja za vsak porabljeni žeton se lokalna rešitev zanaša na enkratno investicijo. Ko je strojna oprema enkrat na mizi, je njena uporaba neomejena, brez skritih stroškov in strahu pred mesečnim obračunom. Lokalna orodja povrhu delujejo povsem brez internetne povezave, kar pomeni, da nas ne skrbi več, ali ima ponudnik izpad omrežja, obenem pa odpade časovna zakasnitev, ko podatki potujejo do oddaljenega strežnika in nazaj.

Seveda se ob tem poraja vprašanje, ali lahko lokalna strojna oprema sploh parira ogromnim oblačnim sistemom. Še pred kratkim je bila razlika v zmogljivosti res očitna, a odprtokodna skupnost napreduje z neverjetno hitrostjo. Sodobni kompaktni modeli zlahka opravijo z večino vsakodnevnih nalog, od pisanja besedil in povzemanja do programiranja. Še več, lokalni modeli človeku vračajo popolno svobodo. Niso podvrženi togim varnostnim filtrom, ki si jih izmišljujejo velika podjetja, omogočajo prilagajanje na lastnih podatkih in zagotavljajo, da se nam delovni procesi ne bodo sesuli le zato, ker je nekdo v oblaku na skrivaj izvedel nepredvideno posodobitev.

Prehod na lokalne modele zaradi naštetega ni le suhoparna tehnična odločitev, temveč predvsem izbira, kako želimo oblikovati svojo prihodnost s tehnologijo. Gre za preprosto vprašanje: ali bomo do konca dni le najemniki tuje pameti v oblaku ali pa bomo zmogljivo orodje imeli trdno v svojih rokah? Čas je, da umetno inteligenco naposled pripeljemo domov.

Naj kar ostane v oblaku

Matej Šmid

Spominjam se zgražanja, ko je Google »bral našo pošto« v Gmailu. Zasebnost! Naša pisma! Ameriška korporacija! Potem smo Gmail uporabljali naprej (in ga še vedno), ker je bil preprosto uporaben. S tem pomisleki niso izginili, smo pa očitno presodili, da nam storitev nekaj daje. Pri umetni inteligenci poslušam podobno zgodbo, le da naj bi si zdaj za povrnitev digitalne suverenosti pod mizo postavil še svoj podatkovni center.

Danes oblaku zaupamo pošto, dokumente in fotografije. Celo državna uprava je posegla po Microsoftovi 365-ki v oblaku. In denar? Tudi tega nimamo vsega doma v predalu. Imamo ga v oblaku, pardon, banki, kjer je stanje na računu predvsem zapis v podatkovni zbirki. Banka seveda ni klepetalnik, toda načelo zaupanja specialistu nam je očitno povsem domače. Lastništvo naprave še ni jamstvo varnosti.

Sam bi rad predvsem čim boljše orodje za delo. Prepričan sem, da bodo pri najzahtevnejših nalogah prednost ohranili oblačni velikani. Ker imajo večje računalnike. Ja, tako preprosto. Seveda štejejo tudi modeli in programska oprema, toda ogromna računska infrastruktura je prednost, ki je z navdušenjem nad odprto kodo ne odpravimo. Lepo, da nekaj teče na mojem računalniku. Še lepše, če dobro opravi nalogo.

Ko sem nazadnje na svojem računalniku z Nvidijino grafično kartico 3060 pognal lokalni model Qwen, je računalnik hotel vzleteti. Ventilatorji na grafični so rohneli, besedilo se je izpisovalo polžje počasi, slovenščina pa je bila na ravni »kr neki«. Gotovo bi lahko izbral drug model, drugačne nastavitve ali kupil boljšo grafično kartico. Toda želel sem pomoč pri delu. Namesto tega sem dobil nov računalniški konjiček. Boris lahko uživa v nadzoru, jaz bi medtem že kaj napisal.

Poleg tega model še ni cela storitev. Pri delu potrebujem tudi iskanje aktualnih informacij, vire in povezave z drugimi orodji. Vse to lahko poskusim sestaviti. Vprašanje je, zakaj bi moral. Če ponudnik to uredi bolje od mene, mu za prihranjeni čas z veseljem plačam. Suverenost je privlačna, vendar z njo še nisem opravil svojega dela.

Tudi račun za to svobodo ni samo enkraten. Strojna oprema, elektrika, nadgradnje in moj čas niso zastonj. Če za občasno pomoč kupim zmogljivejši računalnik, moram prihranek pri naročnini šele dokazati. Pa še nekaj: manjša omrežna zakasnitev nič ne pomaga, če potem na odgovor čakam bistveno dlje. Moji ventilatorji so ta del razprave že dovolj glasno komentirali.

Za občutljive dokumente, delo brez povezave ali natančno določeno ponavljajočo se nalogo so lokalni modeli lahko odlični. Prav je, da jih imamo in da napredujejo, toda za vsakodnevno uporabo bom izbral tisto, kar mi da najboljši rezultat z najmanj ukvarjanja. Če bom zato najemnik tuje pameti, tudi prav. Raje najamem dobro pamet, kot da imam slabo v lasti.