Uvedba umetne inteligence v poslovanje obeta večjo učinkovitost in nižje stroške, vendar praksa pogosto prinese nepredvidene ovire. Ko algoritem naleti na nepredvidljivost človeškega vedenja ali kompleksnost resničnega sveta, podjetja včasih ugotovijo, da je bil stari, analogni način pravzaprav boljši.
Amazonova umetna inteligenca za izbiranje kandidatov za različna delovna mesta je zaradi preteklih podatkov postala diskriminatorna.
Spletni gigant Amazon se je pred leti lotil ambicioznega projekta, s katerim je želel popolnoma avtomatizirati in optimizirati iskanje vrhunskih talentov. Skupina strokovnjakov za strojno učenje je od leta 2014 pospešeno razvijala računalniške programe za pregledovanje življenjepisov kandidatov za zaposlitev. Avtomatizacija je že od nekdaj ključni steber Amazonove prevlade na trgu, saj uspešno poganja njihova skladišča in določa cenovno politiko, zato je bil prenos tovrstne logike na področje človeških virov povsem naraven korak. Eksperimentalno orodje za zaposlovanje je ob pomoči umetne inteligence kandidatom podeljevalo ocene od ene do petih zvezdic, podobno kot kupci ocenjujejo izdelke na njihovi spletni strani. Inženirji in vodstvo so v tem videli sveti gral kadrovske službe, saj so si želeli sistem, ki bi mu preprosto predložili sto življenjepisov, program pa bi brez človeškega truda izločil pet najboljših, ki bi jih podjetje nato zaposlilo.
Vendar se je že naslednje leto pokazala velika pomanjkljivost tega tehnološkega čuda. Sistem pri ocenjevanju kandidatov za delovna mesta programerjev in drugih tehničnih profilov ni bil spolno nevtralen. Razlog za to je bil v podatkih, s katerimi so urili računalniške modele. Program se je namreč učil na podlagi vzorcev iz življenjepisov, ki so prispeli na naslov podjetja v preteklem desetletju. Ker v tehnološki industriji na splošno prevladujejo moški, je bila večina teh prijav moških. Umetna inteligenca je na podlagi teh podatkov samostojno sklepala, da so moški kandidati opazno primernejši in bolj zaželeni. Sistem je zato začel sistematično kaznovati življenjepise, ki so vsebovali besedo ženski, na primer naziv kapetanka ženskega šahovskega kluba, prav tako pa je samodejno zniževal ocene diplomantkam dveh izključno ženskih visokošolskih ustanov.
Čeprav so Amazonovi programerji kasneje prilagodili programsko kodo, da bi nevtralizirali specifične izraze, to ni zagotavljalo, da si umetna inteligenca ne bi izmislila novih, prikritih načinov razvrščanja, ki so prav tako vodili v diskriminacijo. Ekipa v Edinburgu je ustvarila 500 računalniških modelov za specifična delovna mesta in regije ter jih naučila prepoznavati veliko število izrazov iz preteklih prijav. Algoritmi so sčasoma začeli ignorirati splošna tehnična znanja, ki so bila skupna vsem informatikom, namesto tega pa so prednost dajali kandidatom, ki so v svojih opisih uporabljali agresivnejše glagole, značilne predvsem za moške inženirje. Poleg spolne pristranskosti so se pojavile tudi težave s kakovostjo vhodnih podatkov, zaradi česar je program pogosto predlagal popolnoma neustrezne kadre za različne položaje. Ker so bili rezultati na koncu že skoraj naključni, so projekt ustavili.
Zaradi izgube upanja v uspeh projekta je vodstvo podjetja ekipo na začetku leta 2017 dokončno razpustilo. Čeprav so Amazonovi kadroviki med postopki izbire občasno pregledovali priporočila, ki jih je orodje ustvarilo, se nanje nikoli niso izključno zanašali. Podjetje je kasneje pojasnilo, da kadroviki orodij niso uradno uporabljali za ocenjevanje kandidatov, vendar hkrati niso zanikali, da so si z generiranimi priporočili pomagali. Kljub temu se razvoj drugod ne ustavlja. Nekatera podjetja razvijajo sisteme, ki analizirajo govor in obrazno mimiko kandidatov med video intervjuji, da bi presegla tradicionalno zanašanje na življenjepise in elitne šole. Druga ustvarjajo lastna orodja za ujemanje kandidatov z najprimernejšimi oddelki, medtem ko največja profesionalna omrežja že ponujajo algoritemsko razvrščanje po skladnosti z razpisanimi mesti. Poznavalci opozarjajo, da tehnologija še ni pripravljena, da bi ji povsem prepustili samostojno odločanje o zaposlitvi. Aktivisti opozarjajo tudi na problem netransparentnosti algoritmov, saj kandidati pogosto sploh ne vedo, da jih ocenjuje stroj, kar otežuje morebitne pravne spore zaradi diskriminacije. Amazonov poskus predstavlja odličen študijski primer omejitev strojnega učenja in opozorilo za številna druga velika podjetja, ki pospešeno uvajajo avtomatizacijo v svoje zaposlovalne postopke, saj ankete kažejo, da večina kadrovskih menedžerjev vidi umetno inteligenco kot neizogiben del prihodnosti.
Microsoft je leta 2016 dobil pomembno lekcijo za previdnejši razvoj umetne inteligence v prihodnosti. Ime ji je bilo Tay.
Leta 2016 je Microsoft doživel hudo lekcijo o naravi spletne komunikacije, ko se je moral javno opravičiti za nepredviden spodrsljaj svojega novega klepetalnega robota z umetno inteligenco po imenu Tay. Bot, ustvarjen z namenom, da bi se pogovarjal kot najstnik in se približal generaciji med 18. in 24. letom, je v manj kot 24 urah po lansiranju na družbenem omrežju Twitter začel objavljati rasistične, žaljive in celo nacistične izjave. Microsoft je robota nemudoma umaknil s spleta, vodja raziskav Peter Lee pa je izrazil globoko obžalovanje zaradi nenamernih, a izjemno žaljivih objav ter potrdil, da bo Tay ostal izklopljen, dokler ne bodo prepričani, da lahko bolje predvidijo zlonamerne namene uporabnikov.
Podrobnejši pregled dogajanja je hitro razkril, da so bila Tayeva sporna stališča odsev okolja, v katerem se je znašel, saj je bil zasnovan tako, da se je učil neposredno iz interakcij z resničnimi ljudmi. Njegovo ranljivost je izkoristila usklajena skupina spletnih uporabnikov, ki ga je načrtno hranila z nestrpnimi in žaljivimi informacijami. Čeprav so se pri Microsoftu pripravili na različne zlorabe sistema, so priznali napako in prevzeli polno odgovornost, ker možnosti takšnega scenarija niso predvideli vnaprej. Zanimivo je, da je imelo podjetje na Kitajskem povsem drugačne izkušnje s sorodnim botom XiaoIce, ki ga je z veseljem uporabljalo okoli 40 milijonov ljudi. Uspeh v azijskem kulturnem okolju jih je opogumil za preizkus na zahodnem trgu, kjer pa je bila želja nekaterih uporabnikov po izkrivljanju tehnologije preprosto premočna. Kljub neprijetni izkušnji Microsoft ni obupal nad razvojem umetne inteligence, temveč je incident vzel kot opomin, da mora v prihodnje delovati izjemno previdno in se učiti korak za korakom z vizijo, da soustvari internet, ki bo izražal najboljše strani človeštva, ne pa najslabših.
Herz je zaradi pomanjkljivega algoritma v evidenci najemov in politike poročanja o krajah lastne stranke označil za tatove.
Ameriški velikan na področju izposoje avtomobilov Hertz se je po večletnih pravnih bitkah in javnem pritisku odločil za plačilo visokega odškodninskega zneska, s katerim je poskušal popraviti nepredstavljivo škodo, povzročeno lastnim strankam. Podjetje je namreč skozi daljše obdobje več kot 360 strank lažno obtožilo kraje vozil, kar je za mnoge pomenilo dramatično spremembo življenja, saj so se soočili s policijskimi aretacijami, kazenskimi ovadbami in v nekaterih primerih celo z večmesečnim bivanjem za zapahi. Izplačana poravnava je zajela 364 oseb, kar je po navedbah podjetja predstavljalo več kot 95 odstotkov vseh tovrstnih zahtevkov, s čimer je novo vodstvo želelo potegniti črto pod enega najbolj sramotnih delov svoje zgodovine.
Težave so se v večji meri začele pojavljati v javnosti med stečajnim postopkom leta 2020, ko so na dan prišle pretresljive zgodbe posameznikov, ki so namesto nemotene vožnje doživeli najhujšo nočno moro. Med njimi je bila voznica iz Chicaga, ki je po predrti pnevmatiki poklicala podjetje, da bi avtomobil odpeljala vlečna služba, nekaj mesecev kasneje pa jo je policija med rutinskim nadzorom zaradi nepravilne rabe varnostnega pasu obvestila, da je za njo razpisan nalog za aretacijo, zaradi česar je v zaporu preživela več kot mesec dni. Druga stranka s Floride je svoj najem večkrat podaljšala in o tem prek SMS-sporočil komunicirala z zaposlenimi, a je podjetje vozilo kljub temu prijavilo kot ukradeno še pred iztekom roka, kar jo je stalo 37 dni zapora, ločitve od dveh otrok in zamujene podelitve diplome na zdravstveni šoli. Neki moški iz Misisipija pa je v zaporu preživel celo več kot pol leta, čeprav je avtomobil pravočasno vrnil in v celoti plačal najem, vendar Hertz o tem ni obvestil tožilstva, zaradi česar je zamudil sodno obravnavo in ostal zaprt.
Ozadje teh dogodkov razkriva resne sistemske pomanjkljivosti v Hertzevi evidenci najemov in politiki poročanja o krajah. Čeprav podjetje letno prijavi približno 3,500 ukradenih vozil, kar predstavlja zanemarljiv delež med milijoni transakcij, so bile nekatere od teh prijav podane na podlagi popolnoma napačnih podatkov. Sistem je bil poln programskih hroščev in ni zaznal, ko je stranka podaljšala najem po telefonu ali plačala z drugo kartico. Zaradi napak v algoritmu je policija aretirala na stotine nedolžnih strank, ki so povsem zakonito najele avtomobil. Težave so pogosto nastale tudi, ko so stranke po telefonu podaljšale najem, zaposleni pa tega niso pravilno vnesli v računalniški sistem. V drugih primerih je Hertz vozila, ki so bila predhodno dejansko ukradena in nato najdena, ponovno oddal v najem, ne da bi pred tem preklical policijsko prijavo, zaradi česar so policisti kasneje na cesti prestregli nič hudega sluteče nove stranke. Pojavljali so se tudi primeri, ko so ukradene avtomobile pomotoma povezali z napačnimi strankami, medtem ko so bili dejanski osumljenci v popolnoma drugih zveznih državah.
Hertz se je sprva na sodišču krčevito boril, da bi obtožbe ostale skrite pred javnostjo, in se izgovarjal, da vozila prijavi šele po izčrpnih poskusih vzpostavitve stika s stranko. Šele ko so mediji zgodbe javno izpostavili in je vodenje družbe prevzel novi izvršni direktor Stephen Scherr, se je strategija podjetja spremenila. Scherr je takrat poudaril, da je njegova prednostna naloga postaviti stranko na prvo mesto in urediti nastalo situacijo, saj je že ena sama stranka, ujeta v takšno kolesje, preveč. Zgodba o tem, kako so programske napake uveljavljenega mednarodnega podjetja za izposojo vozil Hertz stotine nedolžnih strank spremenile v domnevne tatove, se je končala z odmevno poravnavo v vrednosti 168 milijonov ameriških dolarjev.
Poslovni neuspeh podjetja Zillow jasno dokazuje, da umetna inteligenca, ki se zanaša na zgodovinske podatke in ne zazna subjektivnih ter materialnih dejavnikov na terenu, ne more v celoti nadomestiti človeške presoje pri vrednotenju nepremičnin, zlasti v obdobjih nepredvidljivih tržnih nihanj.
Uporaba umetne inteligence pri vrednotenju nepremičnin prinaša številne izzive, kar je najnazorneje pokazal primer podjetja Zillow, ki je doživelo velik poslovni neuspeh. V začetku leta 2021 je bilo podjetje tako prepričano o svojem algoritmu za ocenjevanje vrednosti nepremičnin, imenovan Zestimate, da je začelo oceno umetne pameti uporabljati kot neposredno gotovinsko ponudbo za odkup določenih hiš. Storitev je bila zasnovana z namenom, da lastnikom olajša prodajo, v času pandemije zmanjša osebne stike ter pospeši poslovanje podjetja s preprodajo nepremičnin. A ta drzna strategija se je že po osmih mesecih popolnoma sesula.
Nepremičninski trg je izjemno kompleksen in podvržen nihanjem, ki jih algoritem med pandemijo ni znal predvideti, saj se je v tem obdobju spreminjal zelo hitro in nepredvidljivo. Po začetni zamrznitvi je sledilo izrazito nesorazmerje med ponudbo in povpraševanjem, kar je povzročilo skokovito gibanje cen. Takšnih nihanj umetna inteligenca ni mogla pravočasno napovedati, saj računalniški modeli temeljijo predvsem na zgodovinskih in trenutno dostopnih podatkih, kot so davčni zapisi, primerljive prodaje v okolici in fotografije nepremičnin. Čeprav umetna inteligenca lahko obdela ogromne količine podatkov veliko hitreje kot katerikoli človek, še vedno ne more nadomestiti človeške presoje na terenu. Izkušen nepremičninski posrednik lahko že ob prvem ogledu hiše opazi ključne podrobnosti za določitev vrednosti, ki jih ni mogoče zapisati v nobeno podatkovno zbirko. Algoritmi prav tako težko zaznajo skrite napake, kot so razpoke v temeljih, in ne morejo ovrednotiti subjektivnih ter nematerialnih dejavnikov, ki vplivajo na kupce, kot je želja po bivanju blizu staršev ali v soseski iz otroštva. Umetna inteligenca je sistematično precenjevala vrednost hiš in jih kupovala po previsokih cenah, hkrati pa podcenjevala stroške prenove in pomanjkanje delovne sile.
Zillow je ugotovil, da ima v lasti na tisoče hiš, ki jih ne more prodati brez ogromne izgube. Podjetje je moralo zaradi nakupa hiš po bistveno višjih cenah, kot jih je kasneje lahko iztržilo na trgu, odpisati več kot 300 milijonov ameriških dolarjev vrednosti zalog, kar je povzročilo strm upad vrednosti delnic in ukinitev dva tisoč delovnih mest. Primer dokazuje, da so algoritmi sicer odlični za kratkoročne in zelo natančne napovedi, niso pa prilagojeni za dolgoročne tržne cikle. Uspešno poslovanje na nepremičninskem trgu zato zahteva kombinacijo znanosti in umetnosti, ki je računalniški programi sami še ne obvladajo.
Ameriška veriga McDonald's je iz svojih restavracij v ZDA umaknila sistem za naročanje z umetno inteligenco, ker je tehnologija namesto pričakovane hitrosti povzročala bizarne napake.
Ameriška veriga s hitro prehrano McDonald's se je po vrsti nenavadnih in komičnih spodrsljajev odločila, da iz svojih restavracij s hitro postrežbo v Združenih državah Amerike umakne sistem za naročanje, ki temelji na umetni inteligenci. Tehnologijo prepoznavanja glasu, razvito v sodelovanju s podjetjem IBM, so testirali od leta 2019, vendar se v praksi ni izkazala za dovolj zanesljivo. Namesto hitrejšega postopka so stranke pogosto naletele na bizarne napake, ki so hitro postale spletna uspešnica in preplavile družbena omrežja. Na platformah, kot je Tiktok, so zakrožili številni posnetki, v katerih so se kupci soočali z nenavadnimi interpretacijami svojih naročil. Na enem izmed viralnih videoposnetkov je stranka zaman poskušala naročiti karamelni sladoled, medtem ko ji je umetna inteligenca na račun vztrajno dodajala več kosov masla. Drug posnetek prikazuje zmedo, ko se je naročilo stranke pomešalo z naročilom druge osebe, sistem pa ji je zaračunal kar devet čajev. Med najodmevnejšimi primeri sta bila sladoled z napačno dodano slanino in primer, ko je sistem zmedenima kupcema v košarico samodejno dodal za več sto dolarjev piščančjih koščkov. Zaradi vseh zapletov je vodstvo podjetja tehnologijo umaknilo.
Zgodba osvetljuje širši družbeni kontekst uvajanja umetne inteligence na delovna mesta. Ko so sistem začeli uvajati, so se ljudje najbolj bali, da bo tehnologija nadomestila človeško delovno silo in povzročila izgubo služb. Izkušnje iz McDonalda pa kažejo, da zamenjava ljudi v gostinstvu ni tako preprosta in samoumevna, kot se je sprva zdelo.
Umetna inteligenca v svetovno znani verigi kavarn Starbucks ni ločila ovsenega mleka od polnomastnega.
Podobno se bere prigoda svetovno znana veriga kavarn Starbucks, ki je po devetih mesecih delovanja uradno opustila svoj odmevni program za samodejno popisovanje zalog ob pomoči umetne inteligence. Aplikacija, ki so jo razvili v sodelovanju s podjetjem NomadGo in je ob pomoči tridimenzionalne prostorske inteligence, računalniškega vida ter senzorjev LiDAR baristom obljubljala sprotni pregled nad pomanjkanjem zalog, v praksi namreč ni upravičila pričakovanj. Vodstvo podjetja je upalo, da bo tehnologija zaposlene razbremenila administrativnega dela, vendar se je sistem ob uvedbi v širše okolje soočil z resnimi izzivi. Glavne težave so se pojavile pri osnovnem prepoznavanju predmetov in prostorski zaznavi, saj je model umetne inteligence pogosto napačno preštel izdelke, spregledal zalogo ali pa napačno označil produkte. Sistem med drugim ni znal ločiti med zelo podobnimi vrstami embalaže, kot so kartoni polnomastnega, ovsenega in mandljevega mleka, na enem izmed promocijskih videoposnetkov pa je aplikacija celo povsem spregledala steklenico sirupa. Zaposleni so se pritoževali, da je bil postopek na koncu opazno upočasnjen, saj so morali tablične računalnike premikati pod določenimi koti in z njimi mahati pred policami, da so sploh sprožili senzorje, kar je trajalo dlje kot običajni ročni vnos podatkov. Ker so nepredvidljiva in tesno natrpana skladišča s slabšo svetlobo ter prekritimi etiketami predstavljala preveliko oviro za računalniški vid, se je Starbucks potihoma vrnil k ročnemu preverjanju zalog.
Starbucks zdaj namesto problematične umetne inteligence stavi na druge logistične izboljšave, med katerimi sta pogostejša vsakodnevna oskrba poslovalnic s svežimi zalogami in prenova dobavne verige, ki jo po mnenju poznavalcev še vedno hromijo zastareli sistemi. Prvi mož podjetja je v ta namen že zaposlil nove logistične strokovnjake, ki bodo pomagali uresničiti preprosto vodilo, da mora biti strankam vedno na voljo vse, kar je zapisano na meniju. Kljub tej vrnitvi k tradicionalnemu načinu dela se Starbucks tehnološkemu napredku ne odpoveduje v celoti. V okviru širšega načrta za prenovo poslovanja še naprej uvaja druga orodja, podprta z umetno inteligenco, predvsem tista, ki pomagajo pri optimalnem zaporedju naročil in neposredni pomoči baristom pri pripravi pijač. Čeprav so analitiki napovedovali, da bo prav avtomatizirano sledenje zalogam dolgoročno znižalo stroške dela in zmanjšalo količino odpadne hrane ter s tem izboljšalo marže, se je moralo vodstvo ukloniti realnosti na terenu in prisluhniti odzivom zaposlenih, ki so ukinitev nedelujočega sistema pospremili z olajšanjem.
Balon ali ne?
Trenutni tehnološki trg kljub opisanim polomijam preveva izjemen optimizem glede umetne inteligence. Kritični glasovi opozarjajo, da gre predvsem za napihovanje balona brez prave finančne podlage. Ed Zitron, tehnološki analitik in pisec finančnih novic, v javnih razpravah poudarja, da vlagatelji in podjetja trenutno zamenjujejo splošno rast vrednosti polprevodniške industrije z dejansko uspešnostjo poslovnih modelov podjetij za umetno inteligenco, ki v resnici sploh ne obstaja. Glavni problem po njegovem mnenju je, da podjetja ne znajo izmeriti dejanskih stroškov opravljanja nalog z umetno inteligenco, hkrati pa ne morejo določiti donosnosti teh investicij. Ko so nekateri ponudniki začeli poslovnim strankam zaračunavati realne cene za uporabo žetonov, so podjetja, kot sta Uber in Walmart, hitro ugotovila, da težko upravičijo tako visoke stroške glede na merljive rezultate. Uber je moral zaradi hitre porabe proračuna omejiti uporabo tovrstnih orodij med zaposlenimi, kar nakazuje, da so trenutne cene naročnin za končne uporabnike močno subvencionirane in dolgoročno nevzdržne.
Medtem ko so redki posamezniki in podjetja, ki gradijo podatkovne centre, že postali milijarderji, vodilna podjetja na področju jezikovnih modelov ostajajo izjemno nedobičkonosna. OpenAI in Anthropic po ocenah strokovnjakov letno ustvarjata več deset milijard ameriških dolarjev izgube, njune poslovne knjige pa ostajajo skrite javnosti. Ed Zitron ostro zagovarja stališče, da tem podjetjem sploh ne bi smeli dovoliti javne ponudbe delnic, saj nimajo jasne poti do dobička, njihovo reševanje prek borze pa bi pomenilo zgolj zagotavljanje izstopne likvidnosti za tvegani kapital na račun malih vlagateljev. Vstop teh nestabilnih podjetij v borzne indekse bi lahko resno ogrozil pokojninske sklade navadnih ljudi, ko bo ta mehurček neizogibno počil. Veliki tehnološki giganti po njegovem mnenju in mnenju mnogih vlagajo v umetno inteligenco preprosto zato, ker so izčrpali druge ideje za večjo rast.
