Nizozemski algoritmi, ki so uničevali življenja
Pred devetimi leti je nizozemska davčna uprava uvedla nov sistem iskanja goljufov pri socialnih prejemkih. Problema so se lotili, kot je v 21. stoletju moderno – z algoritmi in umetno inteligenco. Zagnali so sistem, ki je sam ugotavljal, kdo predstavlja veliko tveganja za zlorabo pravic, in jih že na podlagi suma kaznoval.
Program Systeem Risico Indicatie je imel dostop do različnih baz, nato pa je iz podatkov o posamezniku izračunal, ali je ta goljuf. Avtomatizirani sistem je deloval brez nadzora, saj nihče ni vedel točno, kako algoritem deluje. Bilo pa je očitno, da je sistem kot bolj tvegane označeval ljudi z nižjimi prihodki, pripadnike nebelih manjših itd. Nizozemska vlada je sicer trdila, da je sistem nujen, a je sodišče v Haagu že pred dvema letoma odločilo, da je bila uporaba sistema nezakonita. Invaziven, nesorazmeren dostop do vseh podatkov in predolgo hranjenje teh podatkov je v nasprotju z nizozemsko in evropsko zakonodajo.
A to ne more popraviti vseh krivic, ki jih je sistem povzročil. Starši, ki so prejemali visoke zahtevke za vračilo otroških dodatkov, v nekaterih primerih tudi več deset tisoč evrov, bremena niso vedno zmogli. Znani so primeri, ko so storili samomor, ali pa so zboleli. Več kot tisoč otrok je bilo zato odpeljanih v rejo. Nizozemska vlada je obljubila odškodnine do 30.000 dolarjev.
Zaradi afere je lani januarja odstopila vlada, ki je potem na volitvah dobila nov mandat. Sodišče je razsodilo, da je bilo početje davčne uprave nezakonite. Minuli teden je še informacijski pooblaščenec izrekel 2,75 milijona evrov globe davčni upravi, ker je nezakonito, diskriminatorno in neprimerno zbirala in obdelovala osebne podatke državljanov glede dvojnega državljanstva. Informacije o dvojnem državljanstvu, ki načeloma državo ne sme zanimati, je bila namreč eden izmed znakov za algoritem, da je posameznik sumljiv.
Glavna težava je slepo zaupanje algoritmom. Njihovih odločitev ni nihče resno preverjal, posledice pa so bile resne. Komisarska Margrethe Vestager je dejala, da je afera to, česar se moramo najbolj bati pri umetni inteligenci in algoritmih. Evropska komisija predlaga sprejem zakona o omejitvi umetne inteligence (AI Act) v tovrstnih primerih, hkrati pa se bo vzpostavil register tovrstnih algoritemskih sistemov. Ključne so varovalke, vse odločitve pa mora nujno preveriti človek.
