Pol stoletja stara umetna inteligenca boljša od GPT-3.5
ChatGPT in druščina bi nas zlahka zavedli, da so prvi roboti, ki omogočajo pogovarjanje. A njihova zgodovina je precej daljša, saj se je ELIZA že v 60. letih precej dobro pogovarjala. Izkaže se, da je bila celo boljša od GPT-3.5, če sodimo po rezultatih Turingovega testa.
Raziskovalci z Universite v San Diegu izvedli simulacijo Turingovega testa, v kateri so primerjali človeka, GPT-4, GPT-3.5 in ELIZO. To je znameniti test, ki si ga je Alan Turing zamislil davnega leta 1950. V njem sodelujeta človek in stroj, s katerima se pogovarja človeški izpraševalec. Ta komunicira v pisni obliki in ne ve, s kom se pogovarja. Njegova naloga je ugotoviti, kateri sogovornik je človek in kateri je stroj.
Preizkus, v katerem je sodelovalo 652 ljudi, ki so opravili 1810 pogovorov, med njimi 1405 primernih za nadaljnjo analizo, je pokazal zanimive rezultate. Najbolje se je odrezal človek, ki je v 62 odstotkih opravil Turingov test. To ni tako nenavadno, saj so tudi druge raziskave pokazale, da nikoli ne dosežemo 100 odstotkov. Na drugem mestu je GPT-4, ki je v vseh primerih nekoliko pod 50 odstotki, sledi pa ELIZA. Zadnji je GPT-3.5.
To pomeni, da ljudje večkrat prepoznajo GPT-3.5 kot stroj kakor pa ELIZO. Razlogov je več, eden je gotovo navajenost. V zadnjem letu smo bili izpostavljeni odzivom GPT-3.5, zato približno vemo, kaj pričakovati. ELIZA je manj znana, po drugi strani pa tudi precej bolj redkobesedna in manj ustrežljiva. Tega od modernih jezikovnih modelov nismo vajeni, zato so jo ljudje prej zamenjali za nekooperativnega človeka kakor za stroj. Tudi GPT-4, ki je bil najboljši, se še vedno ne more dobro pretvarjati, da je človek.
