OpenAI izdal CriticGPT, ki išče napake v odzivih GPT-4
Aktualni veliki jezikovni modeli, kakršen je GPT-4, se učijo ob pomoči ljudi. Da bi v prihodnosti lahko to ozko grlo odpravili ali pa zgolj z manj strahu pred izmišljotinami uporabili končne izdelke, je OpenAI izdal model CriticGPT. Počne točno to, na kar namiguje ime. CriticGPT kritično motri izdelke GPT-4 in opozarja na napake.
Klasični način učenja GPT se imenuje RLHF (Reinforcement Learning from Human Feedback), ker v njem sodelujejo ljudje. V praksi to pomeni, da pri treningu namesto uporabe popolnih ali vsaj zelo natančno sistematično urejenih podatkov končne izdelke ocenjujejo ljudje. A rezultat nikoli ni popoln, saj je ena večjih težav teh modelov haluciniranje.
OpenAI je zato izdelal model CriticGPT, ki je namenjen analizi programske kode, ki jo piše GPT-4. CriticGPT prepoznava hrošče v kodi in jih odpravi ter pojasni, kaj je bilo narobe. CriticGPT so izdelali s pomočjo ljudi, saj so mu dali v pregled ogromno kode, ki je imela namerno vstavljene hrošče.
Analize delovanja CriticGPT kaže, da so njegovi rezultati dobri. V eni raziskavi je njegove komentarje v 63 odstotkih primerov človek laže bral in razumel kot komentarje človeških preglednikov kode. Nato so ugotovili, da zmore CriticGPT še več, saj je na primer prepoznal napake tudi v podatkih za trening, ki so jih za GPT pripravili ljudje in naj bi bili brezhibni.
CriticGPT bo na neki način ulovil svoj rep, saj bo OpenAI z njim opremil ljudi, ki pomagajo umetni inteligenci pri treningu.
