Umetna inteligenca popravlja sama sebe
V slogu Terminatorja so raziskovalci z MIT so pokazali, da je mogoče z velikimi jezikovnimi modeli izboljševati drobovje drugih jezikovnih modelov, podobno kot bi človek operiral možgane drugega človeka in ga s tem naučil česa novega. Pokazali so, da lahko modeli posegajo v uteži drugih nevronskih mrež in tako izboljšajo njihovo delovanje brez ponovnega učenja. Uporabili so GPT-6 Astra, ki je občutno izboljšala rezultate odprtokodnega modela Qwen.
Postopek so poimenovali Weight-Space Programming, saj namesto spreminjanja programske kode ali dodatnega učenja spreminja kar parametre nevronske mreže. Pri resda majhnem modelu Qwen3.5-0.8B, ki ima približno 800 milijonov parametrov, je Astra spremenila vsega 0,016 odstotka uteži. S tem se je uspešnost na matematičnem preizkusu MATH-500 povečala s 7,9 na 48,1 odstotka, pri preizkusu upoštevanja navodil IFEval pa z 21 na 62,3 odstotka. Model je torej postal neprimerno sosobnejši.
Razlog za izboljšanje je zlahka razumljiv. Qwen se je pri reševanju nalog pogosto zapletel v ponavljanje istih korakov in tako ni našel odgovora. Astra je po analizi delovanja modela predlagala spremembe uteži, ki so to vedenje omejile. Raziskovalci so pristop preizkusili tudi na manjših nevronskih mrežah, kjer je Astra iz njihovih uteži prepoznavala, česa so sposobne in čemu so sploh namenjene. Nekatere mreže so bile naučene igranja iger, druge popravljanja krmilnikov, tretje sestavljanja novih nevronskih mrež.
- Iz tujega tiska: Veliki jezikovni modeli kot nova živa bitja, 29. 9. 2026
- OpenAI razkriva, kako v resnici deluje umetna inteligenca, 30. 12. 2025
Vseeno velja dosežek pazljivo soditi. Razvijalec Matthew Honnibal opozarja, da Astra pri popravljanju Qwena ni vedno zgolj preprosto prebrala njegovih uteži in ugotovila, kaj je narobe. Uporabljala je tudi programska orodja, izvajala preizkuse in analizirala rezultate, pri čemer je lahko večkrat preverila različne spremembe. Prav tako modela ni naučila novih matematičnih sposobnosti, temveč je predvsem odpravila težavo, zaradi katere obstoječih sposobnosti ni znal učinkovito uporabiti. Po drugi strani pa pri podobnem poskusu z modelom Gemma 3 raziskovalci niso bili uspešni.
Veliki jezikovni modeli še ne bodo poljubno popravljali in izboljševali drugih modelov. Vidimo pa, da uteži nevronskih mrež niso nujno zgolj rezultat dolgotrajnega učenja, temveč jih je mogoče tudi spreminjati z operacijo na odprtih možganih. Takšno popravljanje modelov je bistveno cenejše od učenja.
