Claude in GPT samostojno lagala, zavajala in manipulirala, da bi vdrla
Britanski AI Security Institute je za vlado izvedel več testov, v katerih so različni agenti umetne inteligence reševali več izzivov s področja kibernetske varnosti. Da bi se lahko obnašali kot pravi hekerji, so imeli odprt dostop do interneta. Med 122 poizkusi je agent v 19 primerih na internetu samostojno opravljal neodobrene naloge, lagal in zavajal ter si na vse načine prizadeval vdreti.
V sedemnajstih primerih je šlo za Mythos 5, v dveh primerih pa za GPT-5.6-Sol. Neodobreno vedenje je vključevalo različne akcije na internetu, med katerimi je bil najbolj zaskrbljujoč poizkus manipulacije repozitorijev odprtokodnih projektov. Mythos je v odprtokodni projekt skušal vstaviti zlonamerno kodo (pull request), nato pa ustvaril več lažnih identitet, da bi vzdrževalca projekta pretental v sprejem kode. Slednji je opazil problematičnost kode in je ni potrdil, škoda pa ni nastala.
Je pa to prvi primer, ko je umetna inteligenca združila tehnične manipulacije in socialni inženiring, da bi dosegla svoj cilj. Ob tem je treba poudariti, da modeli niso pobegnili na internet, temveč so imeli od začetka dovoljen dostop do interneta, da se vedli čim bolj človeško, vključno z dostopom do vseh informacij in orodij.
Incident se je zgodil, ker se je agent odločil cilju slediti za vsako ceno. Naloga, ki jo je moral opraviti, je bila izjemno težka. V nekaterih primerih pa so bila tudi navodila takšna, da je agent menil, da tehnične rešitve ni in da mora ravnati kreativno. Potrebnih varovalk v obliki navodil, da ne sme izrabljati drugih internetnih strani ali socialnega inženiringa, model ni dobil.
Preizkus je dokazal, česa so modeli zmožni. V zlonamernih rokah varovalk gotovo ne bo, in tega nas mora biti strah.
