Objavljeno: 23.8.2024 07:00

Kanibalizem modelov umetne inteligence vodi v katastrofo

Veliki jezikovni modeli potrebujejo velike količine besedila za učenje, kjer počasi trkamo ob povsem fizikalne meje. GPT-4 naj bi imel več kot bilijon parametrov, prebrati pa je moral še precej več besedila. Kakovostnih vsebin, ki so jih ustvarili ljudje, pa vseeno ni neomejeno mnogo, sploh pa dostopnih.

Zato ni presenetljivo, da so modeli najprej postrgali z interneta vse, kar se je dalo. Zaradi tega so si njihovi avtorji prislužili tudi številne tožbe, ki jih vlagajo zlasti založniki in drugi lastniki avtorskih pravic. Tožbe so vložili največji časniki v ZDA, Reddit pa je na primer prepovedal uporabo vsebin na njihovih straneh, razen če sklenejo dogovor in je uporaba plačljiva.

A nekoč bo vsebin zmanjkalo in že sedaj smo blizu. Raziskovalci so zato preverili, kaj bi se zgodilo, če bi se modeli učili od svojih mlajših bratov. Če bi na primer z GPT-n ustvarili velikanske količin besedila, ki bi ga potem pri učenju uporabil GPT-n+1, in tako naprej. Ideja ni tako zelo neverjetna, saj nekatere vrste strojnega učenja (unsupervised learning)  delujejo zelo podobno.

Rezultat je katastrofalen, so ugotovili raziskovalci. Zgodi se tako imenovani kolaps modelov, ki postanejo čedalje manj sposobni, njihovi rezultate pa nesmiselni. Kanibalizem predhodnih rezultatov začne uničevati modele, uporaba predhodnih rezultatov pa povzroči nastanek nepopravljivih defektov v novem modelu. Ni pa še jasno, kaj bi se zgodilo ob navzkrižnem učenju, kjer bi rezultati modela OpenAI nastopili kot vhod za Metin model itd.

V preizkusu, o katerem poročajo v reviji Nature, se je najbolj napreden model zataknil v stavku »black@tailed jackrabbits«. Nepopravljivo, nespremenljivo, neskončno.

Nature

Več novic

Naroči se na redna tedenska ali mesečna obvestila o novih prispevkih na naši spletni strani!

Komentirajo lahko le prijavljeni uporabniki

Najbolj brano

  • Android vam bo povedal, ali vam policija prisluškuje

    Čedalje popularnejši način prisluškovanja in prestrezanja podatkov z mobilnih telefonov je uporaba lažnih baznih postaj (IMSI catcher), ki jih imajo organi pregona v nekaterih državah, lahko pa tudi drugi akterji. Na takšno napravo se povežejo vsi telefoni v okolici, saj njen signal preglasi legitimne bazne postaje, upravljavec pa potem zlahka prestreza komunikacijo. Uporabnik tega početja praktično ne more zaznati.

    Objavljeno: 1.7.2025 07:00
  • Tisoče severnokorejskih uslužbencev prikrito na daljavo delalo v ameriških podjetjih

    Ameriško pravosodno ministrstvo je vložilo obtožnice zoper devet ljudi, ki so skrbeli za prikrito zaposlovanje računalnikarjev iz Severne Koreje za delo na daljavo v ameriških podjetjih. En Američan, šest Kitajcev in dva Tajvanca so obtoženi prevare, pranja denarja, kraje identitete, nepooblaščenega dostopa v računalniški sistem in kršenja mednarodnih sankcij.

    Objavljeno: 2.7.2025 07:00
  • Podjetja nočejo Copilota, ker zaposleni raje uporabljajo ChatGPT

    Microsoft kljub velikim naporom (beri: finančnemu vložku) podjetjem težko proda storitve umetne inteligence Copilot.

    Objavljeno: 27.6.2025 09:00
  • Naprava, ki z laserji uničuje komarje

    Čeprav še nimamo letečih avtomobilov ali robotov strežnikov, lahko zdaj naročimo nekaj, o čemer smo od nekdaj sanjali - lasersko napravo, ki zazna in ubije komarja v nekaj milisekundah.

    Objavljeno: 3.7.2025 11:00
  • Kitajski prenosniki so dve leti za zahodnimi

    Čeprav se Kitajci močno trudijo in izdatno investirajo v domači razvoj in proizvodnjo čipov, so še vedno vsaj dve generaciji za zahodnimi izdelki. To izkazuje tudi najnovejši Huaweijev prenosnik MateBook Fold Ultimate, ki poganja lastni HarmonyOS in ima same kitajske komponente. A te v primerjavi z zahodnimi zaostajajo.

    Objavljeno: 25.6.2025 07:00
  • Pametna očala s samodejnim ostrenjem bi lahko nadomestila bifokalna stekla

    Finsko podjetje IXI razvija inovativna očala z lečami, ki se samodejno ostrijo glede na pogled uporabnika. 

    Objavljeno: 23.6.2025 10:00 | Teme: pametna očala
 
  • Polja označena z * je potrebno obvezno izpolniti
  • Pošlji