Meta goljufala pri testih zmogljivosti modela Llama 4
Novi modeli Llama 4, ki jih je Meta predstavil pred dnevi, niso tako izjemno zmogljivi, kot nas je podjetje želelo prepričati. Na spletni strani LMArena se je Llama 4 Maverick uvrstila pred OpenAI 4o in tik za Gemini 2.5 Pro. A vse ni, kot se zdi.
V drobnem tisku moremo prebrati, da na strani LMArena niso dobili v test istega modela, kot je sicer javno dostopen. Meta je tam testirala "eksperimentalno pogovorno verzijo", ki je bila posebej prilagojena za "pogovore". LMArena je po odkritju takoj dejala, da to ni v skladu s pravili. Model Llama-4-Maverick-03-26-Experimental je bil prilagojen za dialoge z ljudmi.
Iz Mete so odgovorili, da so preizkusili vse svoje eksperimentalne različice, v čemer ne vidijo nič spornega. Dodali so, da je verzija odprtokodna, razvijalci pa si jo lahko prilagodijo po svoje. A strokovnjaki niso navdušeni nad kreativnim tolmačenjem pravil testov na LMAreni. Očitke, da naj bi bil model naučen na testnih primerih, pa Meta odločno zavrača. Še večji teoretiki zarote opozarjajo, da je sobota sila nenavaden termin za izid novega modela Llama 4. Meta odgovarja, da je bil tedaj pač nared.
Kakorkoli obračamo, Llama 4 so dobri modeli, celo zelo dobri. Meta pa si tako zelo želi postati vodilna, da je pripravljena ubirati bližnjice, ki niso vedno najbolj higienične.
