Meta pokazala novo družino modelov Llama 4
V Meti je kmalu po predstavitvi kitajskih modelov DeepSeek, ki so ga bistveno manj denarja pridelali zelo podobne rezultati od pregrešno dragih zahodnih modelov, začelo veljati obsedno stanje. Rezultat pospešenega razvoja so trije modeli iz družine Llama 4, ki jih je podjetje predstavilo te dni.
Imenujejo se Llama 4 Scout, Llama 4 Maverick in Llama 4 Behemoth. Naučeni so bili na ogromnih količinah neoznačenega besedila, slik in videoposnetkov, da bi čim bolje razumeli svet okoli sebe. Scout in Maverick sta že na voljo vsem, Behemoth pa je še v zadnjih faza učenja. Morda beseda vsem ni najprimernejša, saj licenca izrecno prepoveduje uporabo ljudem in podjetjem iz Evropske unije, kar je brez dvoma povezano z regulativo. Prav tako morajo posebno licenco dobiti podjetja, ki imajo več kot 700 milijonov uporabnikov mesečno.
Novi pomočniki bodo na voljo v WhatsAppu, Messengerju in Instagramu v več kot 40 državah, med katerimi evropskih še ni. Ena izmed prednosti novega modela je delitev dela, saj ga sestavlja več manjših modelov s svojimi specialnostmi, ki jim glavni model dodeli ustrezna opravila. Temu pravimo arhitektura MoE (mixture of experts). Tako ima Maverick 400 milijard parametrov, a vsak izmed 128 ekspertnih podmodelov jih hkrati uporablja le 17 milijard. Druga prednost je obseg, saj lahko prežveči do 10 milijonov žetonov dolge pozive.
Scout bo tekel na enem procesorju Nvidia H100, Maverick bo potreboval že H100 DGX, Behemoth pa precej več. Ima namreč 288 milijard aktivnih parametrov, s čimer je po lastnih navedbah boljši od GPT-4.5, Claude 3.7 Sonneta in Geminija 2.0 Pro.
