Llama 3.3: zmogljivost velikih jezikovnih modelov v kompaktni obliki
Družba Meta je z izdajo velikega jezikovnega modela Llama 3.3 ponovno dokazal svojo zavezanost odprtokodni skupnosti in inovacijam na področju umetne inteligence. Najnovejši večjezični veliki jezikovni model (LLM) združuje izjemno zmogljivost z optimizacijo stroškov in porabe virov. V različici s 70 milijardami parametrov tako Llama 3.3 dosega primerljive rezultate kot v preteklem poletju predstavljeni model Llama 3.1 s 405 milijardami parametrov, sevedas z občutno nižjimi stroški in potrebami po strojni opremi.
Zahvaljujoč zmanjšani velikosti modela je potrebna količina pomnilnika GPU tudi do 24-krat manjša, kar pomeni znatne prihranke pri uporabi dragih procesorjev, kot je na primer Nvidia H100 in s tem manjši porabi energije. Če je strošek enega H100 GPU-ja ocenjen na 25.000 dolarjev, lahko prihranki pri infrastrukturi znašajo tudi do 600.000 dolarjev. Poleg tega so stroški generiranja žetonov optimizirani na le 0,01 dolarja na milijon žetonov, kar model Llama 3.3 postavlja kot stroškovno učinkovitejšo alternativo konkurentom, kot sta GPT-4 in Claude 3.5.
Model je bil usposobljen na 15 bilijonih žetonov iz javno dostopnih virov ter dodatno uglašen na 25 milijonih sintetičnih primerov. Za treniranje je bilo porabljenih 39,3 milijona ur na strežnikih opremljenih s procesorji H100 s pomnilniki velikosti 80GB.
Llama 3.3 se izkaže predvsem pri večjezičnih nalogah. Na testih, kot je MGSM, dosega kar 91,1-odstotno natančnost, pri čemer podpira jezike, kot so nemščina, francoščina, španščina, italijanščina, portugalščina, tajščina in hindijščina. Z novim kontekstnim oknom velikosti 128.000 žetonov je model idealen za generiranje dolgega besedila in obdelavo kompleksnih nalog.
Med tehničnimi izboljšavami je vključena tudi arhitektura Grouped Query Attention (GQA), ki povečuje učinkovitost med inferenčnimi postopki. Poleg tega so bili varnostni vidiki izboljšani z uporabo okrepitvenega učenja na podlagi povratnih informacij ljudi (RLHF) in nadzorovanega uglaševanja (SFT). Model se učinkovito upira neprimernim zahtevam, kar zagotavlja varno in etično uporabo.
