Google predstavil odprtokodne jezikovne modele za prevajanje
Google je pripravil tri modele za prevajanje med 55 jeziki, ki so zgrajeni na osnovni odprtokodnega modela Gemma 3 in se imenujejo TranslateGemma. Na voljo so v treh velikostih: s štirimi, dvanajstimi in sedemindvajsetimi milijardami parametrov.
Modele so izdelali iz Gemme 3 s postopkom, ki se imenuje destilacija in uporablja večji model kot učitelja manjšega modela. V konkretnem primeru je učenec učitelja presegel, saj je TranslateGemma-12B zmogljivejša od Gemme 3 s 27 milijardami parametrov. Z metriko MetricX so v testu WMT24++ merili število napak v prevodih, zatorej je nižje število točk boljši rezultat.
Manjši modeli so seveda hitrejši, varčnejši in uporabni lokalno na prenosnih napravah. TranslateGemma-4B teče na pametnih telefonih, TranslateGemma-12B na osebnin računalnikih in TranslateGemma-27B na lokalnih strežnikih (z enim H100 GPU), torej lastni infrastrukturi.
