Nvidiin tekmec Cerebras pravi, da so zopet oživil Moorov zakon s tretjo generacijo čipov
Podjetje Cerebras je razkrilo svoj najnovejši procesor za umetno inteligenco, ki na površini velikosti krožnika za večerjo ponuja dvakrat večjo zmogljivost na vat kot njegov predhodnik, poleg tega strateško pa sodelujejo z družbo Qualcomm, ki želi ponuditi alternativo trenutnemu prevladujočemu položaju družbe Nvidia.
WSE-3 je Cerebrasov procesor tretje generacije, ki meri kar 462 kadratnih centimetov in vsebuje 4 bilijone tranzistorjev. Izdelan je po 5 nm postopku TSMC in ima 900.000 jeder ter 44 GB SRAM, kar skupno omogoča zmogljivost 125 petaFLOPS.
WSE-3 je osnova za novo strežniško platforme CS-3, ki ponuja 2-krat večjo zmogljivost, porabi pa enako 23 kW kot starejša platforma CS-2. S tem tudi na področju umetne inteligence sledijo Moorovem zakonu podvojitve zmogljivosti, kar v tej industriji v zadnjih letih ni bilo prav pogosto videno.
V primerjavi z Nvidia H100 je WSE-3 približno 57-krat večji in se ponaša s približno 62-krat večjo zmogljivostjo. Toda glede na velikost in porabo energije CS-3 bi bilo WSE-3 morda bolje primerjati s parom sistemov DGX s skupno 16 enotami H100 v notranjosti. Pri tej primerjavi je CS-3 še vedno približno 4-krat hitrejši.
Ena glavnih prednosti, ki jih ima Cerebras, je pomnilniška pasovna širina. Zaradi 44 GB velikega pomnilnika SRAM, ki je vgrajen na procesorsko ploščo, se Cerebrasov pospeševalnik ponaša s pomnilniško pasovno širino 21 PBps v primerjavi s 3,9 TBps, kolikor znaša največja zmogljivost v H100.
To sicer še ne pomeni, da so Cerebrasovi sistemi hitrejši v vseh scenarijih rabe. Trditve podjetja o zmogljivosti so v veliki meri odvisne od redkosti (sparsity) podatkov v podatkovnem modelu umetne inteligence. Medtem ko je družbi Nvidiai z uporabo redkosti uspelo doseči podvojitev operacij s plavajočo vejico, Cerebras trdi, da je dosegel približno 8-kratno izboljšanje.
Cerebras s svojimi izdelki cilja na največje podatkovne centre in celo projekte AGI (Artificial General Intelligence). Omeniti velja, da CS-3 ni omejen na gruče s 64 računalniki, saj podjetje trdi, da je sisteme mogoče razširiti na 2.048 strežnikov, ki lahko skupno dosežejo 256 exaFLOPS za potrebe procesiranja umetne inteligence. Za primerjavo, po ocenah družbe naj bi tovrsten sistem lahko usposobil model Meta Llama 70B v približno le enem samem dnevu.
Cerebras že nekaj časa intenzivno sodeluje z družbo Qualcomm, ki razvija pospeševalnik za umetno inteligenco Cloud AI100 Ultra. Ta procesor je precej manj ambiciozen kot WSE-3, a zato cenovno bolj sprejemljiv in predvsem energetsko precej bolj učinkovit. Doseže lahko zmogljivost 870 TOPS z natančnostjo Int8, ob pomnilniški pasovni širini 548 GB/s. V okviru partnerstva, ki je zdaj uradno, bosta podjetji sodelovali pri optimizaciji modelov za AI 100 Ultra.
