Umetna inteligenca za doma
Priljubljeni Raspberry Pi 5 je končno dočakal nadgradnjo, ki omogoča sestavo od interneta neodvisnih robotov in drugih naprav z vgrajeno umetno inteligenco. Raspberry Pi AI HAT+ 2 preseneča s svojo zmogljivostjo in komunikativnostjo.
Poganjanje modelov UI na lastnem računalniku zahteva veliko računsko zmogljivost. Klasični procesorji namiznih računalnikov s 4, 6, z 8 ali 12 jedri temu niso kos, zato to navadno počnemo z grafičnimi karticami ali pa s t. i. nevronskimi procesorji (NPU – neural processing unit).
Tudi z Raspberry Pi 5 lahko v tej smeri povežemo drago grafično kartico, vendar je veliko preprosteje in nekajkrat ceneje, če računalnik nadgradimo z enim od klobukov UI: Raspberry Pi AI kit, Raspberry Pi AI HAT+ ali najnovejšim Raspberry Pi AI HAT+ 2.
Klobuki za Raspberry Pi 5
Vsi trije temeljijo na pospeševalnih modulih Hailo. Najstarejši Raspberry Pi AI kit sestavljata nosilna plošča in vgrajeni modul Hailo-8L, ki doseže do 13 TOPS (Tera Operations Per Second). Modul lahko uporabljamo tudi z drugimi računalniki, ki imajo priključek PCIe M.2. Lahko ga tudi zamenjamo z dvakrat zmogljivejšim Hailo-8 (26 TOPS), ki ga je mogoče kupiti posebej.
Pri novejšem Raspberry Pi AI HAT+ menjava modula Hailo ni mogoča, saj je prispajkan na tiskano vezje. Tako se moramo že ob nakupu odločiti za dražjo ali cenejšo različico. Hailo-8 s 26 TOPS stane okoli 120 evrov, Hailo-8L s 13 TOPS pa okoli 75 evrov.
Raspberry Pi AI HAT+ 2 z modulom Hailo-10H in 8 GB RAM.
Od 15. januarja je na voljo tudi že najnovejša različica – Raspberry Pi AI HAT+ 2. S prispajkanim modulom Hailo-10H in do 8 GB RAM doseže do 40 TOPS. Okvirna cena je 130 dolarjev, vendar je pri (pooblaščenih) trgovcih zaradi marž treba odšteti nekoliko več. Cena je odvisna tudi od količine v klobuk vgrajenega RAM: 2, 4 ali 8 GB. Omenimo, da vgrajeni pomnilnik ni povezan z velikostjo RAM v nosilnem Raspberry Pi 5.
Novi klobuk smo preizkusili na Raspberry Pi 5 z 8 GB RAM, na katerega smo namestili različico z 8 GB RAM. Namestitev klobuka je enostavna, saj je kabel PCIe FFC z ene strani že priključen na klobuk. Tisti, ki bi raje uporabili daljši trakasti kabel, potrebujejo takšnega, ki ima kontakte na začetku in koncu na različnih straneh, ne običajnega, kjer so kontakti na isti strani na obeh koncih. Klobuk se napaja iz 40-polne razširitvene vtičnice, vendar bi brez priloženega poviševalnika kontaktov (port raiser) stal prenizko in onemogočil namestitev hladilnika za Raspberry Pi 5.
Kako smo ga preizkusili
Najprej smo po navodilih s spletne strani raspberrypi.com namestili najnovejši operacijski sistem Raspberry Pi OS Trixie in vso potrebno programsko opremo, vključno z Dockerjem. Nato smo namestili modela LLM qwen2:1.5b in Arena, nazadnje pa še grafični uporabniški vmesnik, ki deluje kot spletni strežnik. Za lažje upravljanje aplikacij v Dockerju smo na koncu namestili še Portainer.
Raspberry Pi 5 z nameščenim Raspberry Pi AI HAT+ 2 in baterijo za uro realnega časa v improviziranem ohišju.
Nato smo odklopili internetno povezavo, v posebnem ukaznem oknu zagnali strežnik Hailo-Ollama, odprli spletni brskalnik na naslovu http://localhost:8080 in tako lokalno nameščeni umetni inteligenci začeli zastavljati vprašanja.
Presenetljivo veliko znanja
Omenjena modela LLM omogočata pogovor v več jezikih, med katerimi smo preizkusili slovenščino in angleščino. Pogovor v angleščini daje natančnejše odgovore, pri komunikaciji v slovenščini pa smo pogosto prejeli odgovore z besedami iz sorodnih slovanskih jezikov. Preizkusili smo tudi prevajanje že podanih odgovorov iz angleščine v slovenščino in obratno, kjer so napake še pogostejše.
Vprašanja in naloge smo zastavljali z različnih področij. Na primer: »Kdaj je potonil Titanik?«, »Napiši program v programskem jeziku C++, ki prebere število, izračuna kvadratni koren in izpiše rezultat!«, »Kako izračunaš hitrost?«, »Kakšen je volumen kocke s stranico 11 cm?«. Nekateri odgovori so nas navdušili, na primer, da je Titanik potonil 15. aprila 1912. Drugi pa so razočarali, saj je veliko odvisno od sosledja vprašanj, nekaj pa tudi od tipkarskih napak pri njihovem vnosu. Vseeno pa Raspberry Pi AI HAT+ 2 z nameščenim modelom LLM qwen2:1.5b na sorazmerno enostavna vprašanja, kot je »Koliko je 55 plus 7?«, skoraj vedno odgovori pravilno.
Vprašanja lahko LLM zastavimo tudi govorno, pri čemer je prepoznavanje stavkov v angleščini ponovno bistveno boljše kot prepoznavanje slovenskih stavkov, vendar je pretvorba govora v besedilo za zdaj še nekoliko prepočasna za normalno interakcijo s človekom. Verjamemo pa, da bo z novejšimi LLM in izboljšavami programske opreme mogoče precej pohitriti delovanje in zagotoviti natančnejše odgovore.
Module Hailo lahko uporabljamo tudi za prepoznavanje predmetov in ljudi v živi sliki, a o tem več kdaj drugič.
Raspberry Pi AI HAT+ 2
Cena: Od 80 USD naprej, odvisno od cene posrednika (več na raspberrypi.com)
Operacijski sistemi: Raspberry Pi OS Trixie
Za: Odličen za učenje UI in razvoj avtonomnih robotov, (nekoliko omejeni) modeli LLM na njem delujejo tudi brez internetne povezave.
Proti: Manj zmogljiv od spletnih LLM.
