Objavljeno: 4.2.2007 13:25 | Avtor: Peter Šepetavc | Monitor Januar 2007

Priključimo podatke

Priklapljanje diskov je bilo pred nekaj leti preprosto. Pri osebnih računalnikih smo imeli za diske na voljo priključek ATA, medtem ko smo v delovnih postajah in strežnikih uporabljali hitrejše, zanesljivejše in precej dražje diske s priklopom na vodilo SCSI.

Obe vodili je danes že povozil čas. Vmesnik ATA je za priklapljanje diskov povsem nadomestil Serial ATA (SATA), ATA pa uporabljamo le še za priklapljanje optičnih pogonov (pa tudi slednji so že na voljo tudi s priključkom SATA). SCSI se v strežnikih še nekoliko upira zastarelosti, vendar je to predvsem posledica tega, da je priklapljanje diskov v strežniških okoljih danes pogosto zastavljeno povsem drugače kakor v preteklosti, pa tudi sicer se mora stari priključek (ki je bil skozi leta sicer velikokrat nadgrajen in pohitren) boriti z zaenkrat še neuveljavljeno, a pestro in zmogljivo paleto podatkovnih vodil. Izbrati pravega je pogosto težko, kljub temu pa vsi ponujajo precej večjo zmogljivost in prilagodljivost v primerjavi s SCSI, tako da lahko pričakujemo, da bo tudi slednji čedalje redkeje zastopan v strežnikih prihodnosti.

Velika razširjenost ožičenih in brezžičnih omrežij ter njihova čedalje višja prepustnost so poskrbeli za to, da danes podatkov ni treba shranjevati krajevno, neposredno v računalnik, saj so omrežja dovolj hitra in odzivna, da lahko podatke shranjujemo na oddaljenem kraju, ki je z računalnikom povezan prek omrežnega priključka. Omrežni diski NAS so tako postali priljubljeni tudi doma in v manjših omrežjih. O tehnologiji NAS smo v Monitorju že pisali, poglavitna prednost teh diskov pa je lahko hkrati tudi njihova slabost: naenkrat so dostopni vsem računalnikom v omrežju, to pa pomeni tudi, da so diski, gledani s strani računalnika v omrežju, fizično in navidezno priključeni na drug računalnik oz. napravo. Pri strežniških rešitvah pa pogosto želimo, da je disk na voljo računalniku in operacijskemu sistemu kot "njegov" krajevni disk, obenem pa se ne želimo odreči prilagodljivosti, ki jih prinaša omrežni priklop diskov. To ponuja tehnologija SAN (Storage Area Network). Čeprav gre v osnovi za podoben pristop kot pri diskih NAS (podobnost kratic še dodatno zamegli razlike med obema tehnologijama), pa do diskov SAN oziroma od njih, gledano s strani računalnika, ki dostopa do diskov, podatke pretakamo povsem drugače.

Kljub temu da je prihodnost v omrežnih napravah za shranjevanje podatkov, saj so se naprave NAS že uveljavile v manjših pisarnah in domovih uporabnikov, podobno pa se obeta tudi omrežjem SAN, pa neposredni priklop diskov na računalnike še zdaleč ni mrtev. Za vmesnike prihodnosti in že tudi sedanjosti pa je, v nasprotju z vmesnikoma ATA in SCSI, značilen zaporeden prenos podatkov.

Ni vse v imenu

Tehnologija Fibre Channel že z imenom kaže na to, da za povezovanje med napravami temelji predvsem na optičnih povezavah (samo ime je izpeljanka iz Optical Fiber - optičnega vlakna). V praksi se je izkazalo, da je cena optičnih povezav za marsikoga lahko tudi previsoka, zato so protokol hitro prilagodili tudi za povezave z bakrenimi paricami. Te sicer ne ponujajo tako visoke hitrosti prenosa podatkov, pa tudi največja dolžina povezav je krajša kot pri optiki, vendar pa so dovolj zmogljive za vse, razen za najzahtevnejše uporabnike. Bakrene povezave s protokolom Fibre Channel so danes v veliki večini, tako da bi se, če se malo pošalimo, tehnologija pravzaprav morala imenovati Copper Channel.

Serial ATA

Vmesnik Serial ATA (oz. SATA, kot ga označujemo s kratico), pravzaprav ne zahteva posebne predstavitve, saj je to v današnjih računalnikih že dodobra uveljavljen vmesnik. SATA v računalnikih nadomešča vmesnik ATA (oz. PATA - Parallel ATA), ki smo ga za priklapljanje diskov in optičnih pogonov v računalnikih uporabljali od konca osemdesetih let prejšnjega stoletja. Na voljo je v dveh različicah: SATA 1 podpira prenos podatkov s hitrostjo do 150 MB/s, SATA 2 pa ponuja dvakrat višjo hitrost, 300 MB/s. Standarda sta med seboj načeloma združljiva, tako da lahko naprave SATA 2 priključimo na vmesnik SATA 1 in nasprotno. V pripravi je že tretja različica standarda, ki bo ponujala še dvakrat višjo hitrost prenosa podatkov. V primerjavi s predhodnikom vmesnik SATA ponuja višjo hitrost prenosa podatkov (ki je današnji diski sicer zaenkrat še ne izkoristijo), manjši priključek za prenos podatkov, manjši napajalni priključek in možnost priklapljanja in odklapljanja diskov med samim delovanjem računalnika. Diski Serial ATA navadno podpirajo razvrščanje ukazov (Native Command Queueing - NCQ). NCQ omogoča, da disk med dostopom vrstni red branja prilagodi položaju podatkov na disku in tako poskrbi za hitrejši dostop do podatkov.

Priključek SATA je precej manjši kot pri predhodniku.

Tehnologijo NCQ podpira tudi vmesnik SCSI, pomembna pa je predvsem v okoljih, v katerih računalnik diskovnemu krmilniku pošlje večje število hkratnih zahtev, kot je npr. v strežnikih, tako da bi pričakovali, da si bodo diski SATA odščipnili tudi tržni delež pri zmogljivejših uporabnikih. Vmesnik SCSI je namreč precej dražji in bolj zapleten. Kljub temu se SATA v zahtevnejših okoljih ni uveljavil, saj ima SCSI v primerjavi z novim priključkom nekaj pomembnih prednosti. SCSI ponuja višje hitrosti od SATA: v najzmogljivejši različici omogoča prenos podatkov s hitrostjo do 320 MB/s. To je več, kot omogoča vmesnik SATA II. Na en kabel SATA lahko priključimo le eno napravo, krmilniki SCSI pa zmorejo naslavljati najmanj 16, v najzmogljivejši različici pa do 127 naprav SCSI, povezanih na isti priključek.

Kljub temu so sodobni vmesniki pokazali, da so vzporednim vmesnikom šteti dnevi, saj zaporedni vmesniki omogočajo nižjo ceno, višje hitrosti prenosa in hitrejši prehod na novo, zmogljivejšo različico standarda. SATA je prav zato razmeroma hitro pometel s PATA. Recept, ki so ga razvijalci uporabili že prej (ko je npr. vzporedni vmesnik nadomestil USB) in ki se je obnesel pri prehodu na zaporedno različico standarda ATA, so tako hitro prenesli tudi na vmesnik SCSI, enega zadnjih ostankov vzporednih vmesnikov za prenos podatkov v računalnikih.

Zarečenega kruha ...

Tehnologijo iSCSI je že v samem začetku podprla večina izdelovalcev strežniške programske in strojne opreme. Edina izjema je bilo podjetje Sun, ki se za zamisel o povezavi podatkovnih naprav prek omrežja IP nikakor ni moglo ogreti, saj naj bi šlo za nepraktično in počasno rešitev, ki je v tekmi s Fibre Channelom že v povojih obsojena na propad. Vodja oddelka za sisteme SAN je celo izjavil, da je shranjevanje podatkov prek IP samo pobožna želja in lepe sanje, ki v teoriji lepo deluje, v praksi pa bodo razvijalci naleteli na nepremostljive ovire, ki bodo uveljavitev tehnologije premaknile za več let ali celo desetletij v prihodnost.

Ovire se nazadnje niso izkazale za zelo visoke, saj so jih inženirji hitro premagali, tehnologija iSCSI pa se je kmalu začela "prijemati". Z večjo razširjenostjo gigabitnega etherneta je iSCSI postal poceni in dokaj zmogljiva alternativa namenskim omrežjem SAN. V Sunu so se nato pokesali in v svojem operacijskem sistemu Solaris podprli protokol iSCSI, dobri dve leti zatem, ko so novi protokol podprli HP, IBM, Novell in Microsoft.

Serial Attached SCSI

Serial Attached SCSI - SAS - je nova različica vmesnika SCSI, ki podobno kot SATA za prenos podatkov uporablja zaporedno povezavo. Ukazi, ki jih uporablja pri prenosu, pa so še vedno ukazi SCSI. Gre za nov vmesnik, za katerega pa se pričakuje, da se bo hitro uveljavil v zmogljivejših delovnih postajah in strežnikih, saj v primerjavi z vmesnikom SCSI prinaša kar nekaj prednosti. Velika prednost vmesnika SAS je tudi vzvratna združljivost z vmesnikom SATA: na krmilnik SAS lahko priključimo diske SATA (nasprotno pa ne).

SAS v primerjavi s SCSI prinaša kar nekaj prednosti. Predvsem moramo omeniti večjo hitrost podatkov: ta je pri SAS v najhitrejši različici do 600 MB/s, nadzorniki, ki bedijo nad vmesnikom, pa imajo v pripravi še hitrejše različice vmesnika. SAS podpira več naprav (več kot 16.000), vsaka naprava pa je s krmilnikom povezana z lastno povezavo, medtem ko so pri vmesniku SCSI naprave povezane zaporedno druga za drugo. To precej poenostavi signalizacijo, saj napravam ni več treba spremljati prometa na podatkovni povezavi in se odzivati, ko bodo podatki namenjeni njej - vsi podatki, ki jih prejme, so namenjeni prav tej napravi.

Prvi krmilniki SAS so že na voljo.

Kljub temu da SAS podpira naprave SATA, pa je med vmesnikoma vendarle nekaj razlik. SATA temelji na protokolu ATA, ki je namenjen priključevanju magnetnih diskov (diskov in disket) in optičnih pogonov, drugih naprav pa na vmesnik SATA ne moremo priključiti, saj jih nabor ukazov ATA ne odpira. Na vmesnik SAS lahko, podobno kot na SCSI, priključimo vrsto zunanjih in vgradnih naprav, saj poleg diskov in optičnih pogonov podpira tudi optične bralnike, tiskalnike ipd. Vmesnik SAS podpira vzporedne povezave z eno napravo: disk je npr. povezan s krmilnikom prek dveh povezav SAS. Če ena izmed njih izpade, je za prenos podatkov še vedno na voljo druga. Taka redundanca in izboljšan odziv ob napakah vmesniku SAS omogočata konkurenčno prednost v okoljih, v katerih si ne moremo privoščiti izpada povezave.

Prednost vmesnika SATA je v tem, da so krmilniki in diski bolj razširjeni in cenejši od diskov SAS. Razlike med obema vmesnikoma so majhne in v prihodnosti bomo verjetno videli kar precej diskov SATA priključenih na krmilnike SAS. Uporabniki tako pridobijo prednosti, ki jih ponuja vmesnik SAS, obenem pa prihranijo pri ceni diskov, saj so diski SATA precej cenejši. Pri diskih SAS izdelovalci sicer zagotavljajo večjo zanesljivost in robustnost, vendar pa specifikacije diskov in rezultati testiranj kažejo na to, da med najzmogljivejšimi diski SATA in spodnjim razredom diskov SAS pravzaprav ni razlike. Mehanski deli diskov so enaki, tehnične značilnosti in zmogljivost prav tako. Diski SAS bodo vmesnik SCSI tako nadomestili pri najzahtevnejših uporabnikih, spodnji zmogljivostni razred diskov SCSI pa bodo zamenjali diski SATA priključeni na krmilnik SAS (ali celo na krmilnik SATA, če drugih zmožnosti vmesnika SAS ne bomo potrebovali). Meja med vmesnikom za slehernike in vmesnikom za zahtevnejše uporabnike (včasih PATA/SCSI, v prihodnje pa SATA/SAS) se bo tako pomaknila nekaj razredov više.

Izognimo se protokolu IP

Protokol ATA-over-Ethernet (AoE) je še en v vrsti protokolov, ki omogočajo postavitev omrežja SAN. Podobno kot iSCSI za prenos podatkov uporablja kar omrežje ethernet, namesto ukazov SCSI pa se po omrežju prenašajo ukazi ATA. Podatki, ki bi se sicer prenašali iz krmilnika do diska po ploščatem kablu IDE, se tako prenašajo po omrežni povezavi. Pri tem protokol za razliko od iSCSI ne uporablja višjih ravni povezave, kot je npr. protokol IP, temveč se podatki prenašajo v okviru ethernetnih okvirov (to v praksi pomeni, da jih ne moremo prenesti prek usmerjevalnika, temveč le prek stikala). Za naslavljanje naprav se uporabljajo naslovi MAC, ne pa naslov IP.

AoE je zaenkrat podprt v operacijskem sistemu Linux, za FreeBSD pa so na voljo dodatni gonilniki. Gre za preprosto in poceni rešitev, ki omogoča, da preprosto omrežje SAN postavimo z minimalnimi stroški. Ker uporabljamo ukaze ATA, so lahko naprave SAN le diski (iSCSI podpira tudi tračne enote ipd.). AoE uporabniku omogoča veliko svobode pri izbiri datotečnega sistema na diskih v omrežju SAN, tako da je primeren tudi za vse, ki se radi igrajo in iščejo nove rešitve v okviru uveljavljenih tehnologij.

Podoben protokol je tudi HyperSCSI. Ta, podobno kot AoE, prenaša podatke na ravni ethernetnih okvirov in naprave naslavlja z naslovi MAC, ne s številkami IP. Razlika je v tem, da namesto ukazov ATA prenaša ukaze SCSI, ki ponujajo precej večjo podporo različnim napravam. Protokol je zaenkrat na voljo le v razvojni obliki in se uporablja predvsem v raziskovalne namene, naprav in omrežij SAN, temelječih na HyperSCSI, pa ni na voljo.

Protokoli, ki se izognejo protokolu IP, so sicer omejeni z omejitvami etherneta (prenos podatkov prek usmerjevalnikov npr. ni mogoč, saj usmerjanje poteka na ravni protokola IP), vendar so bolj učinkoviti pri enaki zmogljivosti omrežja. Zanje ni potrebna namenska strojna oprema, tako da je postavitev omrežij SAN poceni. Protokol iSCSI je že pokazal, da so ljudje pripravljeni žrtvovati del zmogljivosti za prihranek pri postavitvi omrežja SAN. Naslednji korak bi torej moral omrežja SAN približati malim podjetjem in domačim uporabnikom. Protokoli, kot sta HyperSCSI in AoE, že kažejo, na kakšen način se je treba lotiti krčenja stroškov in katerih zmogljivosti manj zahtevni uporabniki ne potrebujejo.

Omrežja SAN

Omenili smo že, da bo v prihodnje čedalje manj diskov priključenih neposredno na računalnike, dostop do diskov bo namreč potekal prek omrežnega vmesnika. Načinov, kako disk prek omrežja priključiti na računalnik, je več, v grobem pa jih lahko razdelimo v dva sklopa. Pri prvem pridemo do podatkov na disku na ravni datotek - tako npr. delujejo naprave NAS in deljeni diski na drugih računalnikih v omrežju. Tehnologija SAN pa omogoča bolj osnoven dostop do podatkov, ki se lahko primerja z dostopom do podatkov pri krajevno priključenih diskih.

Pri tehnologiji SAN s to kratico pravzaprav ne opisujemo diskov oz. diskovnih polj, na katerih so podatki zapisani, temveč gre za omrežje, ki omogoča povezovanje med računalniki na eni strani ter diskovnimi krmilniki in krmilniki tračnih enot na drugi strani. Omrežje SAN omogoča, da računalnik do podatkov na diskih in magnetnih trakovih dostopa na ravni posameznega bloka podatkov na disku. Programska oprema v računalniku tako dostopa do diska, ki je z računalnikom sicer povezan prek omrežja, enako, kot če bi bil disk priklopljen krajevno na diskovni krmilnik v računalniku. Pri omrežnem dostopu do diskov (npr. pri diskih NAS) računalnik ne dostopa do posameznega bloka podatkov, temveč pošlje zahtevo za npr. celotno datoteko na disku, računalnik v napravi NAS pa zahtevo sprejme, poišče podatke in datoteko v celoti pošlje prek omrežja.

Omrežja SAN navadno ponujajo precej višje zmogljivosti od diskov NAS. Hitrost prenosa podatkov je višja, deloma zaradi samega načina dostopa, deloma zaradi uporabe hitrejših omrežnih povezav, ki jih srečujemo v okoljih SAN. Omrežja SAN omogočajo preprostejše vzdrževanje in nadgrajevanje diskovnega prostora v omrežju, obenem pa omogočajo vse prednosti, ki jih ponuja lokalni dostop do podatkov na disku. Za sodobne strežniške programe, ki morajo naenkrat zadovoljiti veliko število transakcij, kot so poštni ali podatkovni strežniki, je tehnologija NAS povsem neprimerna, diskovna polja, povezana z računalniki prek omrežja SAN, pa omogočajo preprosto nadgrajevanje zmogljivosti, varnostno shranjevanje podatkov in nadomeščanje posameznih kosov opreme (strežnikov ali diskov) v primeru okvare.

Omrežje SAN omogoča, da do podatkovnih naprav, priključenih v omrežje, dostopamo enako kot do krajevnih diskov.

Omrežje SAN lahko postavimo na več načinov. Najpogosteje za prenos podatkov skrbi omrežje Fibre Channel. V računalniku imamo vmesnik Fibre Channel, prav tako je prek takega vmesnika v omrežje priključen krmilnik, na katerega so priključene pomnilniške naprave. Vse naprave v omrežju so povezane prek stikal in usmerjevalnikov Fibre Channel. Načini povezovanja so sorodni tistim, ki jih najdemo v ethernetnih omrežjih (med dvema točkama, v obroč, v zvezdo prek omrežnih stikal FC). Za prenos podatkov prek omrežja FC skrbi Fibre Channel Protocol - interpretacija protokola SCSI v omrežju Fibre Channel. Uporabimo lahko tudi druge protokole (IP, ATM), vendar se je SCSI najbolj uveljavil, saj se Fibre Channel uporablja skoraj izključno za priključevanje podatkovnih virov v velikih omrežjih.

Omrežje Fibre Channel je draga rešitev, saj moramo vzpostaviti namensko omrežje SAN, ki skrbi samo za prenos podatkov med diski in računalniki. Tudi cena samih naprav in vmesnikov FC je zelo visoka. Glede na to, da pri postavljanju omrežij stremimo k več različnim storitvam v enotnem omrežju, je postavitev ločenega omrežja FC za SAN ob trenutnem ethernetnem omrežju, brez katerega si sodobnega računalništva ne moremo predstavljati, upravičen strošek samo, kadar hitrost prenosa podatkov prek etherneta ni dovolj visoka in zmore breme le omrežje, namenjeno dostopu do diskov. Resnici na ljubo, tako zmogljive rešitve, kot jo ponuja Fibre Channel, večinoma ne potrebujemo. Za postavitev omrežja SAN lahko izkoristimo kar trenutno omrežno infrastrukturo, računalniki pa z diski pri taki rešitvi komunicirajo kar prek klasičnega omrežnega vmesnika. Hitrosti prenosa 1 GB/s so v današnjih ethernetnih omrežjih povsem vsakdanje, medtem ko je zahtevnejšim že na voljo tudi desetkrat hitrejša različica. Za povezovanje uporabljamo bakrene povezave, ki so cenejše od optike (optični kabli se navadno uporabljajo pri povezavah FC). Manjkal je le protokol, ki bi ukaze SCSI prenašal prek omrežja IP.

OpenFiler

V letošnji oktobrski številki smo v članku o programskih strežnikih NAS omenili tudi operacijski sistem OpenFiler, ki temelji na Linuxu in podpira tako postavitev strežnika NAS kot tudi programsko podporo za napravo v omrežju SAN. Slednje doseže prav s polno podporo protokolu iSCSI, tudi s podporo navideznim napravam.

iSCSI

iSCSI je razmeroma nov omrežni protokol, saj so ga dokončno potrdili šele leta 2003, ko so bila omrežja Fibre Channel v rabi že deset let. Kljub temu se hitro uveljavlja, saj gre za precej cenejšo alternativo namenskim omrežjem FC in je tako omrežja SAN približal manj zahtevnim uporabnikom, ki niso mogli upravičiti stroška naložbe v omrežje SAN na podlagi Fibre Channela.

iSCSI v primerjavi s FC omogoča veliko cenejšo postavitev omrežja SAN, obenem pa se z njim izognemo nekaterim težavam z združljivostjo naprav FC različnih izdelovalcev, ki so pestile in nekoliko še pestijo tehnologijo Fibre Channel. Slabost omrežja na temelju iSCSI je ta, da je prenos podatkov počasnejši kot pri omrežjih FC, saj protokol IP ni tako učinkovit pri prenašanju ukazov SCSI kot Fibre Channel Protocol. Zmogljivejši omrežni vmesniki in čedalje višja hitrost ethernetnih omrežij bodo ta prepad med tehnologijama zmanjševali. Vsi pogosteje rabljeni (in kar nekaj bolj obskurnih) današnjih operacijskih sistemov že podpira protokol iSCSI.

Strojna oprema z neposredno podporo iSCSI je zaenkrat še redka, vendar pa je na voljo že kar precej programske opreme, ki omogoča, da naprave uporabimo v navezi s protokolom iSCSI. Rešitve so na voljo za bolj ali manj vse operacijske sisteme, med njimi pa najdemo tako izdelke, ki omogočajo, da diske ATA uporabimo kot naprave iSCSI v omrežju, kot tudi rešitve, ki naprave Fibre Channel prek omrežnega vmesnika z računalniki povezujejo po protokolu iSCSI.

Večina operacijskih sistemov že podpira končne točke iSCSI, z nekaterimi pa lahko računalnik predstavimo kot končno točko.

Nekateri izdelovalci omrežnih vmesnikov ponujajo namenske iSCSI omrežne vmesnike. Ti se lahko "pohvalijo" z izboljšano podporo protokolu iSCSI na strojni ravni. Taki omrežni vmesniki so v operacijskih sistemih navadno vidni kot krmilniki SCSI, dodaten pomnilnik ROM na kartici pa omogoča, da sistem zaženemo z diska iSCSI v omrežju, tako da krajevnega diska v računalniku ne potrebujemo. Zaenkrat še ni enotnega vmesnika, ki bi omogočal, da bi operacijski sistemi imeli enoten nadzor nad vmesniki iSCSI različnih izdelovalcev, tako da smo pri podpori in zmožnostih posameznega vmesnika omejeni na orodja, ki jih prilaga izdelovalec vmesnika.

Pri iSCSI nismo omejeni na dejanske fizične naprave. Zmogljivejši programski paketi znajo na podlagi veljavne strojne opreme v omrežju SAN simulirati kopico navideznih naprav. Tako se za knjižnico tračnih enot lahko v resnici skriva nekaj zmogljivih diskov ali pa je pet diskov, ki jih "vidimo" v omrežju, v resnici en sam disk, ki ga programska oprema prikazuje kot pet ločenih navideznih diskov.

Kam naprej

Omrežja SAN so zaenkrat še v domeni velikih podjetij, saj so stroški postavitve za domačega uporabnika in majhna podjetja zaenkrat še previsoki. V prihodnje pa lahko računamo na to, da se bodo cene znižale, tako da bodo omrežja SAN vstopila na trg, ki ga zaenkrat zasedajo poceni rešitve NAS. Izbira protokolov je trenutno še prevelika, da bi lahko napovedali, kateri izmed njih bo končni zmagovalec. Predvsem v spodnjem delu trga je še prostora za novince, sredino trga bo zasedel iSCSI, najzahtevnejši pa bodo še vedno prisegali na Fibre Channel.

Vseeno ne smemo pozabiti na krajevno priključene diske in pomnilniške naprave. Vmesnik SATA je v naših računalnikih že povsem domač, v prihodnje pa lahko računamo, da bo posegel tudi na področje spodnjega cenovnega in zmogljivostnega razreda SCSI. Vmesnik SAS bo nadomestil SCSI pri zahtevnejših uporabnikih, manj zahtevni pa bodo SAS in SATA kombinirali ter tako našli optimalno razmerje med zmogljivostjo, zanesljivostjo in ceno.

Prihodnost na področju pomnilniških sistemov bo torej pestra, zato so napovedi na tem področju še težje kot na nekaterih drugih področjih računalništva. Gotovo je le to: ne glede na zmogljivost diska, diskovnega polja ali omrežne naprave za shranjevanje podatkov in ne glede na prepustnost vodila ali omrežnega protokola bo pomnilniškega prostora vedno premalo, povezava z njim pa vedno prepočasna.

Naroči se na redna tedenska ali mesečna obvestila o novih prispevkih na naši spletni strani!

Komentirajo lahko le prijavljeni uporabniki

 
  • Polja označena z * je potrebno obvezno izpolniti
  • Pošlji