Iata solutia de stocare la care am ajuns:
Solutia consta dintr-o serie de blocuri conectate inte ele. Astfel:
- Un block consta din :
- Switch Gigabit (1U )
- Enclosure AOE ( 15 HDD SATA 1TB each ) (3U)
- Controler (1U)
- 1 Rack de 48U care va fi format din 5 blockuri + UPS
Costuri hardware:
6 * Switch Gbic 24 porturi (480$) = 2880$
5 * Enclosure AOE (4000$) = 20000$
5 * Controller (1000$) = 5000$
75 * Harddisk SATA 1 Tb (400$) = 30000$
TOTAL 57880$
Solutie Software:
Fiecare controller are in grija cite un enclosure AOE. Fiecare enclosure va avea hardurile in raid 5. Astfel pe fiecare enclosure se obtine o capacitate de 14 TB de date. Se poate organiza setul de blocuri in raid 0 (stripping) se obtine o capacitate totala de 70Tb . Insa orice failure de controller duce la compromiterea intregului sistem. ( Exista single point of failure). Fiecare controler isi exporta sistemul de fisiere folosind vlbade iar “controlerul de controlere” realizeaza raidul 5 la nivel de blocuri.
Pentru redundanta completa se organizeaza blocurile in Raid 5 capacitate (56 Tb)
Asta inseamna un cost de 1000$ / Tb redundant. Comentarii ?
Later edit:
Si pentru ca azi am incercat pentru prima data sa vad cum arata Code::blocks ( si am avut probleme la compilare ) am scris un patch pentru ei. Mai multe detalii aici: http://forums.codeblocks.org/index.php/topic,5400.0.html
adauga si pretu’ UPS-ului si vine chiar 1$ / GB. uiti insa, asa cum faceam si eu pe vremuri, lucrul cel mai important: install + deployment. un storage redundant de cca 60TB costa de cel putin 4 ori mai mult, iar pretul asta nu vine din costul componentelor (care pot fi obtinute chiar mai ieftin atunci cand cumperi en-gross) ci din valoarea muncii depuse pentru crearea acelei solutii. poate tu te multumesti cu putin, insa pretul tau ar trebui sa fie cel putin de 2$/GB pentru a merita sa-ti bati capul cu o asemenea solutie – oricum 120k$/full redundant 60TB storage e pret de dumping, iar mai jos de-atat nu e economic sa cobori.
ps: din cate am vazut pe aici, daca vii cu asemenea preturi inseamna ca nu oferi o solutie profesionala si nimeni nu te baga in seama. in general cand vii cu o asemenea solutie e bine sa fii cu 10-15% mai jos decat competitorii, dar daca pretu’ tau e cu >25% mai mic, ceva nu e in regula si in general oferta ta pica!
uh, ai uitat sa pretuiesti si al 6-lea controller (controlleru’ de controllere – care da si bootp pentru celelalte) inca 1000$, da’ sa zicem ca merge cu ups-u in cei ~3000 ramasi (hmmm). apropos: controlleru’ asta e un SPF 😛
Ah . Da. Se modifica pretul total cu …. hai sa zicem 4k $ . Un ups adevarat si 1 controler. Multzam Rain. Deci pret total 61k $.
N-ar fi mai bine SAS in loc de AOE?
gheorghe: Nu am incercat decit cu AOE . A mers din prima si nu am incercat alte solutii. Poti sa postezi un exemplu cum vezi tu ca se face ?
E interesanta solutia. Exista o problema legata de conversia la eth. TCP/IP nu e un protocol prea bun pentru stocare. A fost gandit pentru comunicatii. O solutia pe SAS cu expandere asigura o banda mult mai mare. Legat de costuri – o solutie bazata pe SAS to SATA cu 48 HDD 500GB ajunge la aprox. 17.500$, adica aprox. 730$/TB. NAS/iSCSI ready! 🙂
Scuze de intarziere 🙂
Eu n-am incercat deloc, doar ma gandeam 🙂 SAS vad ca au bagat pe mai toate serverele noi, dar nu prea am vazut fanout expandere in vanzare, deci cred ca sunt dabia la inceput.
SAS teoretic ar trebui sa aiba performanta mai mare in primul rand pentru ca are overhead si mai mic decat AOE pentru ca foloseste protocolul direct protocolul SCSI, pe cand la AOE framurile ethernet manca ceva banda din ala 1 gigabit. Viteza canalelor este si ea mult mai mare 3 gigabiti pe canal (si se vorbeste de 10 gigabiti in viitor), iar canalele pot fi trunk-uite, facute configuratii failover, etc.
In plus, controlerul SAS poate sa faca queuing pentru toate hdd-urile pe cand la AOE nu se foloseste deloc de NCQ din cate stiu.
Practic face cam acelasi lucru ca si AOE, dar cu o performanta mai buna si fiind in sine mai bine proiectat. SAS o sa fie noul industry standard in stocare oricum.
Iar in loc de 2 nivele de raid 5, n-ar merge mai bine un raid 6 urias? Banuiesc ca performanta la scriere e cam naspa la 2 raid 5, si rezistenta raid 6 la 2 hdd-uri picate nu e chiar asa de rea. Cat de ghinionist sa fii sa-ti pice 3 hdd-uri unu dupa altu 🙂
Petrica: Cu AOE framingul e la nivel ethernet. Nu ajunge la TCP/IP.
se inmulteste pretul tau cu 3 ( ca sa ajungi la 70G raw ) … asta face … 52500$ ? .
Nu zic ca SAS nu o sa fie noul industry standard. E posibil sa fie , e posibil sa nu fie. Asa s-a zis cu si cu RIMM-urile …
Oricum ar fi e de retinut si solutia cu SAS.
Hello! Desi e total offtopic, pur si simplu nu am gasit pe net o discutie cat de cat apropiata de ce as avea eu nevoie. Am acasa o colectie de filme insumand putin peste 5TB. Deoarece dvd-urile (cu filme in format divx) au inceput cam inceput sa se strice, am nevoie de o solutie “ad-hoc”. Ma gandeam ca o placa de baza obisnuita are cam 6 SATA, cu hdd de 1 TB => as putea ajunge la o solutie “home-use” viabila. Varianta a 2-a, am un router pe care rulez un server DHCP, la care ma gandeam sa atasez un switch si sa pun hdd-uri WD MyBook cu interfata ethernet (asa nu ar mai fi nici o limitare din punct de vedere dimensiuni, right?). Am auzit insa ca sunt foarte lente (pretul unui hdd 1TB intern e cam la fel cu unul extern cu ethernet). REALIZEZ ca aici se discuta de solutii bussiness… insa pentru ceva foarte ieftin (“legat cu sarma”), imi poate da cineva vreun sfat? Downsides pentru 6-8TB pe o placa de baza obisnuita? PLS!! Multumesc anticipat!
WD Mybook au linux pe ele. Exista pe net site-uri care dau instructiuni de tweaking pentru ele. La feeling insa o sa mearga prost in conditiile in care transferi de pe un WD pe alt WD.
Downside pentru x harduri per motheroard este ca atunci cind iti pica motherboardul iti trebuie un motherboard similar daca pui hardurile in raid 5 sau alt model de raid care iti place. Nu iti recomand sa nu folosesti raid pentru ca daca iti pica un hard … Adio fisierele de pe el.
Hey. Ms, am gasit intre timp si forumul respectiv dedicat hacking WD MyBook, m-am cam lamurit (si am lasat-o balta -> 5GB transferati in 30 min inacceptabil, in conditiile in care vb de un spatiu de 1TB => 600 ore to fill it up?! Geesh! Si mai indraznesc sa faca si publicitate ca suporta Gigabit Ethernet…) Anyway, nici nu ma gandeam sa nu sacrific un hard din 5 pentru raid pentru ca tin foarte mult la colectia respectiva. Ma gandeam sa il incropesc din fostul meu desktop, adaugand asa ceva: http://www.tomshardware.com/reviews/cheap-reliable-raid-5-storage-compared,832-8.html ; Dar, din cate am inteles un procesor pe 32biti nu poate accesa decat maxim 2TB? Este corect?! Deci voi avea nevoie neaparat de unul pe 64? Probleme de mapare a spatiului de adrese, smthn like that? Vreau pur si simplu un NAS de MAX 10TB, usor de configurat si reliable in timp. Orice alte sfaturi/pareri sunt binevenite! Sorry again pentru offtopic si multumesc anticipat pentru ajutor! 🙂
O nu … Am avut LSI-uri si am avut experiente tare neplacute cu ele.
Iti recomand sa citesti asta: http://lwn.net/Articles/187321/
NAS de max 10TB -> o masina pe 64 de biti cu un 64 bits distro (tfm64 daca ma intrebi pe mine) si export via nfs sau samba via gigabit. Eu asa as face.
Comments are closed.