Zkušenosti s RAID 10?

27. 12. 2018 10:15:34

Napsal vdusek;1503252
Klasicky pripad, jak se NEMA delat
Resi se blbosti - RAID - a neresi se koncepce a priciny pomalosti s tim, ze se doufa, ze vetsi kladivo ten sroub zatluce

Vy asi nečtěte že...

27. 12. 2018 10:15:34

https://webtrh.cz/diskuse/zkusenosti-s-raid-10/strana/3#reply1380636

Václav Dušek

(77 hodnocení)

27. 12. 2018 10:26:09

Prave ze ctu ale vy nechcete slyset...

V cem je ten web pomaly? PHP scripty? Pocet navstev? Objem dat? Disky?

Bezne se dela DB backend (v clusteru na vice strojich, kdyz uz) a WWW frontendy pres nejake HAproxy apod. - ale to zalezi hlavne na tom, o cem ten web je a kde jsou jeho uzka mista. Jaka jsou Vase uzka mista? Tusite to vubec?

R10 muze byt rychlejsi nez R5, ale muze to byt i obracene - zkousel jste si udelat vykonove testy pro Vas pripad?

27. 12. 2018 10:26:09

https://webtrh.cz/diskuse/zkusenosti-s-raid-10/strana/3#reply1380635

Hagen

(21 hodnocení)

27. 12. 2018 10:39:16

Napsal vdusek;1503254
Prave ze ctu ale vy nechcete slyset...
V cem je ten web pomaly? PHP scripty? Pocet navstev? Objem dat? Disky?
Bezne se dela DB backend (v clusteru na vice strojich, kdyz uz) a WWW frontendy pres nejake HAproxy apod. - ale to zalezi hlavne na tom, o cem ten web je a kde jsou jeho uzka mista. Jaka jsou Vase uzka mista? Tusite to vubec?
R10 muze byt rychlejsi nez R5, ale muze to byt i obracene - zkousel jste si udelat vykonove testy pro Vas pripad?

Tak znovu:

Dotaz zněl? RAID nic víc a proč to neřeším jinak jsme se dostali diskuzí.

Jeden stroj ten silný běží a nevyužívá databází - minimálně vesměs ani ji nepotřebuje k chodu scriptu. Proč je ten stroj tak extrémně silný? Protože vím že jeho výkon CPU potřebuji a ram ne disky ty minimálně. Nevím proč do toho pořád motáte sql dotazy.

Druhý stroj na který jsem se já ptal byl RAID. 10 ten shop ani neběží momentálně jen řeším já osobně jak nechat stroj vyhladit po HW - jak to udělat nejlépe. Samozřejmě že sql bude vyladěné i programátor se mě ptal proč vlastní stroj a ne webhosting. Já vím proč :)

Už se chápeme?

27. 12. 2018 10:39:16

https://webtrh.cz/diskuse/zkusenosti-s-raid-10/strana/3#reply1380634

Václav Dušek

(77 hodnocení)

27. 12. 2018 10:53:40

Chapu, hodne stesti pri zbytecne praci...

BTW - pokud uz mas HW - to je takovy problem provest si sam u sebe vykonostni testy? R5 na R10 je snad snadne prekonfigurovat. Nebo ne?

27. 12. 2018 10:53:40

https://webtrh.cz/diskuse/zkusenosti-s-raid-10/strana/3#reply1380633

Hagen

(21 hodnocení)

27. 12. 2018 11:03:24

Napsal vdusek;1503260
Chapu, hodne stesti pri zbytecne praci...

BTW - pokud uz mas HW - to je takovy problem provest si sam u sebe vykonostni testy? R5 na R10 je snad snadne prekonfigurovat. Nebo ne?

Chtěl jsem slyšet zkušenosti z praxe - testy uděláme. Díky hezký den přeji

27. 12. 2018 11:03:24

https://webtrh.cz/diskuse/zkusenosti-s-raid-10/strana/3#reply1380632

Michal Pěňkava

27. 12. 2018 20:55:29

Napsal vdusek;1503260
Chapu, hodne stesti pri zbytecne praci...
BTW - pokud uz mas HW - to je takovy problem provest si sam u sebe vykonostni testy? R5 na R10 je snad snadne prekonfigurovat. Nebo ne?

To je "házení perel sviním"... My 3 co tu píšeme že je to blbost, tak děláme v oboru, čtu tu příspěvky od lidí, tak to vím. My to víme, on si myslí, že je chytřejší, tak pokud mu třeba přijde, že mu to zpomaluje OS a že Windows 98 jsou rychlejší, proč mu v tom bránit? :)

27. 12. 2018 20:55:29

https://webtrh.cz/diskuse/zkusenosti-s-raid-10/strana/3#reply1380631

Hagen

(21 hodnocení)

28. 12. 2018 09:08:25

Napsal bart28;1503356
To je "házení perel sviním"... My 3 co tu píšeme že je to blbost, tak děláme v oboru, čtu tu příspěvky od lidí, tak to vím. My to víme, on si myslí, že je chytřejší, tak pokud mu třeba přijde, že mu to zpomaluje OS a že Windows 98 jsou rychlejší, proč mu v tom bránit? :)

Najděte mi nebo mi řeknete levnější řešení na konverzi 2000 hodin videa denně. Až to vše propočítáte tak zjistíte to co já, že levněji to neuděláte. Ale chápu nedělám to standartně...

28. 12. 2018 09:08:25

https://webtrh.cz/diskuse/zkusenosti-s-raid-10/strana/3#reply1380630

Václav Dušek

(77 hodnocení)

28. 12. 2018 09:24:26

A je uzke misto kde?

Rychlost disku x rychlost sbernice x vykon CPU x RAM x SW reseni konverze?

Pokud neurcis, kde to "zdrzuje" tak veskere prace na R5 x R10 je zbytecna....

Osobne bych preferoval distribuovane storage a vice nezavislych nodu na konverzi a download/upload - ale nic blizsiho nevim....

28. 12. 2018 09:24:26

https://webtrh.cz/diskuse/zkusenosti-s-raid-10/strana/3#reply1380629

Mirek

(61 hodnocení)

28. 12. 2018 09:25:47

Napsal Hagen;1503385
Najděte mi nebo mi řeknete levnější řešení na konverzi 2000 hodin videa denně. Až to vše propočítáte tak zjistíte to co já, že levněji to neuděláte. Ale chápu nedělám to standartně...

No jestli ti jde o výkon hlavně kvuli konverzi, tak bych to hnal přes Amazon (pouze to počítání). Já před xy lety video server měl, též se mi po uploudu spouštělo konvertování do jiného formátu a bylo to čím dál tím lepší peklo. Co bych za dnešní možnosti tehdy dal. Video můžeš sám protáhnout přes Amazon a tam nechat překonvertovat, nebo jít třeba do video CDN. Např. Vimeo nabízí privatní Video CDN službu kdy nikdo jiný než ty ty videa nevidí, můžeš používat jejich API, prostě spousty šikovných nástrojů dnes je. Samozřejmě pokud ten výkon který kalkuluješ hlavně server tak to prostě na tolik vyjde. Nicméně nějak mi ted unikla souvislost s tím eshopem.

28. 12. 2018 09:25:47

https://webtrh.cz/diskuse/zkusenosti-s-raid-10/strana/3#reply1380628

TomasX

(4 hodnocení)

28. 12. 2018 09:25:53

o konverzi videa se zmiňuješ poprvé. Z webových kamer používáme na jednom projektu stovky arm cpu s mali gpu, investice asi 500t a umí to dělat konverzi realtime z několika tisíc kamer.

Na přípravu videa pro web (zejména reklamní sítě) na projektech často máme https://aws.amazon.com/elastictranscoder/ (či obdobnou službu), tvoje videa vyjdou i s přenosem z/do s3 kolem 2 000 kč denně. Může se to zdát hodně proti HW, ale u HW musíš platit také chlazení, housing, spotřebu energie, máš tam admina, opravy a údržbu, SW na encokování (bývá placený) a problémy s formáty. Pokud již vše máš, fixní náklady rozložíš efektivně (řada mých klientů má vlastní DC, takže pořizovat HW vychází opravdu cenově dobře), pokud ale tohle musíš zajišťovat kvůli tomuhle projektu či najmou člověka navíc, jazýček cenových vah se pohne na druhou stranu. Neznáme tvoje zázemí, takže cenu si musíš porovnat jen ty sám.

bart28: slušně prosím, sice Hagen má jiný názor/postoj, to ale neznamená, že se musíme uchýlit k osobním útokům

28. 12. 2018 09:25:53

https://webtrh.cz/diskuse/zkusenosti-s-raid-10/strana/3#reply1380627

Hagen

(21 hodnocení)

28. 12. 2018 09:57:16

Napsal Mirek Novotny;1503388
No jestli ti jde o výkon hlavně kvuli konverzi, tak bych to hnal přes Amazon (pouze to počítání). Já před xy lety video server měl, též se mi po uploudu spouštělo konvertování do jiného formátu a bylo to čím dál tím lepší peklo. Co bych za dnešní možnosti tehdy dal. Video můžeš sám protáhnout přes Amazon a tam nechat překonvertovat, nebo jít třeba do video CDN. Např. Vimeo nabízí privatní Video CDN službu kdy nikdo jiný než ty ty videa nevidí, můžeš používat jejich API, prostě spousty šikovných nástrojů dnes je. Samozřejmě pokud ten výkon který kalkuluješ hlavně server tak to prostě na tolik vyjde. Nicméně nějak mi ted unikla souvislost s tím eshopem.

Napsal TomášX;1503389
o konverzi videa se zmiňuješ poprvé. Z webových kamer používáme na jednom projektu stovky arm cpu s mali gpu, investice asi 500t a umí to dělat konverzi realtime z několika tisíc kamer.
Na přípravu videa pro web (zejména reklamní sítě) na projektech často máme https://aws.amazon.com/elastictranscoder/ (či obdobnou službu), tvoje videa vyjdou i s přenosem z/do s3 kolem 2 000 kč denně. Může se to zdát hodně proti HW, ale u HW musíš platit také chlazení, housing, spotřebu energie, máš tam admina, opravy a údržbu, SW na encokování (bývá placený) a problémy s formáty. Pokud již vše máš, fixní náklady rozložíš efektivně (řada mých klientů má vlastní DC, takže pořizovat HW vychází opravdu cenově dobře), pokud ale tohle musíš zajišťovat kvůli tomuhle projektu či najmou člověka navíc, jazýček cenových vah se pohne na druhou stranu. Neznáme tvoje zázemí, takže cenu si musíš porovnat jen ty sám.
bart28: slušně prosím, sice Hagen má jiný názor/postoj, to ale neznamená, že se musíme uchýlit k osobním útokům

Musel jsem urychleně vyřešit růst a proto jsem zvolil toto řešení - ano aws a jedna podobná služba byla v řešení, ale jak si mi to přišlo nákladné.

K e-shopu díky tomuto serveru na konverzi mám místo racku pro další stroje a je prázdné. Proto ho chci vyplnit dalším serverem kde bude běžet pouze shop a asi nějaký web nic extrémního na výkon. Proto jsem se ptal na R10.

Ohledně konvertu kolem dubna nastane situace kam se posunout dál. Konkurenti mají dedik, aws a i celé vlastní řešení IT. To vznikne doba kam to posunout dále a jakým směrem.

28. 12. 2018 09:57:16

https://webtrh.cz/diskuse/zkusenosti-s-raid-10/strana/3#reply1380626

Michal Pěňkava

28. 12. 2018 19:55:55

Nikdo tu nezná přesné použití, ale podle toho co říkáte, tohle není typický e-shop, ale nějaká stránka s videi. Jako na enkódování videa dává smysl využít vlastní stroje (píšu stroje, ne stroj), ale celou aplikaci je potřeba koncipovat trošku decentralizovaně. To je zpracování videa řešit třeba přes RabbitMQ nebo jinou message queue a jako workery si klidně přidat vlastní stroje, když lehnou, tak nastartovat virtuálky v Amazonu. Web a databázi provozovat třeba v AWS. Stejně tak pokud možno nekupovat jeden stroj, ale koupit jich více, výkon bude lepší, na enkódování videa bych se nebál klidně do sklepa narvat nějaká nadupaná pécéčka, kdybych aplikaci nadesignoval tak, že v případě jejich nedostupnosti nastartují virtuálky v AWS, náklady by to sundalo dost, celkově by to bylo také o hodně stabilnější.

Optimalizovat se dá různými způsoby, rozhodně bych to ale více koncipoval jako cluster s kombinovaným privater/public cloudem, než jako jednu mašinu.

28. 12. 2018 19:55:55

https://webtrh.cz/diskuse/zkusenosti-s-raid-10/strana/3#reply1380625