Vlastní cloud?

21. 10. 2012 00:26:10

Ahoj,

provozujeme několik náročnějších webů na celkem 8mi dedikovaných serverech u třech různých providerů. Pokud sečteme celkovou zátěž, tak i v peak timech se nedostaneme moc přes 50% -tzn. jeden server sice jede třeba na 90%, ale ostatní zase na 20%, atd... (mluvím zejména o CPU a paměti, občas pocítíme i bandwidth) Logicky se tedy nabízí otázka, jestli by to nešlo nějak optimalizovat.

Představuju si to cca následovně:

Dáme servery k jednomu providerovi
Propojíme je do cloudu tak, aby se tvářily jako jeden stroj
Na tom jednom stroji uděláme VPSka pro jednotlivé projekty
Pokud nebude dostačovat výkon VPSka, tak mu vylepšíme parametry
Pokud nebude dostačovat výkon celé soustavy, koupíme a zapojíme další server

Otázka na vás - je něco takovýho možný? Pokud ano, jaký SW se na to dá použít? Předpokládám, že nějakej VMWare? Bude to stabillní? Má cenu se do toho pouštět?

Předem díky moc za info. Pokud tomu někdo z vás rozumí a měl by zájem to následně za úplatu zrealizovat, tak se taky můžem domluvit...

21. 10. 2012 00:26:10

https://webtrh.cz/diskuse/vlastni-cloud#reply822073

Jiří Adámek

(20 hodnocení)

21. 10. 2012 03:02:16

Bohužel pleteš několik věcí dohromady. Podstata cloudu je naprosto jiná (zde je hlavní podstatou sdílení zdrojů serveru - tedy např. za určitých okolností lze jeden fyzický server, na kterém běží více virtuálů - VPS, považovat za cloud, nicméně původně je to myšleno spíše pro kompletní datacentra). Každopádně tvůj problém to neřeší, takže to necháme bokem.

To co máš namysli je tzv. load balancing, kdy několik serverů dokáže na venek vystupovat jako jeden. Ale podstata tohoto zapojení je opět jiná. Používá se tehdy, pokud je nutné a) rozložit zátěž na více serverů (například pokud by nějaký web nebylo technicky možné provozovat na jednom serveru) b) pokud je nutné zajistit vysokou dostupnost služeb - odolnost vůči výpadkům. Takže toto také není zřejmě to, co hledáš.

Pokud chceš nějákým způsobem optimalizovat náklady, pak je vhodné podle stávajícího popisu situace nechat ten vytížený web na samostatném stroji - bez virtualizace. Ty zbývající přesunout na další fyzický server, zde již klidně jako VPSka (ale ani to není nutné, pokud jsou weby tvoje a nevyžadují zásadně rozdílné konfigurace). Ale hodně záleží na stávajícím vytížení jednotlivých webů. Jestli tam v důsledku lze nalézt nějakou úsporu záleží rovněž na konkrétním porovnání.

Kdyžtak se na mě můžeš obrátit do zpráv, dělám v oboru, takže není problém to probrat důkladněji, popřípadě zařídit.

21. 10. 2012 03:02:16

https://webtrh.cz/diskuse/vlastni-cloud#reply822072

Václav Dušek

(77 hodnocení)

21. 10. 2012 07:24:19

Společné diskové pole a VMware licence by mohla pomoci zoptimalizovat rozložení zátěže na fyzických serverech.

Licencovaná verze má vlatnosti HA (vysoká dostupnot - při výpadky fyzického serveru jsou virtuální stroje automaticky startovány na zbylých) a především to, co tě zajímá je DRS (sdílení zdrojů - VMware umí optimalizovat rozložení virtuálů tak, aby nikde nebylo nic přetížené).

Je to na větší diskusi

21. 10. 2012 07:24:19

https://webtrh.cz/diskuse/vlastni-cloud#reply822071

Petr Zachrdla

(1 hodnocení)

21. 10. 2012 10:56:16

Zkus se inspirovat na stránkách Amazon Web Services http://media.amazonwebservices.com/architecturecenter/AWS_ac_ra_web_01.pdf

Je tam vzorový příklad jak takový balancovaný cluster udělat. Pokud jste do teď měli na serverech všechno all-in-one, tak by mohlo serverům výrazně ulevit jen oddělení statického obsahu od generovaného nebo vyžadujícího session nebo přítomnost db. Rovněž oddělení DB na jiný server může uvonit ruce webovým nebo aplikačním serverům (pokud děláte v PHP, tak webový a aplikační server je totéž). Je nutné analyzovat co je tím úzkým hrdlem. Pak třeba můžete zjistit, že vám bude stačit slabší webový, ale výkonný DB server, případně můžete přidávat replikované DB servery.

21. 10. 2012 10:56:16

https://webtrh.cz/diskuse/vlastni-cloud#reply822070

Jiří Adámek

(20 hodnocení)

21. 10. 2012 14:05:12

Doufam, ze jsem nepochopil dotaz spatne, ale predpokladam, ze tazateli jde hlavne o financni optimalizaci. A vsechny tyto reseni vyjdou docela draho. Takze je otazka, zda je opravdu potrebuje.

21. 10. 2012 14:05:12

https://webtrh.cz/diskuse/vlastni-cloud#reply822069

Petr Zachrdla

(1 hodnocení)

21. 10. 2012 14:22:45

mytrix: On má nějaké servery, které jsou různě zatížené a chtěl by vytvořit vlastní cloud nebo cluster, který bude práci mezi servery rozdělovat rovnoměrně. To přinese finanční i výkonovou úsporu a zvýší spolehlivost. Pokud už 8 serverů má, tak není nic jednoduššího, než analyzovat povahu jeho web aplikací a pak může slabší stroj dát jako firewall a load balancér (tam nejsou nějaké extra výpočty) a ostatní poslouží k redundantnímu rozdělení mezi fileserver, webserver a DB. File server bude stačit jeden. tam se nic negeneruje, jen to servíruje data. šupnul bych tam lighttpd nebo nginx. pokud je poměr mezi ukládanými a servírovanými daty kolem 1:100 nebo vyšší, nebál bych se tam dát SSD disky a měl by to navždy vyřešeno. na aplikační servery bych nechal ty servery, které mají velký výpočetní výkon a na db servery bych nechal ty co mají obrovské paměti, tak aby se tam daly vytvořit RAM disky. To, že by tam měly být disky s 10tis.ot./min. a více je jasné. To by nemuselo být tak nákladné. Co myslíš?

21. 10. 2012 14:22:45

https://webtrh.cz/diskuse/vlastni-cloud#reply822068

Václav Dušek

(77 hodnocení)

21. 10. 2012 14:25:58

1/ zjistit co a jak má

2/ zjistit, kde co má

3/ kolik ho to nyní stojí

4/ jaký je provoz/zátěž

5/ kolik si může dovolit investovat

a pak hledat řešení...

21. 10. 2012 14:25:58

https://webtrh.cz/diskuse/vlastni-cloud#reply822067

Jiří Adámek

(20 hodnocení)

21. 10. 2012 14:45:47

Neee, ja psal prispevek a u posledni vety jsem si ho zahrnul zpet.. na zabiti.. tak znova a strucneji.

-----------

Řešení, které navrhuješ určitě možné je a je i vhodné. Jen já dávám ohled i na to ekonomické hledisko. Nicméně je právě otázkou, jak to chce optimalizovat - což nevíme. Momentálně to provozuje na managed serverech, což při 8ks a průměrné ceně kolem 2500Kč bez DPH/server může dělat cca 20k/měsíc - velice hruby odhad. Druhá možnost je, že se rozhodne využít i vlastního hardwaru a tam může získat úsporu cca až 30-60% z měsíčního poplatku (záleží dost na energiích), na druhou stranu musí investovat peníze do nákupu HW a nese určité riziko problémů s hardwarem .. i když v dnešní době už je dost minimální.

Pokud by rovněž chtěl zajistit failover cluster, pak by v ideálním případě musel investovat do externího dikového pole, protože přeci jenom provádět sync mezi servery není úplně ideální řešení (ale je levné).

Plus samozřejmě musí počítat v obou případech náklady na správce, který mu to dá dohromady a rovněž pak bude udržovat. Takže já bych řekl, že pro nějaký rozumný závěr je tu málo informací. Dokonce ani nevíme, zda jsou ty weby tak vytížené jak píše, nebo to jsou prostě jen špatně napsané aplikace nebo špatně nastavené servery :)

21. 10. 2012 14:45:47

https://webtrh.cz/diskuse/vlastni-cloud#reply822066

Oliver Dlouhý

(10 hodnocení)

22. 10. 2012 09:29:10

Ahoj, díky moc za odpovědi, jen trochu upřesním o co mi jde:

Dle mého je zbytečné mít několik oddělených strojů, kde v určitých chvílích některé výkonnostně a kapacitně nedostačují a zároveň jinde jsou v tu chvíli rezervy. Dává mi větší smysl mít jeden nadupaný stroj (ať už nějak poskládaný ze současných strojů nebo komplet nové železo) a v rámci něj tu kapacitu sdílet. Tzn. nemít 8x 1Gbps, ale raději 8 Gbps linku, takže když někde vzroste traffic na 2 Gbps (což je např. u streaming serveru dost možný), tak to nebude problém, atd..

Většina těch současných serverů je pronajímaných, dohromady platíme cca 17K/měs. Není problém současný železo zrušit a nahradit jiným.

P.S. sorry za neodbornou terminologii, nejsem v tom úplně kovanej:-)

22. 10. 2012 09:29:10

https://webtrh.cz/diskuse/vlastni-cloud#reply822065

Jiří Adámek

(20 hodnocení)

22. 10. 2012 10:05:56

Ok, v pořádku :)

Jaká je konfigurace těch serverů a hlavně pak konfigurace toho vytíženého?

S tou linkou to není tak triviální, jak by se mohlo zdát. Věř mi, že linku 1x8GB respektive dává se 1x10GB si opravdu peněžně nevyplatí :) Veškerá data jsou v serverovnách ve výsledku stejně agregovaná, takže je jedno, zda máš 8x1GB nebo 8GB. Kdybys chtěl vyhrazenou linku 10Gbps, tak se opravdu nedoplatíš - a to teď neberu ani v úvahu zahraničí.

To co chceš se takto neřeší. I v případě vytížených streamů existuje několik samostatných serverů, které se jen na venek tváří jako jeden. Všeobecně se nevyplatí v podobných aplikacích cpát vše na jeden server a to hlavně i z důvodu případné hardwarové závady. Když máš farmu (více serverů), tak případná závada se projeví jen sníženým výkonem, když máš jen 1 server = služba mimo provoz.

Stream servery provozujeme pro jednu firmu, takže pokud máš zájem, se mi ozvi do zpráv, protože tady to asi stejně nedořešíme úplně.

22. 10. 2012 10:05:56

https://webtrh.cz/diskuse/vlastni-cloud#reply822064

petrq2

22. 10. 2012 10:21:22

Musim rict, ze by me to taky docela zajimalo, jak se to v praxi dela. Kdyz mam fileserver, webserver a DB server, tak jak se zajistuje, aby v pripade poruchy na jednom serveru nebyla sluba mimo provoz, ale bezelo to? Museji se pridat minimalne tri dalsi stroje nebo se to dela jinak? A jak to vzajemne komunikuje? Staci mi kdyztak odkaz, dik.

22. 10. 2012 10:21:22

https://webtrh.cz/diskuse/vlastni-cloud#reply822063

Jiří Adámek

(20 hodnocení)

22. 10. 2012 10:44:52

Záleží na dané aplikaci a a vytíženosti, ale ano, v zásadě se servery jednoduše "množí". Pokud se jedná vyložené o zálohu pro strýčka příhodu, pak je za určitých okolností možné záložní role agregovat na jeden server. Ale to je nutné velice dobře zvážit, zda by pak tento server vydržel dané zatížení.

Pokud nemáš externí diskové pole, kde by byla data uložena, pak se mezi němi provádí synchronizace.

Stačí hledat pod "failover cluster"

22. 10. 2012 10:44:52

https://webtrh.cz/diskuse/vlastni-cloud#reply822062

Gav

23. 10. 2012 10:06:15

Par bodu k zamysleni:

HA / DRS na urovni hypervizoru - VMware (pokud se vejdes do 3 stroju existuji vyhodne balicky); za urcitych okolnosti nepotrebujes Shared Storage (VMware VSA)

HA / DRS na urovni aplikace - aplikace :-) LoadBalancer(y) - HAproxy, nginx (ten ti resi dostupnost webu); nad tim pripadne jeste nejaky carp / vrrp a podobne jako single entry point pro loadbalancer. Databaze - replikace databaze (a nad tim opet nastroje resici otaceni smeru replikace atp). FileServer - GlusterFS kuprikladu, obycejny rsync atp.

Moznosti je mnoho - zalezi na sile vlastniho IT a financich. Obecne je "Cloud" pro tyhle aplikace nejvhodnejsi - poskytovatel vse resi za tebe (samozrejme, otazky SLA, NDA, ....). Cloud zaroven neni levny, ale na druhou stranu si spousta lidi, kteri nadavaji na cenu nedokazi spocitat TCO.

23. 10. 2012 10:06:15

https://webtrh.cz/diskuse/vlastni-cloud#reply822061

Jiří Adámek

(20 hodnocení)

23. 10. 2012 10:14:31

Promin, ale tvuj prispevek je spise hodinu se slovnikem :))

Dej precist to, cos napsal, lajkovi a pak nam sem napis, co se z toho dozvedel ;)

23. 10. 2012 10:14:31

https://webtrh.cz/diskuse/vlastni-cloud#reply822060

Václav Dušek

(77 hodnocení)

23. 10. 2012 10:17:40

Napsal mytrix;860433
Prosmin, ale tvuj prispevek je spise hodinu se slovnikem :))
Dej precist to cos napsal lajkovi a pak nam sem napis, co se z toho dozvedel ;)

Proto je potřeba nakupovat u odborníků a nemít pocit, že všechno zvládnu sám.

Plně souhlasím s Gav.

Je to krásné, když to funguje. Jen ty relativně vysoké počáteční náklady :-(

Každý si musí udělat kalkulaci návratnosti a analýzu rizik sám

23. 10. 2012 10:17:40

https://webtrh.cz/diskuse/vlastni-cloud#reply822059