Datacentrum Master DC Praha DOWN

Pochlubte se koho také postihl dnešní výpadek Master DC od 9 hodin? Souvisí to s "Prahu postihl masivní výpadek dodávek elektřiny, zastavil metro C i tramvaje"? PS: evidentně to postihlo všechny weby  Internet Info, s.r.o. (lupa.cz, root.cz atd..)

Nejede i ČT 24 etc, je toho spousta.  Naštěstí servery mám jinde, ale je fakt že jsem jednu dobu uvažoval a i se konkrétně bavil s obchodákem z Masteru, že bych dal i něco k nim. Tak snad to brzo nějak vyřeší a všichni budou zas ON. bwt, zajímalo by mě jak dlouho dokáží udržet na živu velké UPS celé serverovny.

Napsal Mirek Novotny;1646015

Nejede i ČT 24 etc, je toho spousta.  Naštěstí servery mám jinde, ale je fakt že jsem jednu dobu uvažoval a i se konkrétně bavil s obchodákem z Masteru, že bych dal i něco k nim. Tak snad to brzo nějak vyřeší a všichni budou zas ON.

bwt, zajímalo by mě jak dlouho dokáží udržet na živu velké UPS celé serverovny.

VSHosting : "... datacentrum vydrží bez dodávek elektrické energie až dva týdny."

Napsal skorozacatecnik;1646016

VSHosting : "... datacentrum vydrží bez dodávek elektrické energie až dva týdny."

Tohle bych to jeste doplnil - kvalitne postaveny datacentum ma k dispozici jednu velkou UPS slozenou z mnoha baterii, ktery dokazou udrzet cely datacentrum par minut bezet. Nicmene tehle par minut je zivotne dulezitych, protoze krome toho tam maji velke dieselagregaty, ktery pote napajeji cele datacentum, teoretickty neomezene dlouho, dokud budou zasoby nafty. Bohuzel ty agregaty ale nejakou dobu startuji ( vetsinou do minuty, max par minut ) a na preklenuti tohohle casu je tam presne ta velka bateriova UPS. Konkretne VShosting o tom ma docela hezky napsanej podrobnej clanek: ► Jak funguje UPS a jak se vyhnout výpadku elektrické energie ◄ vshosting~ ~…

Tohle je takový evergreen :), vypadla jim jedna ze dvou napájecích větví, přepnulo se to na druhou poměrně normálně a ti co používali pro napájení obě větve jeli dál. Po nějaké době to vypadá, že začalo kolísat napětí i na druhé větvi, UPS to chvilku drželo, ale pak to šlo dolu. Tím jak spadla celá rozvodna, tak byly záložní trasy velice rychle přetížené. Přepnutí na první sadu agretárorů na první větvy se nepovedlo, automaticky vůbec nenaběhly (slova techniků).Je těžké udržet plnou redundanci, když nemám dvě shodné budovy ale musím to mastit v jedné složitým přepínáním. Není to první ani poslední případ, kdy proklamovaná technická odolnost se při výpadku ukáže lichá.Pokud někdo chce vysoce dostupný web, musí se dneska rozdvojit na více poskytovatelů a umět s drobným výpadkem přepnout.

No nevím, na jejich stránce https://status.master.cz/history byl první záznam o selhání UPS a až pak tam je hlášení o závadě na přívodu VN. Teď už to ale koukám nějak promazali... Přijde mi, že ani ty UPS to nepodržely a odporoučely se taky rovnou při tom výpadku napájení. Neměly by se takové události průběžně simulovat a tím testovat, že všechno funguje jak má?

ty UPS vydrží v provozu jednotky minut, ty se odporoučí rychle, je samozřejmě možné, že jim některé UPS moduly selhaly a proto to tam takhle píšou, tyhle informace nemám, ale možné to je.Ano, tohle vše by se mělo pravidelně simulovat, někde to dělají po půl roce, někde po roce, někdy čtvrtletně.Důležitá je i správná strategie simulování, jedna banka to dělá třeba tak, že technik dostane seznam kabelů/pojistek, které má jít vytáhnout a je na provozu, aby problém detekovali a vyřešily bez výpadků, dopředu to neví.Jiné datacentrum zase dělá jednou ročně plánované failover testy, spočívá to v několikaměsíční přípravaně na přepnutí, dopředu se vše naplánuje na víkend, všichni mají povinně směnu a poté postupně ukončí aplikace a přepnout do druhého DC. Jo, formálně dělají testy, ale prakticky výpadek je trochu méně plánovaný a služby se ukončují tak nějak fatálně a ne řádným způsobem, však víme, co takový šok udělá s databázemi a diskovými poli.Tady Master očividně něco zanedbal, ať už se projevily nedostatečné testy jeho zařízení nebo nepočítal s tak obrovským lokálním výpadkem, že nedostanou ni v druhé větvi záložní proud. Start agregátorů není vůbec snadná věc a dělá to problémy kdekomu. Když už se nastartují, řeším takové drobnosti, jako jak rychle objednat cistérny na doplnění nebo třeba i jak napájet síťové rozvodny, často výpadek energie (zejména tenhle) může způsobit síťové odříznutí DC a technici poté nemají věci pevně v rukou a musí jet na místo, což je někdy podstatné zdržení.

hm, zajímavá debata. Díky za ní... bwt, jak CT tak iinfo weby nejedou, nevím zda jsou hostování tam, ale výpadek je už to docela masivní.  Zrovna u CT se dívím, že nemá nějaké záložní řešení na způsob bank, jak popisoval TomášX.

Mě už to najelo před polednem... to budou mít asi nějaký problém s konzistencí dat a/nebo jim něco odešlo do křemíkového nebe. ---------- Příspěvek doplněn 02.06.2022 v 15:17 ---------- Průběh výpadku doplněný o moje poznámky - převzato z https://www.facebook.com/MasterDC: 8:59 Umřel mi server. 9:08 V datacentru MasterDC Praha evidujeme výpadek jedné z napájecích větví. 10:13 1. výpadek souvisí s masivním výpadkem elektřiny v centru Prahy, 2. zasažena je hlavně větev A, na které nás zradil motorgenerátor při startu, 3. všichni naši technici pracují na nápravě. 10:23 Naběhl mi server. 10:43 Od času 10:23 služby na větvi A postupně nabíhají, technickému týmu se podařilo situaci vyřešit. Větev B byla v provozu po celou dobu, tam nás motorgenerátor podržel. 10:46

Server opět umřel. 11:10 Server mi naběhl a od té doby už běží bez výpadku. Při zprovozňování napájecí větve A nastaly komplikace. Aktuálně evidujeme výpadek v celém pražském datacentru (dle komentářů lidí umřela větev A i B). 12:04 Služby postupně nabíhají, networking je obnoven. Prosíme o trpělivost. 13:04 V celém pražském datacentru je obnoveno: 1. elektřina na obou větvích, 2. konektivita (až na výjimky, řešíme individuálně), 3. 100 % cloudové platformy. Nyní už řešíme konkrétní opravy na úrovni dat způsobené v kontextu tohoto incidentu. testy motorgenerátorů probíhají pravidelně, při posledním testu bylo vše v pořádku. Motorgenerátor na větvi B korektně nastartoval a napájení na této větvi tedy zasaženo nebylo. dle komentářů lidí jim B taky umřelo, nechápu tu větu