GitLab.com si smazal produkční databázi

1. 2. 2017 13:37:19

GitLab.com si omylem smazal produkční databázi. Následně zjistili, že sice zálohují pěti způsoby, ale ani jeden nefunguje.

Repozitářů se to netýkalo, ale smazali issues a podobně. Od začátku o tom veřejně komunikuje a je to dost poučné čtení.

Nejprve vznikl tento dokument, který se průběžně aktualizovali, jak to snažili vyřešit: https://docs.google.com/document/d/1GCK53YDcBWQveod9kfzW-VCxIABGiryG7_z_6jHdVik/pub

Teď mají livestream na Youtube, jak se to snaží opravit - https://www.youtube.com/watch?v=nc0hPGerSd4

GitLab je kompletně remote firma (žádná kancelář), takže to právě musí takhle řešit přes videochat (https://about.gitlab.com/2015/04/08/the-remote-manifesto/)

1. 2. 2017 13:37:19

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi#reply1256501

FAKAM

(10 hodnocení)

1. 2. 2017 14:06:29

Od rána to sledujem, keď som chcel pushnut dáta a nedalo sa. Ten live stream zaujal.

1. 2. 2017 14:06:29

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi#reply1256500

Mirek

(61 hodnocení)

1. 2. 2017 14:13:48

To jsem nad gitlabem na základě této diskuse vážně uvažoval :-)

1. 2. 2017 14:13:48

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi#reply1256499

Petr Soukup

(5 hodnocení)

1. 2. 2017 14:15:03

Napsal Mirek Novotny;1359536
To jsem nad gitlabem na základě této diskuse vážně uvažoval :-)

Určitě bych je kvůli tomu nezavrhoval. Naopak je naprostá špička, že to řeší takhle veřejně.

My teda máme GitLab nainstalovaný na vlastním serveru a toho se pak takový problém samozřejmě netýká.

1. 2. 2017 14:15:03

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi#reply1256498

Petr Soukup

(5 hodnocení)

1. 2. 2017 14:15:54

Ucelený článek s grafíky:

GitLab.com Database Incident | GitLab

1. 2. 2017 14:15:54

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi#reply1256497

Oleg

(53 hodnocení)

1. 2. 2017 14:36:44

Nejlepsi je ten Chat u toho, na YT :) To je to hlavni pobaveni :)

1. 2. 2017 14:36:44

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi#reply1256496

pest

(10 hodnocení)

1. 2. 2017 15:08:29

Jj, zlatej Atlassian :D

1. 2. 2017 15:08:29

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi#reply1256495

Petr Soukup

(5 hodnocení)

1. 2. 2017 15:12:13

Napsal pest;1359560
Jj, zlatej Atlassian :D

Jo, ten byl nedávno offline den a půl :))

1. 2. 2017 15:12:13

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi#reply1256494

Webtrh obecný účet

(1 hodnocení)

1. 2. 2017 15:17:43

5 způsobů zálohování a nefunguje ani jeden. Kvalitně odvedená práce.

1. 2. 2017 15:17:43

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi#reply1256493

Petr Soukup

(5 hodnocení)

1. 2. 2017 15:22:34

Napsal ItSnowsInHellAgain;1359571
5 způsobů zálohování a nefunguje ani jeden. Kvalitně odvedená práce.

No... ona to není zase taková rarita. Když se řeší zálohy TB dat, tak už se musí dělat různé triky a nejde udělat prostě snapshot. Pak se všechno možné updatuje a po třech letech se zjistí, že to zálohování vlastně už nefunguje.

Je to otázka nastavení nějaké procesu, aby se třeba jednou za měsíc prověřilo, jestli to vůbec ještě pořád funguje. Na 100% se to ale stejně prověří až při podobném problému.

Typicky navíc ale vždycky hoří 10 dalších věcí a kontrola obnovy záloha je ten typ úkolu, co snese odklad na "příští týden".

1. 2. 2017 15:22:34

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi#reply1256492

pest

(10 hodnocení)

1. 2. 2017 15:24:53

Napsal Souki;1359564
Jo, ten byl nedávno offline den a půl :))

Bitbucket? Dělám na tom každej den a nevšiml jsem si, kdy to bylo?

1. 2. 2017 15:24:53

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi#reply1256491

Petr Soukup

(5 hodnocení)

1. 2. 2017 15:29:55

Napsal pest;1359573
Bitbucket? Dělám na tom každej den a nevšiml jsem si, kdy to bylo?

Asi dva měsíce zpátky - nefungovalo jim SSH. Sám jsem se na tom právě nachytal, protože jsem měl u jednoho menšího projektu auto-deploy přímo z bitbucketu.

1. 2. 2017 15:29:55

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi#reply1256490

Tuttinho

(53 hodnocení)

1. 2. 2017 15:49:53

škoda že tomu moc nerozumím, tak se nemůžu ani zasmát

1. 2. 2017 15:49:53

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi#reply1256489

Webtrh obecný účet

(1 hodnocení)

1. 2. 2017 16:05:47

Pokud je to důležitý projekt nebo mě platí za správu, tak dělám zálohy nezávislé na hostingu. Jednou za čas zkontroluji, zda zálohování funguje a hotovo.

Dodnes jsem neměl problém vytáhnout zálohu na požádání bez kontaktování hostingu.

Jenže znovu, je to o ceně, když se nešetří.

1. 2. 2017 16:05:47

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi#reply1256488

Petr Soukup

(5 hodnocení)

1. 2. 2017 16:20:01

Napsal ItSnowsInHellAgain;1359579
Jenže znovu, je to o ceně, když se nešetří.

Právě. Tohle je opensource s free službou bez SLA. Poslední měsíce tam řeší, že jim pod obrovským růstem objemu dat kolabují disková pole (respektive mají dlouhou odezvu). Takže takovéhle rutinní úkony asi neměly úplně prioritu. dá se očekávat, že teď to naopak vyřeší detailně.

Je to zkrátka obrovský fail, ale úplně chápu, jak snadno to mohlo vzniknout. Je teď ale super, jak otevřeně to řeší a je to skvělá inspirace pro ostatní.

1. 2. 2017 16:20:01

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi#reply1256487