GitLab.com si smazal produkční databázi

1. 2. 2017 18:07:01

To chápu, jenže tvrdit, že provádí 5 typů zalohování a následně příznat, že nefunguje ani jeden, je snad horší než říct, že zalohy nejsou vůbec.

U free služby by se to dalo pochopit.

1. 2. 2017 18:07:01

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi/strana/2#reply1256486

Petr Soukup

(5 hodnocení)

1. 2. 2017 18:16:42

Napsal ItSnowsInHellAgain;1359613
To chápu, jenže tvrdit, že provádí 5 typů zalohování a následně příznat, že nefunguje ani jeden, je snad horší než říct, že zalohy nejsou vůbec.

U free služby by se to dalo pochopit.

Doporučuju podívat se na ten odkazovaný dokument. Není to tak, že by se chlubili pěti způsoby zálohování ale spíš "napadlo nás 5 cest, jak to půjde obnovit, ale všechny byly fail"

A je to free služba. Placenou verzi mají pokud vím samostatně.

1. 2. 2017 18:16:42

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi/strana/2#reply1256485

TomasX

(4 hodnocení)

1. 2. 2017 19:23:32

Ten přístup je wau a za mě palec nahoru, nebojí se přiznat barvu.

Stane se, takovým peoblémům se dá zabránit pouze metodikou a validací, však se sami podívejte kdo z vás zálohu a kdo přistupuje k zálohám jinak než write only. Tady máte ukázku, že byste to neměli podceňovat, hosting kdykoliv může odpadnout.

1. 2. 2017 19:23:32

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi/strana/2#reply1256484

Martin Schlemmer

(36 hodnocení)

1. 2. 2017 21:34:38

Napsal Souki;1359538
Ucelený článek s grafíky:
GitLab.com Database Incident | GitLab

Zajímavé informace:

- Stalo se to při noční manuální práci na produkční databázi. Kdo má hrůzostrašné historky za podobných okolností? :)

- Dva servery, technik byl zrovna na tom špatném a začal něco mazat

- Program pg_basebackup nedal žádnou reakci a nic nedělal. Prý v takovém stavu může setrvat až 10 minut, protože čeká na pokyn odjinud. To považuju za chybu UI toho programu, pokud čeká, měl by to napsat. Jedno hloupé echo by pomohlo spoustě lidí.

- Technik naštěstí udělal ruční zálohu o pár hodin dřív

Z tvého prvního příspěvku to zní, jako by ztratili všechna data, ale ztratili jen 6 hodin.

1. 2. 2017 21:34:38

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi/strana/2#reply1256483

Martin Schlemmer

(36 hodnocení)

12. 2. 2017 14:49:21

Postmortem of database outage of January 31 | GitLab

12. 2. 2017 14:49:21

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi/strana/2#reply1256482

TomasX

(4 hodnocení)

12. 2. 2017 15:02:00

to je dobré varování i pro ostatní, pg_dump musí být spouštěný ze stroje s databází a nikoliv odněkud jinud, maličkost, blbá chyba, špatně napsaný backup skript, ale jak je vidět, vedlo to k dost velkému průseru.

12. 2. 2017 15:02:00

https://webtrh.cz/diskuse/gitlab-com-si-smazal-produkcni-databazi/strana/2#reply1256481