Jak přenést velkou databázi?

5. 5. 2019 22:24:31

Ahoj, mám databázi která má přes 1,5 GB a potřebuji ji přenést na jiný server v krátkém čase.

export proběhne OK a teď jak na import:

1. zkoušel jsem přes phpmyadmin ale tam mi to vyhazuje chybu. Rozděluji dump databáze na 100MB soubory a pokaždé když uploaduji soubor tak mi vyhodí server chybu internal error chyba serveru.

2. zkoušel jsem dump databáze nahrát na server kde mám přístup root a přes shell příkaz naimportovat na cílový server. Bohužel to trvalo 4 dny, což je pro mne velký časový výpadek, tak dlouho nemůžu mít server mimo provoz.

3. zkoušel jsem nahrát přes FTP sql soubor s daty na cílový server a tam přes PHP script importovat data pomocí příkazu exec

ale to mi nic neprovede ani žádnou chybu to nevypíše

4. pokusil jsem se napsat script který načte soubor a vykoná příkazy uvnitř, ale při pokusu o

to skončí na velikosti paměti

má někdo nějaký nápad ?

---------- Příspěvek doplněn 05.05.2019 v 22:27 ----------

5. zkoušel jsem i externí program HeidiSQL, který umí načíst tak velký soubor a odeslat to na server, ale zas doba cca 4 dny.

5. 5. 2019 22:24:31

https://webtrh.cz/diskuse/jak-prenest-velkou-databazi#reply1400044

Filip Šedivý

(25 hodnocení)

5. 5. 2019 22:57:09

4 dny na import sql je trochu moc. Já 10 GB rval do MySQL okolo 1,5 minuty.

Jaké jsou parametry toho serveru?

5. 5. 2019 22:57:09

https://webtrh.cz/diskuse/jak-prenest-velkou-databazi#reply1400043

Oleg

(53 hodnocení)

5. 5. 2019 23:09:30

Vyzkousej Adminer misto PMA a kdyz ne tak napis na podporu hostingu, oni ten import udelaji.

5. 5. 2019 23:09:30

https://webtrh.cz/diskuse/jak-prenest-velkou-databazi#reply1400042

Václav Dušek

(77 hodnocení)

5. 5. 2019 23:16:46

Pokud mas root v cili tak mysql klienta na prikazove radce (mysql) a

use jmeno_db;

. cesta_k_dumpdump.sql

5. 5. 2019 23:16:46

https://webtrh.cz/diskuse/jak-prenest-velkou-databazi#reply1400041

mcever4

5. 5. 2019 23:18:44

Napsal Oleg;1525437
Vyzkousej Adminer misto PMA a kdyz ne tak napis na podporu hostingu, oni ten import udelaji.

Vyzkoušeno na souboru s 450MB, výsledek minutu šrotoval a pak chyba

Service Unavailable

The server is temporarily unable to service your request due to maintenance downtime or capacity problems. Please try again later.

---------- Příspěvek doplněn 05.05.2019 v 23:19 ----------

Napsal vdusek;1525438
Pokud mas root v cili tak mysql klienta na prikazove radce (mysql) a
use jmeno_db;
. cesta_k_dumpdump.sql

bohužel v cíli root nemám

5. 5. 2019 23:18:44

https://webtrh.cz/diskuse/jak-prenest-velkou-databazi#reply1400040

Václav Dušek

(77 hodnocení)

5. 5. 2019 23:20:58

Tak zadat spravci at ti to udela, pokud tam nemas zadny shell ucet

5. 5. 2019 23:20:58

https://webtrh.cz/diskuse/jak-prenest-velkou-databazi#reply1400039

Martin

(62 hodnocení)

5. 5. 2019 23:46:02

Nebo změnit hosting. Protože pokud to má 1,5 GB db, mělo by to být něco lepšího než nějaký lowcost. A pokud to není lowcost, tak by to mělo zase zvládnout.

5. 5. 2019 23:46:02

https://webtrh.cz/diskuse/jak-prenest-velkou-databazi#reply1400038

mcever4

6. 5. 2019 06:35:53

Napsal filipsedivy;1525436
4 dny na import sql je trochu moc. Já 10 GB rval do MySQL okolo 1,5 minuty.
Jaké jsou parametry toho serveru?

a mohu vědět jak ?

6. 5. 2019 06:35:53

https://webtrh.cz/diskuse/jak-prenest-velkou-databazi#reply1400037

Filip Šedivý

(25 hodnocení)

6. 5. 2019 08:01:40

Asi je třeba na úvod říct že používám jako úložiště InnoDB.

Já vždy dočasně navýším na serveru parametry pro InnoDB.

Poté restartuji databázi

Následně naimportuji SQL soubor

A následně ještě jednou restartuji databázi

---

Rozhodně se nespoléhat při těchto velikostech na nějaké Adminery nebo PhpMyAdminery... Ty nikdy nedokážou zpracovat takové velikosti. K tomu už právě existují CLI rozhraní.

Tyhle webový adminéři jsou dobrý pro soubory do velikost PHP konstanty upload_max_filesize. Což bývá okolo 64 MB - 512 MB.

---------- Příspěvek doplněn 06.05.2019 v 08:09 ----------

Ještě co mě napadá, tak vypnout indexy nad všemi tabulky. Protože při importu probíhá zároveň i indexování, tak že zda nemá smysl nejdříve naimportovat čistá data a následně poté postupně zapnout indexy nad tabulky aby server to zpracoval.

6. 5. 2019 08:01:40

https://webtrh.cz/diskuse/jak-prenest-velkou-databazi#reply1400036

Otakar Pěnkava

(25 hodnocení)

6. 5. 2019 08:16:26

Adminer umí nahrát data ze serveru. Stačí do složky, kde je adminer.php nahrát databázi pojmenovanou jako adminer.sql a pak dát nahrát ze serveru. Obejde se tím upload_max_filesize. Už jsem tak importoval databáze i větší než 1 GB. Vždy v pohodě, ale hosting nebyl žádný Wedos atp...

6. 5. 2019 08:16:26

https://webtrh.cz/diskuse/jak-prenest-velkou-databazi#reply1400035

mcever4

6. 5. 2019 09:35:12

Konfigurace serveru:

1U SuperMicro X9SCL-F

1 x Intel Xeon CPU E3-1230 @ 3.20Ghz

4 x 4GB RAM DDR3 ECC NREG

2x 1TB SATA

je komplet ve správě společnosti IGNUM, bohužel nemám k němu root přístup, vše je řešeno pouze klientským rozhraním ISPConfig

---------- Příspěvek doplněn 06.05.2019 v 09:36 ----------

Napsal Whispere;1525459
Adminer umí nahrát data ze serveru. Stačí do složky, kde je adminer.php nahrát databázi pojmenovanou jako adminer.sql a pak dát nahrát ze serveru. Obejde se tím upload_max_filesize. Už jsem tak importoval databáze i větší než 1 GB. Vždy v pohodě, ale hosting nebyl žádný Wedos atp...

ano již jsem z koušel s výsledkem:

The server is temporarily unable to service your request due to maintenance downtime or capacity problems. Please try again later.

6. 5. 2019 09:35:12

https://webtrh.cz/diskuse/jak-prenest-velkou-databazi#reply1400034

Bc. Josef Jebavý

(12 hodnocení)

6. 5. 2019 09:49:17

Pristup do konzole nemas?

6. 5. 2019 09:49:17

https://webtrh.cz/diskuse/jak-prenest-velkou-databazi#reply1400033

Zatím Nevím

6. 5. 2019 09:55:47

Napsal Whispere;1525459
Adminer umí nahrát data ze serveru. Stačí do složky, kde je adminer.php nahrát databázi pojmenovanou jako adminer.sql a pak dát nahrát ze serveru. Obejde se tím upload_max_filesize. Už jsem tak importoval databáze i větší než 1 GB. Vždy v pohodě, ale hosting nebyl žádný Wedos atp...

Zrovna Wedos umí přes phpMyAdmin až 1 GB importy. Je to oddělené od hostingu. Odzkoušeno na 700 MB tabulce.

6. 5. 2019 09:55:47

https://webtrh.cz/diskuse/jak-prenest-velkou-databazi#reply1400032

Václav Dušek

(77 hodnocení)

6. 5. 2019 10:26:28

Wedos uvadej jako standard toho, co nefunguje, a ne toho, co se obcas povede ;)

6. 5. 2019 10:26:28

https://webtrh.cz/diskuse/jak-prenest-velkou-databazi#reply1400031

Filip Šedivý

(25 hodnocení)

6. 5. 2019 10:28:53

Pokud si u nich platíš server, a předpokládám i management tak nevidím důvod proč jim neposlat soubor a nechat zodpovědnost na ně. Sysadmini by měli být přesně na tohle trénováni a věřím že řešili i složitější případy než jen import několika GB souboru.

Ještě co mě napadá, co nastavit replikaci databáze? Nastavit starou databázi jako master a novou jako slave. Ono by si poté databáze měla poradit s nejrychlejším kopírováním dat.

Jenom co koukám na server, tak RAMka by měla být v pohodě. Ale divím se že ještě běží na SATA. Tam bych možná viděl problém v tom, že pokud databázi nahráváš a zároveň sestavuješ indexy, tak tam to může někde škytat. Otázkou je zda je to RAM nebo CPU. Chtělo by to se mrknout alespoň na nějakou statistiku serveru když to tam nahráváš.

6. 5. 2019 10:28:53

https://webtrh.cz/diskuse/jak-prenest-velkou-databazi#reply1400030