Import stovek tisíc položek do SQL

14. 6. 2012 10:47:12

Zdravím,

Mám databázi v CSV která obsahuje stovky tisíc řádků a potřeboval bych to převést do .SQL ... .CSV má 1,59GB (140MB v ZIP kompresi) ... zkoušel jsem to přímo přes phpMyAdmina ale nevím proč, vždycky to skončí bílou stránkou (dělám na localhost).

Pokud máte někdo nějaké nápady sem s nimi!

Díky moc

14. 6. 2012 10:47:12

https://webtrh.cz/diskuse/import-stovek-tisic-polozek-do-sql/#reply774966

Marek

(2 hodnocení)

14. 6. 2012 10:55:46

Nejdřív bych to zkusil přes mysql konzoli. Myslím že je to příkaz import /tmp/databaze.csv. Nebo import C:\databaze.csv. Pokud to nepujde, zvětšil bych v PHP.INI max velikost uploadovaného souboru, velikost POST dat a taky kolik si může vzít PHP z RAM paměti. Píčeš že máš localhost, tak by neměl problém tam dát třeba 2 GB :)

14. 6. 2012 10:55:46

https://webtrh.cz/diskuse/import-stovek-tisic-polozek-do-sql/#reply774965

pes502

(4 hodnocení)

14. 6. 2012 10:56:43

Samozřejmě mám localhost přehozený, takže maximální velkost _POST je 10TB (prakticky neomezeno) a délka běhu skriptu ani RAM taky není omezena (zadány větší hodnoty, než jakými disponuji)

14. 6. 2012 10:56:43

https://webtrh.cz/diskuse/import-stovek-tisic-polozek-do-sql/#reply774964

Marek

(2 hodnocení)

14. 6. 2012 11:00:21

Tak bych to zkusil přes MySQL konzoli, je to rychlejší / jednodušší. Nebo se podívej do logu, jakou chybu ti to vypsalo. Asi máš vypnuté error_reporting

14. 6. 2012 11:00:21

https://webtrh.cz/diskuse/import-stovek-tisic-polozek-do-sql/#reply774963

Jakub Piliš

(6 hodnocení)

14. 6. 2012 11:01:41

Vyzkoušej tenhle script, importoval jsem přes to 800Mb databázi bez problému.

http://podpora.ebola.cz/idx.php/12/128/article/Import-velkych-databazi-MySQL.html

14. 6. 2012 11:01:41

https://webtrh.cz/diskuse/import-stovek-tisic-polozek-do-sql/#reply774962

pes502

(4 hodnocení)

14. 6. 2012 11:10:03

pildas - jo, to vypadá zajímavě, nicméně nevím, jestli mi to vůbec k něčemu bude:

Napsal "Ebola"
Tento skript umožňuje import či obnovu i velmi velkých databází ze souboru zálohy s příponou SQL.

Můj export má příponu .CSV

---------- Příspěvek doplněn 14.06.2012 v 12:00 ----------

Problém vyřešen, díky všem za pomoc

14. 6. 2012 11:10:03

https://webtrh.cz/diskuse/import-stovek-tisic-polozek-do-sql/#reply774961

Martin

(62 hodnocení)

14. 6. 2012 13:19:54

Taky by jsi mohl napsat, jak jsi to vyřešil. Mohlo by se to hodit i ostatním.

14. 6. 2012 13:19:54

https://webtrh.cz/diskuse/import-stovek-tisic-polozek-do-sql/#reply774960

krnac

(14 hodnocení)

14. 6. 2012 13:53:43

Já si s dovolením přihřeji polívčičku. Mám obrácený problém, jak stáhnout zálohu DB, nějak se mi to nedaří a neustále mi to hlásí že soubor není nalezen ( když klepnu v php my admin na export DB, načítá to asi pět minut, potom v prohlížeči vyjede hláška že požadovaný soubor nebyl nalezen ) Hoster mi říká že je DB moc velká a nedokáže mi poradit, děkuji

14. 6. 2012 13:53:43

https://webtrh.cz/diskuse/import-stovek-tisic-polozek-do-sql/#reply774959

Marek

(2 hodnocení)

14. 6. 2012 14:00:13

krnac: V tom případě by to měl hoster vyexportovat přes konzoli a nahrát někam na ftp, kde si ji můžeš stáhnout :)

14. 6. 2012 14:00:13

https://webtrh.cz/diskuse/import-stovek-tisic-polozek-do-sql/#reply774958

krnac

(14 hodnocení)

14. 6. 2012 14:05:30

to udělá, ale tak to nechci , chci mít nad tímto procesem kontrolu a nechci neustále čekat na někoho druhého, to mi neříkejte že neexistuje způsob, velikost DB cca. 2GB , jak to řešíte vy?

14. 6. 2012 14:05:30

https://webtrh.cz/diskuse/import-stovek-tisic-polozek-do-sql/#reply774957

Marek

(2 hodnocení)

14. 6. 2012 14:10:44

Já mám vlastní VPS a řeším si to sám :) Phpmyadmin už dlouho nepoužívám... Ale co si pamatuju, u exportu byla možnost Zazipování nebo Zagzipování... Zkusil bych tu možnost, která má větší kompresi.. Tuším že Gzip :) Nebo mě pak napadá tabulku po tabulce vyexportovat ručně.. Ale to je neefektivní a zdlouhavé. Nebo si na to napsat PHP script, kterej by se o to staral :)

14. 6. 2012 14:10:44

https://webtrh.cz/diskuse/import-stovek-tisic-polozek-do-sql/#reply774956

krnac

(14 hodnocení)

14. 6. 2012 14:21:58

tabulek je 80, komprese nepomáhá , stále stejná chyba

14. 6. 2012 14:21:58

https://webtrh.cz/diskuse/import-stovek-tisic-polozek-do-sql/#reply774955

Kovboj

(13 hodnocení)

14. 6. 2012 14:39:35

Napsal krnac;807987
tabulek je 80, komprese nepomáhá , stále stejná chyba

Naráží to na nějaké omezující nastavení PHP / Apache. Zkusil bych si to vyexportovat jednu po druhé, to by mohlo projít.

Není možnost se k databázi připojit vzdáleně přes konzoli nebo "na klikačku" přes MySQL Administrator? Pak není problém stáhnout jakkoliv velkou databázi.

---------- Příspěvek doplněn 14.06.2012 v 14:40 ----------

Napsal krnac;807987
tabulek je 80, komprese nepomáhá , stále stejná chyba

Pokud to není možné stáhnout tak není ani co komprimovat - takže to pomoci ani nemůže.

14. 6. 2012 14:39:35

https://webtrh.cz/diskuse/import-stovek-tisic-polozek-do-sql/#reply774954

krnac

(14 hodnocení)

14. 6. 2012 18:01:00

vzdáleně nevím o co jde. Proč mi do háje Hoster nedokáže pomoci, jen tak pro zajímavost - už se s ním dohaduji cca. rok, rok nemohu stáhnout zálohu. Klidně bych přešl na jiný hosting o peníze mi nejde, ale je zde další problém, nevím jak bych přesunoval web, protože při každém přesunu je problém s diakritikou

14. 6. 2012 18:01:00

https://webtrh.cz/diskuse/import-stovek-tisic-polozek-do-sql/#reply774953

Kovboj

(13 hodnocení)

14. 6. 2012 18:44:24

Napsal krnac;808083
Proč mi do háje Hoster nedokáže pomoci, jen tak pro zajímavost - už se s ním dohaduji cca. rok, rok nemohu stáhnout zálohu. Klidně bych přešl na jiný hosting o peníze mi nejde, ale je zde další problém, nevím jak bych přesunoval web, protože při každém přesunu je problém s diakritikou

Rok? Šmarjá, za tu dobu se sám naučíš PHP natolik, aby sis napsal skript co udělá dump databáze a uloží ho do souboru který si pak jednoduše stáhneš. Nebo už dávno zaplatíš pár korun někomu, kdo to za tebe udělá a přesune web i na nový server a tam vyřeší "problém s diakritikou".

14. 6. 2012 18:44:24

https://webtrh.cz/diskuse/import-stovek-tisic-polozek-do-sql/#reply774952