Jakou databazi pro ukladani velkych json souboru?

8. 2. 2023 20:32:32

Ahoj,

potreboval bych poradit jak efektivne a rychle ukladat velke json soubory. Souboru bude asi 10, nektere maji az 400 000 radku a ukladat je potrebuji pravidelne v radu minut. Hodne udaju se vetsinou opakuje a nektere potrebuji obcas v databazi rucne editovat

Z databaze pak hodlam "napajet" nekolik webu, ktere si budou tahat data podle sveho zamereni.

Programator, kteremu jsem to zadal, zacal nejdriv klasicky PHP + MySQL, potom zkousel GO, SQLite, Elasticsearch a ja nevim co vsechno mi jeste vypsal a vysledkem je totalni zmatek, ve kterem se asi nevyzna ani on sam

Chci si zadat poptavku, ale protoze nevim koho a co vlastne hledat, poprosim o nakopnuti, kterym smerem se vydat. Diky ;)

8. 2. 2023 20:32:32

https://webtrh.cz/diskuse/jakou-databazi-pro-ukladani-velkych-json-souboru#reply1512952

Pavel Mareš

(19 hodnocení)

8. 2. 2023 20:44:21

Bylo by fajn začít potřebou. Je hezký, že máš nějaký JSON soubory.

Ale odkud se berou? Stahuješ někde? Dá se to optimalizovat cestou? Nebo ještě před? Jde pustit nějaký proces, který ti bude pomáhat? Odkud se tahá? Jak často co potřebuješ editovat? Kolik toho je?

Obecně tohle není jen o uložení dat, ale o chytrém nakládání s daty od A do Z. A potřebuješ znát celou logiku, abys navrhl nejlepší řešení.

Osobně z tohohle nedokážu moc říct. Variant je strašně moc.

8. 2. 2023 20:44:21

šikmo.cz – Digitální parťák, od designu přes vývoj až k marketingu.

https://webtrh.cz/diskuse/jakou-databazi-pro-ukladani-velkych-json-souboru#reply1512951

TomasX

(4 hodnocení)

8. 2. 2023 22:20:49

a jak ty json dokumenty budeš dotazovat? Do sqlite ukládám já všechny ty stahované kousky dat z internetu, není to vůbec snadné na logiku. Na ukládání různých xml feedů mám dobrou zkušenost s couchdb, i začáteční programátoři se v tom dokázali rychle orientovat, nevadí tomu velké rozdíly mezi velikostí dokumentů a umí růst lineárně. Do SQL databáze je lepší to ukládat jako tabulku, v případě použití blobů výrazně klesne výkon a možností práce s tím, zejména pokud jde o MB soubory.

8. 2. 2023 22:20:49

https://webtrh.cz/diskuse/jakou-databazi-pro-ukladani-velkych-json-souboru#reply1512950

isally

(13 hodnocení)

9. 2. 2023 01:27:42

soubory jsou stahovany z ruznych webu, ktere jsony generuji, takze do struktury se zasahovat neda. Casto jsou docela velke - 400t radku - 15MB ap. Par lidi mi radilo pouzit Mongodb nebo prave Couchdb, jak pise Tomas

9. 2. 2023 01:27:42

https://webtrh.cz/diskuse/jakou-databazi-pro-ukladani-velkych-json-souboru#reply1512949

Michal Krejčí

(27 hodnocení)

9. 2. 2023 01:46:06

Napsal isally;1658050
potreboval bych poradit jak efektivne a rychle ukladat velke json soubory

Mít ty JSON "uložené" jen na souborovém systému a přístupovat k nim jako k souboru nestačí?

Asi existují NoSQL databáze, které by se k tomu účelu daly použít, ale nevím zda by to bylo pro Váš případ výhodné, na to je dotaz příliš nejasný.

9. 2. 2023 01:46:06

https://webtrh.cz/diskuse/jakou-databazi-pro-ukladani-velkych-json-souboru#reply1512948

Smazaný účet kQskccgOzl

9. 2. 2023 13:31:57

Koukni na Postgrečko, umí ukládat JSON i binary podobě, takže by mělo být dostatečně rychlé i na velké soubory.

PostgreSQL: Documentation: 15: 8.14. JSON Types

9. 2. 2023 13:31:57

https://webtrh.cz/diskuse/jakou-databazi-pro-ukladani-velkych-json-souboru#reply1512947

(20 hodnocení)

9. 2. 2023 13:36:57

no s tim postgre nevim, to ukladani jsonu je spis na mensi objekty, hodi se to na jednodussi rozsirovani struktury tabulky, kdy nektery spolecny nastaveni treba muzou byt misto v nekolika sloupcich jen v jednom jako json. Jelikoz to umi delat nad tim indexy a dalsi figle, tak je to vlastne relativne dobry zpusob jak nemit obri tabulky pro velky objekty s hodne vlastnostmi... ale nahravat tam obri JSONy a predpokladat ze to s tim bude pracovat nejak rychleji, to bych asi nedelal... na to to neni urcene...

9. 2. 2023 13:36:57

https://webtrh.cz/diskuse/jakou-databazi-pro-ukladani-velkych-json-souboru#reply1512946

TomasX

(4 hodnocení)

9. 2. 2023 14:04:45

postgres bych na to doporučil jen tomu, kdo s ním umí dobře pracovat, není to snadné a ta databáze bude mít vysokou spotřebu paměti a příliš pomalé dotazování. Spíš se tomu vyhni, není na to stavěná. Ten json (ať už json nebo jsonb) se bude několikrát parsovat během zpracování a to hodně práci zpomaluje a zvyšuje spotřebu paměti.

9. 2. 2023 14:04:45

https://webtrh.cz/diskuse/jakou-databazi-pro-ukladani-velkych-json-souboru#reply1512945

Vít Michalek

(14 hodnocení)

9. 2. 2023 18:00:25

Přidám se k dotazu:

Mám 170Gb soubor, který obsahuje 1.3M řádků (JSON řádků, stejná struktura,textové hodnoty)

Kdysi dávno jsem to zpracovaval do MySQL a ukládat si hodnoty co číselníku a pak měl dílčí tabulky jen s číselnými hodnotami pro rychlé hledání, ale to byl pravěk.

A právě přemýšlím na tím elasticem jestli by to bylo řešení?

9. 2. 2023 18:00:25

https://webtrh.cz/diskuse/jakou-databazi-pro-ukladani-velkych-json-souboru#reply1512944

TomasX

(4 hodnocení)

9. 2. 2023 19:53:58

Napsal Vít Michalek;1658086
Přidám se k dotazu:
Mám 170Gb soubor, který obsahuje 1.3M řádků (JSON řádků, stejná struktura,textové hodnoty)
Kdysi dávno jsem to zpracovaval do MySQL a ukládat si hodnoty co číselníku a pak měl dílčí tabulky jen s číselnými hodnotami pro rychlé hledání, ale to byl pravěk.
A právě přemýšlím na tím elasticem jestli by to bylo řešení?

a řešení k čemu? Elastic je obecně strašně neefektivní, žravý, náročný na prostředky, ale dovolí ti definovat indexy kdykoliv, můžeš ho horizontálně škálovat dle libosti a nemá velké kontroly dat, takže ingress je obecně velice rychlý.

Volba striktně záleží podle toho, co s těmi daty chceš dělat, normalizace a uložení do SQL databáze je pořád jedna z nejlepších a nejčastějších voleb. SQL databáze je pořád jedna z nejrychlejších a nejflexibilnějších jak náhodně k datům přistupovat.

Jako alternativa může být sqlite databáze, parquet soubor (používáme čímdál častěji pro archivaci starších dat, které už nepotřebujeme mít v SQL databázi přímo) nebo pak použít něco určeného pro analitiku (OLAP databáze; mohu jich případně pár doporučit nebo popsat).

9. 2. 2023 19:53:58

https://webtrh.cz/diskuse/jakou-databazi-pro-ukladani-velkych-json-souboru#reply1512943

Vít Michalek

(14 hodnocení)

9. 2. 2023 20:23:14

A m+ ten elastic všichni doporučují, at už nejedu na mysql ;)

9. 2. 2023 20:23:14

https://webtrh.cz/diskuse/jakou-databazi-pro-ukladani-velkych-json-souboru#reply1512942

TomasX

(4 hodnocení)

9. 2. 2023 21:54:08

stejně jako všichni doporučují mongo. U těhle věcí je těžké rozlišit objektivní výhody a placené PR, elastic má obrovský záběr v marketingu, na konferencích je spousty přednášek, mluví se o tom, tak to všichni doporučují.

Rozlišuj použití a způsob jak s daty budeš pracovat. Když mám 10 velkých serverů, potřebuji fulltextovat 500TB dat, mám rozpočet na licenci, může být elastic dobrá volba. Když mám 100GB dat, server s 4GB ram, 4 cpu, je elastic dost překvapivá volba.

Stejně tak ti elastic bude dělat problémy, když budeš chtít měnit index obden a nemít žádné výpadky, u mysql si udělám druhý a ten starý zahodím, u elasticu musím udělát složitou akrobacii.

Nebo třeba elastic ti moc neřekne o špatných vstupech, ty ti bude vesměs ignorovat a budeš složitě lovit, když nějaké parsování selže.

9. 2. 2023 21:54:08

https://webtrh.cz/diskuse/jakou-databazi-pro-ukladani-velkych-json-souboru#reply1512941

exander

(2 hodnocení)

13. 2. 2023 01:53:39

Napsal Vít Michalek;1658086
Přidám se k dotazu:
Mám 170Gb soubor, který obsahuje 1.3M řádků (JSON řádků, stejná struktura,textové hodnoty)
Kdysi dávno jsem to zpracovaval do MySQL a ukládat si hodnoty co číselníku a pak měl dílčí tabulky jen s číselnými hodnotami pro rychlé hledání, ale to byl pravěk.

A právě přemýšlím na tím elasticem jestli by to bylo řešení?

Musíte říct, co s tím chcete dělat, takhle obecně se nedá odpovědět.

13. 2. 2023 01:53:39

https://webtrh.cz/diskuse/jakou-databazi-pro-ukladani-velkych-json-souboru#reply1512940

Pro odpověď se přihlašte.

Přihlásit