Zadejte hledaný výraz...

Ako spracovat data s hustou strukturou vo vlekom pocte

node
verified
rating uzivatele
(5 hodnocení)
26. 10. 2013 23:41:53
Ahojte.
Vytvaram "aplikaciu" ktora bude ziskavat systemove data z webstranok(info z webu, php info, db info a podobne veci), ktore budu mat samozrejme nahodeny specialny plugin ktory potrebne data zozbiera a vypluje, a tieto data budu nasledne sluzit na tvorbu statistik a upozorneni....to len pre predstavu o co sa jedna.
Tieto data mi ale momentalne vychadzaju na cca 250kb vo forme json objektu. Kedze kazdy web moze mat inu db(mysql, postgresql, ms db..), iny webserver(apache, lighttpd...) a pod tak si nemozem vytvorit nejaku globlanu DB schemu pre ukladanie ziskanych dat. A ak by to aj slo, islo by o nehorazne kvantum tabuliek a stlpcov co je sialenost. Takze si momentalne ziskane data uchovavam v jendej tabulke ktora ma nejake zakladne idcka a data samotne su ako serializovane json objekty v blob-e.
Toto vsetko je ok az kym nechcem riesit napriklad taku vec ako je zmena/priebeh nejakej hodnoty v case(napr pocet uzivatelov regnutych na danej webstranke) a dam si rozmedzie napriklad 5 mesiacov. Aplikacia ziskava data napriklad 4x denne, co je pri 5 mesiacoch 600 zaznamov. Kazdy tento zaznam ma teda tych cca 250kb, co mi spravi 150MB. No a dajme tomu ze si takuto statistiku zobrazi X ludi a server je v Pcku.
Takze rozmyslam ako riesit taketo mnozstvo nestrukturovanych udajov.
Neviem ci si mam data rozdelit na jendotlive casti(db, web, php,...) a tym padom by som si nacital mensie jendotky iba potrebnych dat z jednotlivych zaznamov a nezahltil by som server, alebo mozno vyuzit MongoDB(nikdy som s noSQL nerobil). Na druhu stranu tak ci tak si tie data musim vytiahnut aj z tej MongoDB cize stale je tu ten faktor zahltenia serveru. Alebo vie mongo vytiahnut iba specificke data z dokumentov?
Mate nejaky napad?
26. 10. 2013 23:41:53
https://webtrh.cz/diskuse/ako-spracovat-data-s-hustou-strukturou-vo-vlekom-pocte/#reply959565
Jiří Adámek
verified
rating uzivatele
(20 hodnocení)
26. 10. 2013 23:58:04
V případě takové hustoty dat se udržují podrobná data pouze za menší období a za delší období se ukládá agegovaně, tzn, jen vybrané hodnoty.
Druhé pravidlo, do relační db se neukládají objekty, ani v serializované formě, odporuje to normativním pravidlům.
26. 10. 2013 23:58:04
https://webtrh.cz/diskuse/ako-spracovat-data-s-hustou-strukturou-vo-vlekom-pocte/#reply959564
Unodor.cz
verified
rating uzivatele
(1 hodnocení)
27. 10. 2013 00:18:37
Tohle je typický use case pro MongoDB (nebo jinou noSQL databázi). Veliký objem nestrukturovaných dat. JSON výhodou. MongoDB internně pracuje s BSON, což je binární JSON. Určitě si to s tvými daty poradí jako nic.
27. 10. 2013 00:18:37
https://webtrh.cz/diskuse/ako-spracovat-data-s-hustou-strukturou-vo-vlekom-pocte/#reply959563
Pro odpověď se přihlašte.
Přihlásit