Ako spracovat data s hustou strukturou vo vlekom pocte

Ahojte.Vytvaram "aplikaciu" ktora bude ziskavat systemove data z webstranok(info z webu, php info, db info a podobne veci), ktore budu mat samozrejme nahodeny specialny plugin ktory potrebne data zozbiera a vypluje, a tieto data budu nasledne sluzit na tvorbu statistik a upozorneni....to len pre predstavu o co sa jedna.Tieto data mi ale momentalne vychadzaju na cca 250kb vo forme json objektu. Kedze kazdy web moze mat inu db(mysql, postgresql, ms db..), iny webserver(apache, lighttpd...) a pod tak si nemozem vytvorit nejaku globlanu DB schemu pre ukladanie ziskanych dat. A ak by to aj slo, islo by o nehorazne kvantum tabuliek a stlpcov co je sialenost. Takze si momentalne ziskane data uchovavam v jendej tabulke ktora ma nejake zakladne idcka a data samotne su ako serializovane json objekty v blob-e.Toto vsetko je ok az kym nechcem riesit napriklad taku vec ako je zmena/priebeh nejakej hodnoty v case(napr pocet uzivatelov regnutych na danej webstranke) a dam si rozmedzie napriklad 5 mesiacov. Aplikacia ziskava data napriklad 4x denne, co je pri 5 mesiacoch 600 zaznamov. Kazdy tento zaznam ma teda tych cca 250kb, co mi spravi 150MB. No a dajme tomu ze si takuto statistiku zobrazi X ludi a server je v Pcku.Takze rozmyslam ako riesit taketo mnozstvo nestrukturovanych udajov.Neviem ci si mam data rozdelit na jendotlive casti(db, web, php,...) a tym padom by som si nacital mensie jendotky iba potrebnych dat z jednotlivych zaznamov a nezahltil by som server, alebo mozno vyuzit MongoDB(nikdy som s noSQL nerobil). Na druhu stranu tak ci tak si tie data musim vytiahnut aj z tej MongoDB cize stale je tu ten faktor zahltenia serveru. Alebo vie mongo vytiahnut iba specificke data z dokumentov?Mate nejaky napad?

V případě takové hustoty dat se udržují podrobná data pouze za menší období a za delší období se ukládá agegovaně, tzn, jen vybrané hodnoty.Druhé pravidlo, do relační db se neukládají objekty, ani v serializované formě, odporuje to normativním pravidlům.

Tohle je typický use case pro MongoDB (nebo jinou noSQL databázi). Veliký objem nestrukturovaných dat. JSON výhodou. MongoDB internně pracuje s BSON, což je binární JSON. Určitě si to s tvými daty poradí jako nic.