Prekopani JSON (jq?)

Ahoj, ma tu nekdo zkusenosti s nastrojem jq nebo jinym, co umoznuje prekopat JSON ? Mam na vstupu: { "count": 9, "domain": "xxx.tld", "geoips": { "GB": 7, "IE": 1, "US": 1 }, "subdomains": { "xxx.tld": 3, "ns1.xxx.tld": 4, "ns2.xxx.tld": 2 }, "tld": "tld", "types": { "1": 4, "28": 2, "43": 3 } } A potrebuju na vystupu: { "count": 9, "domain": "xxx.tld", "geoips": , "subdomains": , "tld": "tld", "types": } A potrebuji to v necem rychlem, protoze se jedna o soubory o stovkach milionu radku :( Libi se mi reseni pres "jq" ale nedari se mi ani docilit zpracovani tech poli (geoips,types,subdomains) na jednotlivy casti.

Chapu to dobre, ze mas soubory (prvni uvedena struktura) nekde vyexportovane a potrebujes je zase nekam naimportovat (druha struktura) a ke skriptu, ktery ty soubory exportujes se nedostanes, ze ano?PS - upravit tu strukturu, tak ze to nactes do sveho skriptu a zmenis to dle pozadavku, by mozna nebylo uplne extra slozity, ale rikam si, ze kdyz jsou ty soubory tak rozsahly, aby mi neshorel stroj :D

Napsal musil.david;1402728

Chapu to dobre, ze mas soubory (prvni uvedena struktura) nekde vyexportovane a potrebujes je zase nekam naimportovat (druha struktura) a ke skriptu, ktery ty soubory exportujes se nedostanes, ze ano?

PS - upravit tu strukturu, tak ze to nactes do sveho skriptu a zmenis to dle pozadavku, by mozna nebylo uplne extra slozity, ale rikam si, ze kdyz jsou ty soubory tak rozsahly, aby mi neshorel stroj :D

Mel jsem asi 100GB souboru s nekolika miliardy dat, ze kterych jsem po dobu 2 dnu generoval cisty podklady (vysledek 50GB) pro statisticky soucty jejichz vystupem byl ten JSON nahore (delano v Golangu, zpracoval to za 15 minut :D). A ted ty sumarizacni data potrebuju dostat do ElasticSearch, coz jsem zjistil, ze mam snad nejstupidnejsi format ktery me mohl napadnout. Bohuzel puvodni zpracovany soubory uz nemam (tech 50GB), a nechci zabit zas celym generovanim z tech surovych dat :( Proto hledam cestu jak zmenit stavajici JSON co nejjednoduseji, ale ne aby to trvalo vecnost (jsem schopnej si napsat rychle script v PHP, ale ten nemuzu pustit v miste kde jsou ty data, a v GO budu zas pul dne travit vymyslenim jak to ma byt spravne :D)---------- Příspěvek doplněn 04.08.2017 v 15:41 ----------Tak kdyby nekdo nekdy resil, tady je reseni:jq '.subdomains= as $k | {"key":"($k)","val":"(.)"}] | .geoips= as $k | {"key":"($k)","val":"(.)"}] | .types= as $k | {"key":"($k)","val":"(.)"}]'---------- Příspěvek doplněn 04.08.2017 v 15:52 ----------Jen by to mohlo byt trochu rychlejsi :)jeden z tech JSONu ma: 1.230.784 zaznamuA konverze trvala: real 4m33.474suser 4m30.377ssys 0m3.204sAle i tak jsem spokojenej :D

Dobry den,Nastroj jq (binarni utilita pro linux) v jednom projektu pouzivam...Pokud mate zajem o pomoc mohu nabidnout svoje schopnosti.

Napsal josef.jebavy;1402778

Dobry den,

Nastroj jq (binarni utilita pro linux) v jednom projektu pouzivam...

Pokud mate zajem o pomoc mohu nabidnout svoje schopnosti.

Dekuji za nabidku, pokud bude treba, rad se ozvu. Svuj problem jsem nakonec vyresil viz predchozi prispevek.