Stažení volných pozic z Úřadu práce ČR.

Ahoj,

pro pracovní web bychom chtěli využít stažení volných pozic z Úřadu práce ČR.

Řešil to někdo z Vás? Já zkusil uvedené JSON soubory načíst srkze Postmana, aby se mi hezky naformátoval datový výstup, viděl jsem přehledně strukturu, atd. Ten soubor je zřejmě velký jako prase a nedokáže to načíst ani Postman ani prohlížeč.

Jak se k těm datům dostat? Od IT oddělení ÚP jsem dostal odpověď:

Z Vaší strany bude potřeba si napsat skript pro stahování nebo vytvořit program, který dokáže data stáhnout a rozdělit a nebo třetí možnost, použít nějaký program pro automatické stahování, který nebude mít problém s větším objemem dat.

https://data.mpsv.cz/web/data/volna-mista-za-celou-cr - kdyžtak hned ten první soubor v pravém sloupci.

Dáte mi prosím někdo nějaký tip? Tam není ani žádná filtrace pomocí stránkování, datumu, lokality, atd. Prostě se mi to jeví jako vše dohromady.

No 350MB json file s 11 080 951 řádků je krapet overkill :D Sem musel z 512MB paměti dát serveru 2GB :D

Kód:

<?php
    $fle = file_get_contents( 'https://data.mpsv.cz/od/soubory/volna-mista/volna-mista.json' );
    file_put_contents( 'test.json', $fle );

Asi je jasný, proč to prohlížeč nedá :D 

---------- Příspěvek doplněn 27.10.2021 v 20:20 ----------

Btw co tohle https://www.api.store/volna-pracovni-mista/

Použít knihovnu která nestaví DOM.

mrkni třeba na tuhle knihovnu https://github.com/salsify/jsonstreamingparser