Crawling dat a jejich nasledne zpracovani

Tento obchod již není aktivní.

založeno 18. 11. 2020

0 zájemců

Ochrana pomocí úschovy prostředků

Vybraní dodavatelé

NARATIVE

Hajk Hovhannisyan

Rocinet

Web scraping, data mining, synchronizace dat a automatizace procesů

Stanektech.cz

Vývojář a programátor webových stránek / marketingový specialista / grafik a ilustrátor / správce sociálních sítí a PPC kampaní / poskytovatel webhostingových služeb / SEO specialista

KK webdesign

Tvorba aplikací, webů & UI/UX design

Více firem

Zdravím,

potřebuji využít již vyhotovený crawler a upravit ho: https://github.com/JBustos22/DFBot/blob/master/src/mdd/mdd_scrape.py místo postgre ukládal do mssql.

Následně potřebuji .py, který si bude šahat do této DB a složky, kde jsou uložené soubory, které se oproti této DB budou kontrolovat a roztřizovat do 4 různých složek.

Podmínky rozdělování:

Příklad:

Mám ve složce

0ups-rocketrun100.10.888(Maan.CountryHere).dm_68

annh-concrete-long00.10.360(42a.CountryHere).dm_68

annh-slickchallenge-blue00.02.448(kaboom.CountryHere).dm_68

bardok-avp00.13.392(who.CountryHere).dm_68

formát souboru: map-nametime-of-run(nickname.state).dm_68

po spuštění programu by se našla mapa "0ups-rocketrun1" zjistil se rank1 dle vypsané fyziky tedy cpm a pokud by nenašlo mapu tedy nebylo schopné najít shodu, uložilo by to demo (soubor) do podsložky "map_doesnt_exist"

pokud by to našlo shodu mapy, ale čas by byl horší jak první místo v aktuální db v dané fyzice, tak by to uložilo demo do "not_wr"

pokud by to mělo problém jakýkoliv jiný dávalo by to do složky "other"

vše co je potvrzené, že je aktuálně stále world record tedy rank 1/xxx tak by to vložilo do složky "current_wr"

Vysledek:

- upravený crawler .py skript s připojením do MSSQL

- .py skript pro zpracování souborů z cílového adresáře s ověřením v cílové DB a následným přesunem (třízením) do příslušných adresářů.

- instalační skript na MSSQL DB

Podmínka: musí běžet na WIN10

30 zobrazení

Zadavatel

noobies

25 hodnocení
členem od 15. 8. 2008

Neověřen

od Lukáš Černý (1 hodnocení)

8. 1. 2022

urapavovat tento systém bych znovu nechtěl, pri přijetí mne motivovalo to ze principy fungovani takoveho systemu neznám ale bohuzel po chvili jsem zjistil ze ten systém nelze dlouhodobe udržovat, opravovat, je novy ale úroveň jakou je napsan tomu neodpovida a to mi zhnusilo tu chuť na tom neco dělat