Do čeho ukládat data z webu?

23. 8. 2016 17:45:05

Mám takový laický dotaz:

Chci si nechat vytvořit program na import inzerátů z Bazos.cz. Konkrétně mě tam zajímá pouze kategorie Průmyslové stroje. Z každého inzerátu by mě zajímal Název, úvodní fotka,popis, prodejce, region, odkaz na inzerát, datum první "indexace" a datum kdy byl inzerát již nedostupný.

Nejdříve jsem to chtěl ukládat do Excelu (umím v něm i trochu programovat), ale vzhledem k množství inzerátů co tam teď je se mi to už nezdá jako dobrý nápad.

Jaký způsob ukládání dat by jste mi doporučili?

Nechtěl bych být moc závislý na programátorovi. Ideálně kdyby byl "crawler" (říká se tomu tak? :)) oddělený od databáze a já si mohl vytvářet formuláře pro např. třídění a seskupování stejných inzerentů atp.

Děkuji.

23. 8. 2016 17:45:05

https://webtrh.cz/diskuse/do-ceho-ukladat-data-z-webu/#reply1219202

(20 hodnocení)

23. 8. 2016 17:50:35

data ukladej do jakekoliv databaze... pouziti SQL se asi nevyhnes (ale pouzitim nejake ORM knihovny se muzes vyhnout tvrdemu psani dotazu), u dat radove do par GB si muzes vystacit s SQLite (a je krasne rychle), jinak MySQL, PostgreSQL...

23. 8. 2016 17:50:35

https://webtrh.cz/diskuse/do-ceho-ukladat-data-z-webu/#reply1219201

marat

(2 hodnocení)

23. 8. 2016 17:55:03

Já to asi blbě napsal.

Mě jde o to, abych si jako laik mohl ta data vůbec zpracovávat. To je otevřít třeba v tom Excelu, Access atp. a netrvalo to 15 minut.

23. 8. 2016 17:55:03

https://webtrh.cz/diskuse/do-ceho-ukladat-data-z-webu/#reply1219200

(20 hodnocení)

23. 8. 2016 17:57:37

pokud vim, tak existuje moznost ukladat data primo do Accessu, takze to by bylo urcite taky reseni, predpokladam ze ti tedy ten crawler nekdo pise, tak mu ten pozadavek prednes

23. 8. 2016 17:57:37

https://webtrh.cz/diskuse/do-ceho-ukladat-data-z-webu/#reply1219199

Petr Soukup

(5 hodnocení)

23. 8. 2016 19:38:43

Jsou na to přímo služby. Stáhne se aplikace, ta se naučí, kde si co má na stránce vzít a pak už se jen spustí. Jen si teď nemůžu vzpomenout, jak se to jmenovalo.

23. 8. 2016 19:38:43

https://webtrh.cz/diskuse/do-ceho-ukladat-data-z-webu/#reply1219198

marat

(2 hodnocení)

23. 8. 2016 19:50:09

Souki: Jako že fakt? :-O Vzpomínej...:)

23. 8. 2016 19:50:09

https://webtrh.cz/diskuse/do-ceho-ukladat-data-z-webu/#reply1219197

Petr Soukup

(5 hodnocení)

23. 8. 2016 21:18:59

Je to docela známý a i v ČR doporučovaný. Mělo to webovou verzi (symbolicky placenou), která ale neměla ten editor moc chytrý. Hlavně to ale mělo opensource desktop aplikaci, ve které jela skutečná kouzla.

Taky by to nejspíš šlo řešit s openrefine.

23. 8. 2016 21:18:59

https://webtrh.cz/diskuse/do-ceho-ukladat-data-z-webu/#reply1219196

acidclick