Kolik stojí PHP script na scraping URL ze seznamu?

10. 8. 2015 15:45:40

Chtěl bych script, který načte seznam mých URL, nascanuje je a vybere určité prvky dle xPath a ty vyexportuje do nějakého texťáku (.csv, .txt). Ty prvky dle xPath, bych si klidně mohl dopsat sám a také bych to i chtěl tak dělat, protože budu scrapovat různé weby. Jen si neumím napsat ten script. Editovat PHP umím ;).

Na kolik bych takové dílo měl ocenit?

10. 8. 2015 15:45:40

https://webtrh.cz/diskuse/kolik-stoji-php-script-na-scraping-url-ze-seznamu#reply1132552

Martin Kanala

(23 hodnocení)

10. 8. 2015 15:54:26

Ideálně dle hodinové sazby příslušného programátora. :-) Ne vše jde paušalizovat.

10. 8. 2015 15:54:26

https://webtrh.cz/diskuse/kolik-stoji-php-script-na-scraping-url-ze-seznamu#reply1132551

ViPErCZ

(21 hodnocení)

10. 8. 2015 15:59:21

A ne do puntíku jsme (*my programátoři) vždy vše již dělali (to je pak levnější hotové řešení). Stejně se to většinou dělá na míru a tudíž nemůžete ocenit, ale můžete při nejlepším pouze odhadovat.

10. 8. 2015 15:59:21

https://webtrh.cz/diskuse/kolik-stoji-php-script-na-scraping-url-ze-seznamu#reply1132550

Luděk Kvapil

10. 8. 2015 16:08:33

Však já nečekám přesnou cenu, ale spíše jestli je to za pětikilo, litr, či pět táců :)... Prostě jestli se mi vyplatí si to koupit, nebo to mám dělat přes OpenRefine, kde to sice také jde, ale není to úplně ono...

---------- Příspěvek doplněn 10.08.2015 v 16:09 ----------

Jako na netu je dost návodů, které programátor asi hned pochopí... Já programátor nejsem, takže na to čučím moc dlouho a výsledek nikde.. Takže chci optimalizovat svůj čas a prostě to vymyslet tak, abych to dělal rychleji...

10. 8. 2015 16:08:33

https://webtrh.cz/diskuse/kolik-stoji-php-script-na-scraping-url-ze-seznamu#reply1132549

Jan Kuthan

(48 hodnocení)

10. 8. 2015 16:25:37

Okolo 1000 Kč by byla odhadem podle strohého zadání má cena ;), ale jak jsi sám psal - když si s tím člověk vyhraje dá to dohromady i sám, ale to všechno.

10. 8. 2015 16:25:37

https://webtrh.cz/diskuse/kolik-stoji-php-script-na-scraping-url-ze-seznamu#reply1132548

Luděk Kvapil

10. 8. 2015 22:18:47

Ještě upřesnění..

URL jsou z textového souboru. Vezmu sitemap.xml, proženu to OpenRefine a vyberu jen URL, které mě budou zajímat. Ty si uložím dejme tomu do sitemap.txt, kde bude každý řádek jedna URL. Klidně tam může být nějaký identifikátor. Vstup bude prostě v texťáku. Formát je jinak jedno.

Elementy bych si opsal z Scraperu pro Chrome, kde si tvořím cestu pro xPath.

Dejme tomu, že budu chtít z http://lednice.heureka.cz/liebherr-cp-4023/ vybrat cenu, popis a eshop.

//div/p - popis

//div/p/strong/a - cena

//div/p/a - eshop

A to pak samozřejmě zapsat do souboru s nazvem YY-MM-DD-vysledky.csv ( hodnoty oddělené třeba čárkou). Do toho souboru by se měly zapsat všechny nascrapovatné URL. Co řádek výsledku, to jedna url v sitemap.txt

10. 8. 2015 22:18:47

https://webtrh.cz/diskuse/kolik-stoji-php-script-na-scraping-url-ze-seznamu#reply1132547

carlos

(19 hodnocení)

10. 8. 2015 23:29:45

Jestli jses rozhodnut pro xPath namisto regexp, tak to treba nemusi byt tak slozite...

Jako zaklad staci napr. v php ... http://scraping.pro/using-domxpath-for-parsing-page-content-in-php/

10. 8. 2015 23:29:45

https://webtrh.cz/diskuse/kolik-stoji-php-script-na-scraping-url-ze-seznamu#reply1132546

Pro odpověď se přihlašte.

Přihlásit