Monitoring trhu/ceníků u určitého produktu a konkurence

8. 3. 2016 10:33:15

Zdravím,

sháním řešení, produkt či appku na monitoring určitého produktu. Tj. nějaký robot nebo něco podobného, co mi bude na stránkách, které navolím vyhledávat ceny a ceníky a třeba pár specifikací. Máte s tím někdo zkušenosti? Díky moc a hezký den! :-)

8. 3. 2016 10:33:15

https://webtrh.cz/diskuse/monitoring-trhu-ceniku-u-urciteho-produktu-a-konkurence#reply1180913

Webtrh obecný účet

(1 hodnocení)

8. 3. 2016 10:35:33

napr. karsa monitor. Nebo si nechat napsat skript.

8. 3. 2016 10:35:33

https://webtrh.cz/diskuse/monitoring-trhu-ceniku-u-urciteho-produktu-a-konkurence#reply1180912

Webtrh obecný účet

(1 hodnocení)

8. 3. 2016 10:46:24

Napsal Radek O.;1274332
napr. karsa monitor. Nebo si nechat napsat skript.

Díky za reakci! O Karse vím, tam mi jenom nesedí, že je to řešení na klíč. Z více důvodů bych to měl více pod kontrolou sám, než si nakupoval hotová data a pak se to taky určitě odrazí na ceně. Vím, že to nebude zadarmo, ale co mám zkušenosti s podobnými řešeními, tak bývají ceny násobné....

8. 3. 2016 10:46:24

https://webtrh.cz/diskuse/monitoring-trhu-ceniku-u-urciteho-produktu-a-konkurence#reply1180911

Luděk Kvapil

8. 3. 2016 10:47:13

A co sledovat jen srovnávače zboží? Všichni velcí hráči tam jsou.. Takže stačí scrapovat ceny ze srovnávače a máte přehled o většině trhu ;)

8. 3. 2016 10:47:13

https://webtrh.cz/diskuse/monitoring-trhu-ceniku-u-urciteho-produktu-a-konkurence#reply1180910

Webtrh obecný účet

(1 hodnocení)

8. 3. 2016 10:50:10

Má omluva, měl jsem napsat, že se nejedná o zboží v eshopech, ale spíše cenové nabídky a ceníky. A pokud vím, na ty produkty žádné srovnávače cen nefungují nebo hodně pofiderně. Ideálně bych si představoval nákup nějaké aplikace, jen se moc nevyznám v tom jaké....

8. 3. 2016 10:50:10

https://webtrh.cz/diskuse/monitoring-trhu-ceniku-u-urciteho-produktu-a-konkurence#reply1180909

Luděk Kvapil

8. 3. 2016 10:52:47

Pokud je počet stránek omezený, tak jde použít OpenRefine, nebo si napsat PHP script... To Refine by se dalo použít i pro větší počet stránek, ale vždy by to také chtělo data doupravit... Což by to PHP zvládlo samo. Ovšem Refine je zadara...

8. 3. 2016 10:52:47

https://webtrh.cz/diskuse/monitoring-trhu-ceniku-u-urciteho-produktu-a-konkurence#reply1180908

i-PRESS

(2 hodnocení)

8. 3. 2016 10:54:24

Pokud všechny zdroje neposkytují nějaké API, nebo feed, bude se muset parsovat informace z webu. To bude třeba udělat pro každé umístění zvlášť, takže cena se bude odvíjet podle toho, z kolika zdrojů v jakém formátu se budou data zjišťovat.

Toto řešení má i jednu další nevýhodu a to tu, že zásadnější změny na straně provozovatele webu to mohou "pokazit", takže je potřeba počítat i s občasnými úpravami. Z principu nemůže na rozdílné weby existovat nic univerzálního. Buď se tahají feedy, nebo parsuje jeden zdroj po druhém.

8. 3. 2016 10:54:24

https://webtrh.cz/diskuse/monitoring-trhu-ceniku-u-urciteho-produktu-a-konkurence#reply1180907

Webtrh obecný účet

(1 hodnocení)

8. 3. 2016 11:20:12

Tak jedná se o něco mezi 50 až 100 stránkami, u některých je nabídka víceúrovňová. U všech předpokládám ceník uveřejněný napřímo bez stahování cen. Většinou by to měla být tabulka, ze které bych potřeboval mimo ceny +- 5 dalších údajů. Ideálně, aby to bylo stažitelné do Excelu, abych s daty mohl dále pracovat.

Prozatím to dělám tak, že stránky procházím a ručně kopíruji tabulky a pokud to nejde, tak otrocky přepisuji, což je šíleně zdlouhavé, je tam obrovská chybovost a vzhledem k tomu jak to trvá a kolik mám jiných věcí, co nemůžu provádět tak často, jak bych chtěl. A že se struktura stránek mění je bohužel pravda, ale tam mám odkoukané max 3 změny u všech v rámci měsíce.

8. 3. 2016 11:20:12

https://webtrh.cz/diskuse/monitoring-trhu-ceniku-u-urciteho-produktu-a-konkurence#reply1180906

James.pond

(15 hodnocení)

8. 3. 2016 11:27:41

Zkus si zadat poptávku. Zdarma ti to asi nikdo dělat nebude, pokud to nezvládneš sám.

8. 3. 2016 11:27:41

https://webtrh.cz/diskuse/monitoring-trhu-ceniku-u-urciteho-produktu-a-konkurence#reply1180905

Webtrh obecný účet

(1 hodnocení)

8. 3. 2016 11:30:21

Hrozně rád bych zadal, ale prozatím moc ani nevím na co. :-) A jak říkám, nechci službu na klíč, kde mi někdo externí bude dodávat data, prozatím hledám jenom možnost technického řešení. Nějaké technické znalosti a schopnosti mám, tak bych se nedřív s programem seznámil, zkusil skripty na jednotlivé stránky nastavit sám a případně poptal někoho na nastavení, ale přijde mi zbytečné poptávat teď, když ještě nemám ponětí o řešení. :)

8. 3. 2016 11:30:21

https://webtrh.cz/diskuse/monitoring-trhu-ceniku-u-urciteho-produktu-a-konkurence#reply1180904

Roman

(55 hodnocení)

8. 3. 2016 11:44:44

Pochybuji, že existuje "program" tak univerzální, že nastavíš třeba url, nějaký parametr a on projde web a vydoluje informace - každý web je jiný a údaje jsou někde jinde, tudíž musíš třeba pro 5 webů udělat 5 skriptů co budou data tahat.

8. 3. 2016 11:44:44

https://webtrh.cz/diskuse/monitoring-trhu-ceniku-u-urciteho-produktu-a-konkurence#reply1180903

Webtrh obecný účet

(1 hodnocení)

8. 3. 2016 11:49:58

Napsal RK;1274372
Pochybuji, že existuje "program" tak univerzální, že nastavíš třeba url, nějaký parametr a on projde web a vydoluje informace - každý web je jiný a údaje jsou někde jinde, tudíž musíš třeba pro 5 webů udělat 5 skriptů co budou data tahat.

S tím počítám, že ze začátku budu muset pro každý web provést nastavení do skriptu dle webových elementů.

8. 3. 2016 11:49:58

https://webtrh.cz/diskuse/monitoring-trhu-ceniku-u-urciteho-produktu-a-konkurence#reply1180902

Luděk Kvapil

8. 3. 2016 11:53:36

Mrkněte na to OpenRefine. Stačí každý den přidat nový sloupec "by fetching URL". Pak se ten HTML kód rozseká. Stačí nějaký split alá: value.split("Ceník")... plus split nakonci.. Také práce, ale když si to člověk jednou napíše, tak si můžu dát pro výraz hvězdičku a tak budu vědět, že třeba pro ten a ten web mám použít tento výraz, vyhledám, použiju a mám čistá strukturovaná data... Nějaká práce kolem je, ale jde to i bez znalosti programování...

8. 3. 2016 11:53:36

https://webtrh.cz/diskuse/monitoring-trhu-ceniku-u-urciteho-produktu-a-konkurence#reply1180901

i-PRESS

(2 hodnocení)

8. 3. 2016 11:57:35

Obecně není problém z webu informace vyparsovat, ale obávám se že u 100 zdrojů to bude práce spíše na fulltime úvazek, někde se struktura mění i když to vizuálně není znát :-)))

Určitě něco takového napsat lze, ale bez ověření všech zdrojů Vám nikdo asi nic moc nenabídne. Ono je třeba také myslet na to, že se servery tomuto různě brání omezením počtu requestů z IP, pak jich může být potřeba třeba více. Pokud byste řešil 5 zrojů viděl bych to reálně, ale jak píše RK, každý z nich vyžaduje zvláštní přístup, což při velkém počtu odrazuje.

Pokud to nyní děláte ručně, tak by Vám zatím mohlo alespoň částečně pomoci monitoring změny. Nemusel byste ručně kontrolovat, zda se cena/popis změnil. Šlo by na to využít třeba browser plugin (chrome) VisualPing, který umí hlídat v nastaveném intervalu třeba 1 minuta/hodina zda se stránka změnila vizuálním porovnáním. U stránek, které obsahují balastní informace jako feed z twitteru atd lze nastavit i oblast stránky která se kontroluje a v případě změny vyhodí notifikaci. umí to kontrolovat jak z browseru (musí být puštěn), tak z jejich serveru.

8. 3. 2016 11:57:35

https://webtrh.cz/diskuse/monitoring-trhu-ceniku-u-urciteho-produktu-a-konkurence#reply1180900

Webtrh obecný účet

(1 hodnocení)

8. 3. 2016 15:30:49

Napsal i-PRESS;1274380
Obecně není problém z webu informace vyparsovat, ale obávám se že u 100 zdrojů to bude práce spíše na fulltime úvazek, někde se struktura mění i když to vizuálně není znát :-)))
Určitě něco takového napsat lze, ale bez ověření všech zdrojů Vám nikdo asi nic moc nenabídne. Ono je třeba také myslet na to, že se servery tomuto různě brání omezením počtu requestů z IP, pak jich může být potřeba třeba více. Pokud byste řešil 5 zrojů viděl bych to reálně, ale jak píše RK, každý z nich vyžaduje zvláštní přístup, což při velkém počtu odrazuje.
Pokud to nyní děláte ručně, tak by Vám zatím mohlo alespoň částečně pomoci monitoring změny. Nemusel byste ručně kontrolovat, zda se cena/popis změnil. Šlo by na to využít třeba browser plugin (chrome) VisualPing, který umí hlídat v nastaveném intervalu třeba 1 minuta/hodina zda se stránka změnila vizuálním porovnáním. U stránek, které obsahují balastní informace jako feed z twitteru atd lze nastavit i oblast stránky která se kontroluje a v případě změny vyhodí notifikaci. umí to kontrolovat jak z browseru (musí být puštěn), tak z jejich serveru.

Jo, s tím počítám, že nastavit to pro začátek nebude uplně snadné... Takhle, já to nepotřebuji do aktualizace v reálném čase, ale že si jednou týdně, měsíčně, za 14 dní nechám vyjet všechny potřebné společnosti.

8. 3. 2016 15:30:49

https://webtrh.cz/diskuse/monitoring-trhu-ceniku-u-urciteho-produktu-a-konkurence#reply1180899