Zabránění automatickému stahování stránek robotem

honyzahy

(5 hodnocení)

9. 8. 2013 03:56:11

Mám webovky na který mi chodí roboti a stahují moje data, čemuž chci zabránit.

napadá mě řešení schovat data do javascriptu a po natažení do browseru se rozkódují a vyrenderují.

Jen mám obavu, že je nenajde ani robot od googlu a pak mi ty data nezaindexuje :(

Neřešil jste to někdo, či neznáte řešení?

9. 8. 2013 03:56:11

https://webtrh.cz/diskuse/zabraneni-automatickemu-stahovani-stranek-robotem/#reply931898

Michal Kubíček

(84 hodnocení)

9. 8. 2013 07:16:04

Pouzij sluzbu typu www.incapsula.cz, ktera boty vyhledavacu pusti na tvuj web a jine bud zablokuje nebo je snadno bloknes pres rozhrani incapsuly ty.

9. 8. 2013 07:16:04

https://webtrh.cz/diskuse/zabraneni-automatickemu-stahovani-stranek-robotem/#reply931897

Kamil Tomšík

(3 hodnocení)

9. 8. 2013 08:26:43

Z principu je to nemozne - kdyz budu chtit, stahnu ti Tvoje data, ikdyz je budes renderovat javascriptem a nebo ikdyz tam budes mit captchu.

Uplne zabranit tomu proste nejde, ale pokud to dostatecne ztizis, tak se to treba jednoduse nevyplati (robot taky stoji penize a zalezi na tom, jak moc je hodnotny Tvuj obsah)

Ja osobne bych zvolil jinou taktiku, zjisti si IP, nebo nejak poznej, ze jde o toho konkretniho robota a posilej mu zmetky (useknuty text, spatne kodovani, nefungujici obrazky, apod.), zakaznik toho robota to bude mit za bug, programator robota to nebude chapat a bude to ladit do nekonecna, vyvoj se prodrazi a casem to vzdaji oba :)

Je treba to ale drzet v rozumnych mezich - programator to musi mit za bug, nesmi to byt prilis okate, jinak to prokoukne.

9. 8. 2013 08:26:43

https://webtrh.cz/diskuse/zabraneni-automatickemu-stahovani-stranek-robotem/#reply931896

Fautzi

(1 hodnocení)

9. 8. 2013 09:21:33

Omezit uzivatele treba na 3-5 requestu za vterinu pak ho treba na 5 vterin presmerovat na 403

9. 8. 2013 09:21:33

https://webtrh.cz/diskuse/zabraneni-automatickemu-stahovani-stranek-robotem/#reply931895

Macecha

(17 hodnocení)

9. 8. 2013 09:47:10

roboti dělají chybu, že posílají jeden request za druhým, řešto jenom u php souborů (ne obrázky)... běžný uživatel není schopen za 5 sekund načíst 5 stránek

9. 8. 2013 09:47:10

https://webtrh.cz/diskuse/zabraneni-automatickemu-stahovani-stranek-robotem/#reply931894

Tom

(6 hodnocení)

9. 8. 2013 11:21:59

Fautzi, Macecha: tak tam dám náhodný sleep v rozmezí třeba 1 - 5 sekund, takže ve finále jenom robot poběží pomaleji.. problém to neřeší

9. 8. 2013 11:21:59

https://webtrh.cz/diskuse/zabraneni-automatickemu-stahovani-stranek-robotem/#reply931893

Kovboj

(13 hodnocení)

9. 8. 2013 13:24:49

Napsal honyzahy;983677
Mám webovky na který mi chodí roboti a stahují moje data, čemuž chci zabránit.
napadá mě řešení schovat data do javascriptu a po natažení do browseru se rozkódují a vyrenderují.
Jen mám obavu, že je nenajde ani robot od googlu a pak mi ty data nezaindexuje :(
Neřešil jste to někdo, či neznáte řešení?

A proč tam ti roboti chodí a co stahují?

A co konkrétně je za problém - že ti "kradou data" nebo že ti zatěžují server?

9. 8. 2013 13:24:49

https://webtrh.cz/diskuse/zabraneni-automatickemu-stahovani-stranek-robotem/#reply931892

Roman

(15 hodnocení)

9. 8. 2013 13:28:13

A co obyčejné uzamčení dat do sekce pro registrované? Tam robot nepronikne.

BTW: mám auto a když jedu, každý mi na ně čumí, co s tím?

9. 8. 2013 13:28:13

https://webtrh.cz/diskuse/zabraneni-automatickemu-stahovani-stranek-robotem/#reply931891

Fautzi

(1 hodnocení)

9. 8. 2013 13:34:25

Ještě jedna otázka, rozpoznáš bezpečně BOTa od uživatele ?

9. 8. 2013 13:34:25

https://webtrh.cz/diskuse/zabraneni-automatickemu-stahovani-stranek-robotem/#reply931890

Tom

(6 hodnocení)

9. 8. 2013 16:24:58

Caesar: že robot nepronikne do sekce pro registrované? Prostě se tam autor robota zaregistruje a přes robota přihlásí..

9. 8. 2013 16:24:58

https://webtrh.cz/diskuse/zabraneni-automatickemu-stahovani-stranek-robotem/#reply931889

Macecha

(17 hodnocení)

9. 8. 2013 16:40:38

jedinné trochu účinné řešení je captcha, jako to má třeba seznam, že když bude podezřelý v počtu prohlídnutých stránek, tak po něm vyžádat opsat kód, jinak ho nepustit dále...

9. 8. 2013 16:40:38

https://webtrh.cz/diskuse/zabraneni-automatickemu-stahovani-stranek-robotem/#reply931888

Lukáš Čellár