Zamezení přístupu stahovačům webu

9. 6. 2011 14:36:16

Radek O.: zjistit adresy XML skoro z kteréhokoliv obchodu není až takový problém, protože zas tolik firem tvořících zajímavé obchody tady na trhu není a když znáte adresu na některý z nich, tak znáte v podstatě adresy na všechny další obchody, která ta firma dělala.

9. 6. 2011 14:36:16

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu/strana/3#reply643296

Webtrh obecný účet

(1 hodnocení)

9. 6. 2011 14:40:56

Aha, takze kdyz nekdo stahuje vase data z webu, je to nemoralni. Kdyz vy potaji vycmuchate, na ktere adrese maji XML soubory a ty si potaji stahujete, je to ciste a spravne?

9. 6. 2011 14:40:56

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu/strana/3#reply643295

Jakub Krupa

(29 hodnocení)

9. 6. 2011 15:35:19

inak tak ma napadá- keď nejaký spôsobom zamedzíte počet prezretých stránok za deň, nemôže to ovplyvniť aj činnosť napr google bota?

9. 6. 2011 15:35:19

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu/strana/3#reply643294

Tomáš Faldyna

(54 hodnocení)

9. 6. 2011 17:21:19

Napsal kubo01;664470
inak tak ma napadá- keď nejaký spôsobom zamedzíte počet prezretých stránok za deň, nemôže to ovplyvniť aj činnosť napr google bota?

Samozrejme ze muze, je to robot jako kazdy jiny....

Jenze googlebot se identifikuje a prichazi ze zname ip ... takze vyjimka jako vysita :)

9. 6. 2011 17:21:19

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu/strana/3#reply643293

zlutejbanan

9. 6. 2011 17:47:08

Radek O.: jasně sem tady psal že nám to stahování nijak nevadí, ale vadí nám způsob jakým se tak děje. On je rozdíl jestli stáhneš jeden soubor, který je navíc již předvygenerovaný a nebo jestli někomu projedeš celý web. Navíc normálnější obchody mají i možnost nastavit či zakázat místa která tyto jejich exporty mohou využívat, to že to nepoužívají je věc jiná. Další cestou jsou vyhledávače zboží, z těch ty data lze také získat.

9. 6. 2011 17:47:08

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu/strana/3#reply643292

Webtrh obecný účet

(1 hodnocení)

9. 6. 2011 17:57:21

aha, takze je to jen o tom, ze "zlodej krici..." proste vy jste urcil co vam vadi a co vam nevadi a dle toho jste dane veci rozdelil na ty dobre a ty nemoralni. Ja v tom rozdil nevidim, proste potaji jim sosate data, jen to delate jinak. Jeden zlodej vnikne do objeku, nezpusobi skodu a odnese veci a druhy rozbije dvere, vylohy a odnese veci. Ano, ten prvni je mozna o neco lepsi, ale stale je to zlodej.

Nicmene je to na kazdem, jak to bude delat. Koho a jak bude oznacovat apod. ale jsem rad, ze jsem se dobral alespon nejakeho nazoroveho vysledku.

9. 6. 2011 17:57:21

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu/strana/3#reply643291

Singularita

9. 6. 2011 20:45:33

Pokud je problém v tom, že někdo přetěžuje web, tak pro apache existuje pár modulů (mod_interval_limit, mod_limits, mod_vlimit, mod_vlimitconn, mod_bwshare), kterým lze podobné jedince co stahují moc rychle (ať už používají jakéhokoliv robota) a přetěžují web zpomalit nebo odstřihnout. Nasadit to lze pokud je web na vlastní mašině nebo VPS, u sdíleného hostingu to nepůjde (1 apache server společný pro X webů) a muselo by se na to jinak (dát tam nějaké počitadlo do PHP kódu a při překročení počtu requestů z jedné IP adresy za daný čas pak třeba na 15 minut odřiznout přístup).

9. 6. 2011 20:45:33

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu/strana/3#reply643290