Zamezení přístupu stahovačům webu

7. 6. 2011 00:21:04

Jakým nejsnadnějším a nejefektivnějším způsobem lze zamezit přístup k obchodu službám jako je například Karsa Monitor, nebo jiným parazitům, kteří prochází několikrát denně kompletně celý shop a stahují tak v podstatě kompletní obsah stránek obchodu.

7. 6. 2011 00:21:04

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu#reply643326

Michal Kubíček

(84 hodnocení)

7. 6. 2011 01:15:57

pokud mate jejich IP, tak uz na urovni serveru. napr v htaccess

7. 6. 2011 01:15:57

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu#reply643325

zlutejbanan

7. 6. 2011 01:40:13

IP adresy samozřejmě nemám, protože se stahování děje z aplikace, kterou má uživatel uloženu u sebe v počítači a nemají statickou IP adresu.

---------- Post added 7.6.2011 at 1:46 ----------

Svinstvo je i to, že se to identifikuje jako běžný prohlížeč a ne jako robot a dělají tak vše pro to aby ty data z webů dostali a neberou ohledy na zájmy provozovatelů konkurenčních eshopů.

7. 6. 2011 01:40:13

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu#reply643324

eobchod

(8 hodnocení)

7. 6. 2011 02:46:29

Existuje způsob , ale to se musí upravit php kod :)

7. 6. 2011 02:46:29

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu#reply643323

zlutejbanan

7. 6. 2011 09:30:09

Nechat upravit php kod by nebyl problém jen bych musel vědět co přesně mam požadovat a jak to mají udělat :)

7. 6. 2011 09:30:09

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu#reply643322

Snyll

(15 hodnocení)

7. 6. 2011 09:48:08

Nejsem moc zkuseny programator, ale mozna by stacilo vytvorit session a omezit pocet nacteni stranky za urcity cas. V session by se pricitala hodnota s kazdym nactenim stranky a napr. po 11. nacteni stranky behem 5 sekund by se pristup na urcitou dobu zablokoval....ale to uz mozna vymyslim hovadiny :)

7. 6. 2011 09:48:08

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu#reply643321

Karsa

7. 6. 2011 10:27:02

Dobry den,

dovololim si vstoupit do této diskuze.

"neberou ohledy na zájmy provozovatelů konkurenčních eshopů."

Rekl bych, ze prave Karsa Monitor ohledy na konkurencni obchody bere - drtiva vetsina nasich zakazniku aplikaci vyuziva k tomu, aby vyhledala produkty, ktere muze zdrazit a tim zvysit svuj zisk. Neroztaci se tak cenova spirala, ktera je pro prodejce velice neprijemna.

S dynamickou cenotvorbou to je jako drive se SEO. Kdo SEO nedelal, ztratil svoje prodejni pozice. Takze nejlepsi obranou je zacit provadet dynamickou cenotvorbu take, coz je uz dnes dobre videt v zahranici, kde se s cenami pracuje mnohem vice a hlavne efektivneji.

Co se tyka technickych nastroju na zamezeni stahovani, nasazeni techto prostredku je nutne dukladne zvazit. Jakakoliv chyba v tomto scriptu se muze vymstit tim, ze dojde k zablokovani indexovacich robotu z vyhledavacu.

7. 6. 2011 10:27:02

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu#reply643320

zlutejbanan

7. 6. 2011 10:36:07

Karsa: Tady nám nejde vůbec o cenotvorbu, nebo že by si konkurence stáhla naše ceny, ale o to jakým způsobem to děláte. Pokud by si stahovali naše XML tak neřeknu ani slovo, ale tato metoda je prostě hnus, který v ten okamžik zatěžuje běh webu, dělá zbytečný přenos dat a zkresluje pak statistiky webu. Rozhodně by bylo seriozní se při takovém stahování identifikovat v hlavičce jako konkrétní robot.

---------- Post added 7.6.2011 at 10:38 ----------

Navíc pokud web nějakou ochranu zavede, tak se naopak snažíte všemi prostředky implementovat úpravy, které by takovou ochranu obešli, což mně tedy nepřijde už vůbec jako korektní jednání

7. 6. 2011 10:36:07

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu#reply643319

pavel88

(4 hodnocení)

7. 6. 2011 11:04:05

Jak jsem uvadel do PM jednani dle nas nese skutkovou podstatu proti pravniho jednani. Stat se neco podobneho nasemu klientovi, tak velmi zvazime, zda nebudeme na vlastni naklady vest rizeni k naprave. Cimz nevylucuji, ze se to tak u nas deje, pouze o tom nemam zadne infromace.

Citi-li se timto zpusobem nekdo poskozen, at mi napise PM s predmetem "crawler soud" a uvede vsechny ruzne www stranky, kterych se tento pripad tyka, dale jake dukazni materialy je schopen dolozit a zda ma zajem se na sporu aktivne financne podilet nebo se chce pouze svest.

Na PM budu reagovat za cca mesic, neni kam spechat.

pavel

7. 6. 2011 11:04:05

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu#reply643318

Martin Schlemmer

(36 hodnocení)

7. 6. 2011 11:11:35

Respektuje Karsa Monitor robots.txt?

7. 6. 2011 11:11:35

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu#reply643317

Webtrh obecný účet

(1 hodnocení)

7. 6. 2011 11:22:44

tak jako výrobce střelné zbraně není odpovědný za to, jak s ní majitel bude zacházet, tak ani tvůrce karsy není odpovědný za to, jak s tímto nástrojem bude ten, kdo si jej koupí zacházet. Obviňovat karsu prostě nejde, je to jen produkt. Pokud někdo nese nějakou odpovědnost, pak samozřejmě ten, kdo jej používá. Navíc je jen otázkou proč řešit karsu, když snad každý trochu pokročilý eshopář používá obdobné systémy ke sledování konkurence. Zda je to na zakázku tvořený, nebo nějaké komerční řešení z ČR ci světa je přeci jedno.

Navíc si neumím představit, co je na automatickém procházení webu a ukládání dat z něj nezákoného. Že to zatěžuje linky?

7. 6. 2011 11:22:44

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu#reply643316

zlutejbanan

7. 6. 2011 20:50:12

Radek O.: jenže zbraň má i svůj legální účel, což tato aplikace nemá

7. 6. 2011 20:50:12

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu#reply643315

Webtrh obecný účet

(1 hodnocení)

7. 6. 2011 21:05:25

pokud hovorite o legalnosti a nelegalnosti. cim uziti te aplikace a sken toho webu konkurence porusuje zakon? cim se chova jinak, nez roboti ruznych katalogu a vyhledavacu? proste prochazi web, stranku po strance a nacita si vybrane udaje a ty nekam zapisuje. Nemel bych nic proti tomu, kdyby to nekomu vadilo z nejakeho principu, ze mu konkurence sosa data pak to pochopim, ale resit tu nejakou nelegalnost, ci na to jeste podavat nejaka oznameni, to mi prijde uz hodne utazene. Navic kdyz tu nikdo neni schopen ani rici, jaky konkretni zakon ci paragraf tento program porusuje.

Pokud se neco takoveho najde, nemam problem zmenit svuj nazor, ale proste tu se dela z komara velbloud a resi se tu nastroj, ktery pouziva 9 z 10 eshopu v ruzne forme a ktery nicemu nevadi. A navic obrana je proti tomu naprosto jednoducha i bez php skriptu.

7. 6. 2011 21:05:25

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu#reply643314

zlutejbanan

7. 6. 2011 22:25:45

Radek O.: chování vyhledávacích robotů se dá korigovat pomocí robots.txt, což zde nelze. Jaké jednoduché řešení máš na mysli když neznáš předem IP adresy ze kterých to bude sosat?

7. 6. 2011 22:25:45

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu#reply643313

Webtrh obecný účet

(1 hodnocení)

8. 6. 2011 06:56:16

stále žádná informace o tom co je na te aplikaci nelegálního... asi se ničeho nedočkáme, ale budiž. Způsobů obran je poměrně mnoho od triviálních po takové, které tomuto nebrání, ale řeší jiné věci. Takže pokud vás to tak trápi, stačí např. omezit počet zobrazených stránek za určitý čas na jednu IP a máte to.

8. 6. 2011 06:56:16

https://webtrh.cz/diskuse/zamezeni-pristupu-stahovacum-webu#reply643312