Jak zábránit škrabce v klonovaní webu?

18. 2. 2016 14:12:39

Napsal Martin Talavášek;1268522
Co když těch IP adres má tisíc?

Proti tomu se těžko brání, ale zase pochybuji, že zde půjde o nějaké sofistikované řešení, takže i pokud jich má víc, budou pravděpodobně ze stejného bloku v rámci DC.

18. 2. 2016 14:12:39

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu/strana/2#reply1175915

TomasX

(4 hodnocení)

18. 2. 2016 14:14:35

blokovat subnet, rare limit na subnety, nastavení konkurence. Blokovat IP adresy přes iptables, pokud jich jsou tisíce, házet je do ipset číselníku. To jsou statické metody.

Poté mohu kontrolovat kdo sekvenčně prochází web, časové rozdíly mezi požadavky. Aktivně získat meta informace ze serverů, které jsou podezřelé z vytěžování a hledat společné prvky (verze aplikací, timestamp, otevřené porty) a podle toho seleklivně ani ne blokovat, ale spíše throtlovat.

Metod je spousta a naši admini to musí řešit na denní bázi. Ač máme aplikaci naddimenzovanou na desetitisíce spojení, dokáže nás robot položit do kolen, zejména když chytne nějaké úzké hrdlo v infrastruktuře a vytěžuje nám až příliš určitou funkcionalitu. Základem je vše monitorovat, poté přistoupit na ruční blokaci a až poté se snažit věc zautomatizovat.

18. 2. 2016 14:14:35

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu/strana/2#reply1175914

korwin

(25 hodnocení)

18. 2. 2016 15:46:04

No zřejmě by ti stačilo naházet tam ip adresy těch webů co znáš a pak nějak automaticky monitorovat vytížení dle IP. A ty co vytěžují podezřele moc, tak bloknout. Samozřejmě na to bude i nějaký program, kde se jen nastaví limity a zbytek to udělá za tebe. Ale to už musíš googlovat sám :D

18. 2. 2016 15:46:04

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu/strana/2#reply1175913

vikox

(2 hodnocení)

18. 2. 2016 18:59:34

jednoduché řešení

zaplatit si

za template

za pluginy

za kvalitní hosting

atd.

vsadil bych si, že jde zase o nějaký pseudo porno web na wedosu

18. 2. 2016 18:59:34

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu/strana/2#reply1175912

korwin

(25 hodnocení)

18. 2. 2016 19:37:09

Napsal vikox;1268665
jednoduché řešení
zaplatit si
za template
za pluginy
za kvalitní hosting
atd.
vsadil bych si, že jde zase o nějaký pseudo porno web na wedosu

K čemu mu jako v tomto případě pomůže, že něco zaplatil a že má kvalitní hosting? Bože to jsou rady nad zlato...

18. 2. 2016 19:37:09

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu/strana/2#reply1175911

vikox

(2 hodnocení)

18. 2. 2016 19:47:10

mě to tady baví

Napsal korwin;1268681
K čemu mu jako v tomto případě pomůže, že něco zaplatil a že má kvalitní hosting? Bože to jsou rady nad zlato...

18. 2. 2016 19:47:10

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu/strana/2#reply1175910

korwin

(25 hodnocení)

18. 2. 2016 19:52:39

Jasně, takže když máš koupenou šablonu a kvalitní hosting (což je docela relativní pojem), tak ti robot nemůže okopírovat web? Tak to bych rád vyzkoušel, hoď sem doménu. :-)

18. 2. 2016 19:52:39

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu/strana/2#reply1175909

TomasX

(4 hodnocení)

18. 2. 2016 19:53:04

vikox: nj. ale ty nikoho nebavíš. Píšeš jen nesmysly.

Jinak k tématu mě napadla ještě další drobnost jak podobné kradení obsahu zkomplikovat. Lze zabránit zobrazování obrázků mimo tvůj web (např. http://nginxlibrary.com/hotlink-protection/). Jen mysli na to, že tím také zabráníš stahování pro vyhledávači, buď je naopak zase whitelistuješ nebo necháš být pokud pro tebe vyhledávání obrázků není prioritní, zároveň se tvoje obrázky nebudou objevovat na google Images. Pro větší web určitě nedoporučuji, ale pro menší to je zajímavý způsob levné ochrany.

18. 2. 2016 19:53:04

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu/strana/2#reply1175908

Bacon

(2 hodnocení)

18. 2. 2016 19:55:01

Napsal korwin;1268688
Jasně, takže když máš koupenou šablonu a kvalitní hosting (což je docela relativní pojem), tak ti robot nemůže okopírovat web? Tak to bych rád vyzkoušel, hoď sem doménu. :-)

Když máš kvalitní hosting, tak ti tam ten scraper aspoň může prát desítky/stovky/tisíce požadavků za vteřinu a ukradneš to rychleji. :D

18. 2. 2016 19:55:01

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu/strana/2#reply1175907

korwin

(25 hodnocení)

18. 2. 2016 20:05:39

Napsal TomášX;1268689
vikox: nj. ale ty nikoho nebavíš. Píšeš jen nesmysly.

Jinak k tématu mě napadla ještě další drobnost jak podobné kradení obsahu zkomplikovat. Lze zabránit zobrazování obrázků mimo tvůj web (např. http://nginxlibrary.com/hotlink-protection/). Jen mysli na to, že tím také zabráníš stahování pro vyhledávači, buď je naopak zase whitelistuješ nebo necháš být pokud pro tebe vyhledávání obrázků není prioritní, zároveň se tvoje obrázky nebudou objevovat na google Images. Pro větší web určitě nedoporučuji, ale pro menší to je zajímavý způsob levné ochrany.

Dík. Vyzkoušeno a funguje. Sice nepočítám s tím, že by to někdo dělal, ale co kdyby :-D

Bacon: No jasně, tak to asi myslel :-DD

18. 2. 2016 20:05:39

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu/strana/2#reply1175906

Markussius

18. 2. 2016 21:36:53

Já mám bohužel větší web.. A nemám přístup k serveru, tak že v nginx nic neudělám :/ .Budu to řešit s mojím správcem hostingu... jak toho hajzlíka zablokovat.. Napadlo mě nějak blokovat host name toho jeho serveru (Poskytovatele toho serveru). Nebo sehnat nějaký anti script který zablokuje aby se web nezobrazoval pod jinou domenou...

---------- Příspěvek doplněn 18.02.2016 v 23:25 ----------

Je možné udělat script aby reagoval jenom na tu jeho klonovací domenu a zobrazil např jenom bílou stránku místo mojeho webu ?

18. 2. 2016 21:36:53

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu/strana/2#reply1175905

Ladislav Výsmek

(14 hodnocení)

19. 2. 2016 06:14:56

Šup žalobu, ne?

19. 2. 2016 06:14:56

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu/strana/2#reply1175904

Daniel YO

19. 2. 2016 12:06:33

Ano, a jak ji postavis, kdyz sam prebiras adult? :) Jinak podavat TO na neznamou osobu je taky velka vyhra v teto zemi. Samozrejme nepocitam fakt, ze tu zalobu sam nesepises, takze utratis jeste za pravnika..

19. 2. 2016 12:06:33

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu/strana/2#reply1175903