Jak zábránit škrabce v klonovaní webu?

18. 2. 2016 10:52:17

Hojas, mám problém s jedním idiotem, který nasadil na můj web škrabku. Nějakým scriptem dokázal udělat klona mojeho webu bez stažení dat. Pouze nějakým způsobem předělal header a url adresy že místo mojí domény je tam jeho doména a ještě dokázal odfiltrovat reklamu na webu.. Vše mu funguje v reálném čase když něco přidám nebo upravím tak sem to hned projeví i na té škrabce... Zkusil sem požádat hosting o zablokování ip kterou má ta doména ale nepomolo to... Už sem měl pár takových případů škrabek ale vždy pomohlo zablokování ip.. Poradí někdo prosím??

18. 2. 2016 10:52:17

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu#reply1175930

Jan Kuthan

(48 hodnocení)

18. 2. 2016 11:29:38

dej si prozatím do stránky něco jako je tohle (psáno od oka, tak neručím za funkčnost) :)

18. 2. 2016 11:29:38

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu#reply1175929

David Koudela

(6 hodnocení)

18. 2. 2016 11:56:56

Dycky se ptám sám sebe čeho tím jako dosáhnou?

18. 2. 2016 11:56:56

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu#reply1175928

Daniel YO

18. 2. 2016 12:00:09

Zkousel jsi pridat do .htaccessu podminku na blokovani IP?

Jinak s terminem skrabka jsem se jeste nesetkal, nemas na mysli crawler?

18. 2. 2016 12:00:09

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu#reply1175927

Markussius

18. 2. 2016 12:00:11

Zkusil jsem tvůj script vložil jsem ho do headeru, ale nepomohlo to ...

18. 2. 2016 12:00:11

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu#reply1175926

Daniel YO

18. 2. 2016 12:01:30

Napsal dkoudela;1268446
Dycky se ptám sám sebe čeho tím jako dosáhnou?

Vetsinou je odpoved penize, ale obcas ti staci i data, ze kterych vydolujes, jak udelat penize... :)

18. 2. 2016 12:01:30

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu#reply1175925

meter21

(2 hodnocení)

18. 2. 2016 12:01:35

Neťahá to náhodou zo sitemapu alebo nejakého RSS streamu ?

Treba zistiť odkiaľ ťahá tie dáta , podsunúť mu nejaký adult obsah a nahlásiť adsence :-D

18. 2. 2016 12:01:35

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu#reply1175924

Jan Kuthan

(48 hodnocení)

18. 2. 2016 12:01:55

Napsal dkoudela;1268446
Dycky se ptám sám sebe čeho tím jako dosáhnou?

Jeden čas jsem řešil, že nějakej kkt agregoval z mých webů rss + další weby a podstrkával to seznam botovi. Pro uživatele pak zobrazil affil form. Světe div se, seznam to dlabal. Jednou za čas to projedu, weby co mi kopírují tímto stylem obsah obepíši ať to nedělají a když po týdnu neodpoví tak je na seznamu nahlásím, zdá se, že to funguje... :-/

18. 2. 2016 12:01:55

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu#reply1175923

Markussius

18. 2. 2016 12:02:13

tak v angličtině sem to našel jako web scraper :)

18. 2. 2016 12:02:13

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu#reply1175922

Daniel YO

18. 2. 2016 12:03:57

Aha, uz to chapu, ale dobry preklad to moc neni.. :)

18. 2. 2016 12:03:57

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu#reply1175921

Markussius

18. 2. 2016 12:07:13

no já na to vždy přijdu v GWT ve zpětných odkazech že najedou se tam objeví web který má na mě 2000 zpět odkazů a pak se podívám že je to vlastně můj web s jinou hlavičkou akorát... Zvažuji jestli mám takové weby nahlašovat do disallow seznamu v GWT...

18. 2. 2016 12:07:13

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu#reply1175920

korwin

(25 hodnocení)

18. 2. 2016 12:49:50

Co dat do .htaccess, že přístup z daných domén/ip bude blokován. Tím pádem by se to nemělo dát stáhnout tím jeho botem. Tedy za předpokladu, že ho pouští ze stejné domény/ip jako má webserver.

http://stackoverflow.com/questions/13872892/htaccess-deny-requests-from-unauthorized-domains

18. 2. 2016 12:49:50

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu#reply1175919

Markussius

18. 2. 2016 13:04:29

no já mám nginx tak že tam htaccess nefunguje :-/

18. 2. 2016 13:04:29

https://webtrh.cz/diskuse/jak-zabranit-skrabce-v-klonovani-webu#reply1175918

TomasX

(4 hodnocení)

18. 2. 2016 13:13:27

Hm a to nemůžeš otevřít google a podívat se jak to udělat v nginx? Je to jednoduché: