Narast IP adries od botov – vyhladat a blokovat po jednom?

11. 8. 2016 18:18:40

Zdravim, posledny pol rok sa mi na webe nezdali cisla VIEWS podstranok so statistikou google analytics. Na webe som mal o 4-5 krat vyssie cisla ako podla GA. Zacal som to riesit az teraz a zo statistiky na serveri vidim, ze kazdy mesiac tam boli tisice stranok otvorenych cez rozne IP.

Napriklad minuly mesiac

54.235.239.231 - Amazon Technologies, 9 500 stranok

54.236.1.74 - Google, 3 500 stranok

54.175.250.225 - Merck and Co, 9 000 stranok

54.87.231.150 - Amazon Technologies - 13 000 stranok

Priblizne v 3 mesiaci 2016 tam vidim vela pristupov z Chiny.

Napriklad

36.110.171.185 - China Telecom Zhejiang, 6000 stranok

Statistika navstevnosti na webe mi tie IP samozrejme rata do views. Musim tieto IPcka manualne vyhladat a blokovat po jednom? Server mam od spolehlive-servery.cz, moze to mat nejaku spojitost?

11. 8. 2016 18:18:40

https://webtrh.cz/diskuse/narast-ip-adries-od-botov-vyhladat-a-blokovat-po-jednom/#reply1217032

anakonda

(4 hodnocení)

11. 8. 2016 19:37:49

Z jakeho duvodu vas to obtezuje? Pokud to nezatezuje server tak bych to neresil...

11. 8. 2016 19:37:49

https://webtrh.cz/diskuse/narast-ip-adries-od-botov-vyhladat-a-blokovat-po-jednom/#reply1217031

Saming

(7 hodnocení)

11. 8. 2016 19:52:08

server to asi nezatazuje. No ked mi tam denne otvori bot cca 20 000 stranok tak to je celkom dost. V podstate mi vadi len to, ze pocet views na strankach mam ovplyvneny tymito botmi podla IP adries.

11. 8. 2016 19:52:08

https://webtrh.cz/diskuse/narast-ip-adries-od-botov-vyhladat-a-blokovat-po-jednom/#reply1217030

weby

(2 hodnocení)

11. 8. 2016 20:15:28

Doporučuju začít tyhle scrapery blokovat. Amazon sve subnety publikuje https://ip-ranges.amazonaws.com/ip-ranges.json. Ale vždy je potřeba postupovat opatrně aby človek nezablokoval uživatele ale jen bad boty. Pro funkci webu obzvlášť v ČR stačí whitelistovat seznam.cz, google a pak možná ještě bing.

Amazon umožnuje klientovi využít více IP adres v jeden čas. Na mém serveru to občas bylo skoro jako ddos (kdy např behěm minuty proběhlo 500 požadavků na stránky). Rovněž blokovat ahrefs, majestic, atd atd.

Než jsem toto začal řešit jen jsem dokupoval a dokupovat výkon a trafik.

Do statistik by se to ale projevovat nemělo, pokud si je neděláte z http logu či přímo v php. GA apod to zpravidla neovlivní.

11. 8. 2016 20:15:28

https://webtrh.cz/diskuse/narast-ip-adries-od-botov-vyhladat-a-blokovat-po-jednom/#reply1217029

Vale

(7 hodnocení)

11. 8. 2016 20:45:33

Rob štatistiky cez js, odfiltruje to drvivú väčšinu robotov ..

11. 8. 2016 20:45:33

https://webtrh.cz/diskuse/narast-ip-adries-od-botov-vyhladat-a-blokovat-po-jednom/#reply1217028

Saming

(7 hodnocení)

11. 8. 2016 21:02:52

takze cez JS a nemam tych robotov ani riesit? Ja by som ani v podstate nezistil ze mi idu na stranku, keby som nezacal riesit ze mam vysoke cisla views na webe a realne to je niekde inde.

11. 8. 2016 21:02:52

https://webtrh.cz/diskuse/narast-ip-adries-od-botov-vyhladat-a-blokovat-po-jednom/#reply1217027

anakonda

(4 hodnocení)

11. 8. 2016 23:15:30

Napsal Saming;1316619
takze cez JS a nemam tych robotov ani riesit? Ja by som ani v podstate nezistil ze mi idu na stranku, keby som nezacal riesit ze mam vysoke cisla views na webe a realne to je niekde inde.

Já bych doporučoval to neřešit s vysokou pravděpodobností se na to boti za nějaký čas i vykašlou.

11. 8. 2016 23:15:30

https://webtrh.cz/diskuse/narast-ip-adries-od-botov-vyhladat-a-blokovat-po-jednom/#reply1217026

Martin Hubáček

(8 hodnocení)

12. 8. 2016 00:00:28

Nemyslím si, boti jsou zlo - obecně, ale záleží na tom jak je bot naprogramovaný.

12. 8. 2016 00:00:28

https://webtrh.cz/diskuse/narast-ip-adries-od-botov-vyhladat-a-blokovat-po-jednom/#reply1217025

Luděk Kvapil

12. 8. 2016 13:44:18

Boti jsou dobro.. Pomáhají automatizovat práci, kteoru by jinak museli dělat cvičené opice :p

12. 8. 2016 13:44:18

https://webtrh.cz/diskuse/narast-ip-adries-od-botov-vyhladat-a-blokovat-po-jednom/#reply1217024

TomasX

(4 hodnocení)

12. 8. 2016 14:18:57

boti se ti často podepisují do user-agenta a na serveru si je podle toho vyfiltruješ. Stejný, způsobem získáš i seznam ip adres, které si případně hodit do ignore v GA. Google (a další) se občas maskují, aby provedli kontrolu, že jim neposíláš něco jiného než lidem, těch přístupů není ale tolik, aby ti to zkreslilo statistiky.

Snad vylučovat roboty ze statistik je naprosto běžné už nějaký ten rok.

12. 8. 2016 14:18:57

https://webtrh.cz/diskuse/narast-ip-adries-od-botov-vyhladat-a-blokovat-po-jednom/#reply1217023

Pro odpověď se přihlašte.

Přihlásit