Neznámý, příliš aktivní, bot?!

7. 10. 2008 15:27:56

Zdravím,

používám statistiky Awstats a poslední měsíc se mi v přístupu robotů ukazuje jeden neidentifikovaný (rozpoznaný podle nevyplněné identifikace nebo tak nějak to píše). Je docela nenasytný - na mých osobních stránkách, kde je minimální návštěvnost a objem dat kolem 120MB, nastahoval jen za poslední týden 200MB!! Máte s tím někdo zkušenost, jak jej třeba zablokovat, nebo alespoň zjistit víc informací? Nedává mi to smysl, kdyby se snažil prolomit protispamový filtr, tak nemůže jít o takový objem dat... nebo se pletu??

Dík za cokoliv - je to pro mě spíše zvědavost, zatím se nic vážného neděje:eek2:

7. 10. 2008 15:27:56

https://webtrh.cz/diskuse/neznamy-prilis-aktivni-bot/#reply137356

Kuba

(1 hodnocení)

7. 10. 2008 16:23:58

Tohle mi dělá na fóru robot Holmes. Nerespektuje rozšířenou syntaxi robots.txt a leze kam nemá, v důsledku čehož má větší traffic než návštěvníci. Říkám mu proto Houmles a někdo mě teď nebude mít rád :)

7. 10. 2008 16:23:58

https://webtrh.cz/diskuse/neznamy-prilis-aktivni-bot/#reply137355

pavolzetor

8. 10. 2008 16:16:55

pozri si http://gt.hy.cz/log.txt tam je ties nenasytni bot, sprav na zaciatku webu podmienku

8. 10. 2008 16:16:55

https://webtrh.cz/diskuse/neznamy-prilis-aktivni-bot/#reply137354

tomiik

8. 10. 2008 18:23:20

"Pavolzetor" - vypadá to použitelně, vyzkouším a případně dám vědět, co to vyvedlo:-)

8. 10. 2008 18:23:20

https://webtrh.cz/diskuse/neznamy-prilis-aktivni-bot/#reply137353

pavolzetor

9. 10. 2008 17:07:09

ok, snad to nevivede nieco zle :-D

9. 10. 2008 17:07:09

https://webtrh.cz/diskuse/neznamy-prilis-aktivni-bot/#reply137352

tomiik

11. 10. 2008 06:33:12

Pokud jsem to podle toho návodu udělal správně, tak to nezabralo, neznámý bot má stále apetit kolem 100MB denně.

Ale možná je to jen chyba zápisu či co já vím...

11. 10. 2008 06:33:12

https://webtrh.cz/diskuse/neznamy-prilis-aktivni-bot/#reply137351

pavolzetor

11. 10. 2008 20:29:16

to nie je, tych 100 MB je odosielanie? ak ano tak nejak zakaz cez .htacces aby neposielal ziadnu dopoved (neviem ci to ide)

11. 10. 2008 20:29:16

https://webtrh.cz/diskuse/neznamy-prilis-aktivni-bot/#reply137350

tomiik

12. 10. 2008 06:39:35

No, nevím s čím to má spojitost, v těch statistikách je to jen jako objem dat, které si stáhl příslušný bot, plus je uveden součet kliknutí za období a poslední návštěva. U toho neidentifikovaného je už 450MB a přes 1500 kliknutí - a vzhledem k tomu, že tam ani tolik dat není a čte to tudíž znovu a znovu stejné věci...

12. 10. 2008 06:39:35

https://webtrh.cz/diskuse/neznamy-prilis-aktivni-bot/#reply137349

pl4nt

18. 10. 2008 02:54:29

Napsal tomiik;126423
Pokud jsem to podle toho návodu udělal správně, tak to nezabralo, neznámý bot má stále apetit kolem 100MB denně.
Ale možná je to jen chyba zápisu či co já vím...

Ten "slovákův" postup nefunguje z jednoduchého důvodu, že ten bot prostě má vyplněnou hlavičku USER_AGENT-a. V awstats je uveden jako neznámý, protože awstats prostě nedokáže identifikovat onoho robota --> nemá v databázi jeho odesílanou USER_AGENT hlavičku.

Jediné řešení je prostě nějak zjistit o jakého robota se jedná a zakázat mu přístup v robots.txt.

18. 10. 2008 02:54:29

https://webtrh.cz/diskuse/neznamy-prilis-aktivni-bot/#reply137348

tomiik

20. 10. 2008 22:22:05

hmm... a dá se to třeba nějak vyčíst z acces-logu nebo tak nějak, o jakou potvoru se jedná??

A jaký je potom zápis v robots.txt?

Dík

20. 10. 2008 22:22:05

https://webtrh.cz/diskuse/neznamy-prilis-aktivni-bot/#reply137347

pcservisostrava

(3 hodnocení)

20. 10. 2008 22:58:16

Napsal tomiik;131210
hmm... a dá se to třeba nějak vyčíst z acces-logu nebo tak nějak, o jakou potvoru se jedná??
A jaký je potom zápis v robots.txt?

Dík

pokud je to třeba DTS Agent (Email Collector/Spam), tak mu je nějaký robots.txt ukradený. Spíše si nainstaluj skript, který boty identifikuje a pak to zjistíš 1-2 včetně IP adres

20. 10. 2008 22:58:16

https://webtrh.cz/diskuse/neznamy-prilis-aktivni-bot/#reply137346

tomiik

21. 10. 2008 06:33:23

pokud je to třeba DTS Agent (Email Collector/Spam), tak mu je nějaký robots.txt ukradený. Spíše si nainstaluj skript, který boty identifikuje a pak to zjistíš 1-2 včetně IP adres

Dík za tip

Můžu ještě poprosit o nějaký link, kde bych se dozvěděl o vhodných scriptech a jak je použít...?

21. 10. 2008 06:33:23

https://webtrh.cz/diskuse/neznamy-prilis-aktivni-bot/#reply137345

TVoidos

(3 hodnocení)

21. 10. 2008 07:13:25

Bot má asi hlad.

21. 10. 2008 07:13:25

https://webtrh.cz/diskuse/neznamy-prilis-aktivni-bot/#reply137344

pcservisostrava

(3 hodnocení)

21. 10. 2008 08:32:43

Napsal tomiik;131283
Dík za tip
Můžu ještě poprosit o nějaký link, kde bych se dozvěděl o vhodných scriptech a jak je použít...?

<?php  /**   * customizedscripts.biz Search Engine Tool   * version 1.0   * Copyright (C) 2006 Peter Soper http://www.customizedscripts.biz/   * PHP script to log search engines spider visits.   * FREE TO USE BUT DO NOT REMOVE COPYRIGHT NOTICES OR CHANGE ANYTHING   * EMAIL info@customizedscripts.biz for customisation or any info      */  /**   * for emal reports place your email betweem the red commas (optional)   */  $email = "tvuj@mail.sem";  /**   * Location of the log file (optional)   */  $log = "/bots.log";  /**   * Date/Time format   */  $dateTime = date("r");  // DO NOT MODIFY BELOW THIS //////////////////////////////////////////  $agents[] = 'scooter';  $spiders[] = "Scooter (Altavista's robot www.altavista.com)";  $agents[] = 'googlebot';  $spiders[] = 'Google';  $agents[] = 'slurp';  $spiders[] = "Slurp (Inktomi's robot, HotBot)";  $agents[] = 'webmoose';  $spiders[] = "Webmoose (MSN.com's robot, www.msn.com)";  $agents[] = 'gulliver';  $spiders[] = "Gulliver (Northern Light's robot, www.northernlight.com)";  $agents[] = 'lycos';  $spiders[] = 'Lycos www.lycos.com';  $agents[] = 'wombat';  $spiders[] = "WebWombat's robot, www.webwombat.com.au";  $agents[] = 'infoseek';  $spiders[] = 'Infoseek www.infoseek.com';  $agents[] = 'askjeeves';  $spiders[] = 'Askjeeves www.askjeeves.com';  $agents[] = 'freecrawl';  $spiders[] = "Free Crawl (Euroseek's robot, www.euroseek.com)";  $agents[] = 'robozilla';  $spiders[] = "Robozilla (DMOZ's Directory link checker robot, www.dmoz.com)";  $agents[] = 'zyborg';  $spiders[] = "ZyBorg (WiseNut's robot, www.wisenutbot.com)";  $agents[] = 'Gigabot';  $spiders[] = 'Gigabot, www.gigablast.com';  $agents[] = 'Ask Jeeves/Teoma';  $spiders[] = 'Ask Jeeves/Teoma, www.teoma.com, www.askjeeves.com';  $agents[] = 'grub-client';  $spiders[] = 'Grub (Looksmart Grub client robot, www.grub.org)';  $agents[] = 'linkwalker';  $spiders[] = 'Linkwalker (SevenTwentyFour link checker robot, www.seventwentyfour.com)';  $agents[] = 'ia_archiver';  $spiders[] = "Internet Archive (Alexa & WayBackMachine's robot, www.archive.org, www.alexa.com)";  $agents[] = 'TurnitinBot';  $spiders[] = 'TurnitinBot (Anti-Plagiarism robot, www.turnitin.com)';  $agents[] = 'atSpider';  $spiders[] = 'atSpider (Email Collector/Spam)';  $agents[] = 'autoemailspider';  $spiders[] = 'autoemailspider (Email Collector/Spam)';  $agents[] = 'cherrypicker';  $spiders[] = 'cherrypicker (Email Collector/Spam)';  $agents[] = 'DSurf';  $spiders[] = 'DSurf (Email Collector/Spam)';  $agents[] = 'DTS Agent';  $spiders[] = 'DTS Agent (Email Collector/Spam)';  $agents[] = 'EliteSys Entry';  $spiders[] = 'EliteSys Entry (Email Collector/Spam)';  $agents[] = 'EmailCollector';  $spiders[] = 'EmailCollector (Email Collector/Spam)';  $agents[] = 'EmailSiphon';  $spiders[] = 'EmailSiphon (Email Collector/Spam)';  $agents[] = 'EmailWolf';  $spiders[] = 'EmailWolf (Email Collector/Spam)';  $agents[] = 'Mail Sweeper';  $spiders[] = 'Mail Sweeper (Email Collector/Spam)';  $agents[] = 'msnbot';  $spiders[] = 'MSN Robot (MSN Search, search.msn.com)';  $agents[] = 'whatuseek';  $spiders[] = 'What You Seek';  $agents[] = 'yahoo! slurp';  $spiders[] = 'Yahoo! Slurp';  $agents[] = 'seznambot';  $spiders[] = 'Seznam Bot';  $found = false;  for ($spi = 0; $spi < count($spiders); $spi++)    if ($found = eregi($agents, $_SERVER))      break;  if ($found) {    $url = "http://" . $_SERVER. $_SERVER;    if ($_SERVER != "") {      $url .= '?' . $_SERVER;    }    $line = $dateTime . " " . $spiders. " @ " . $url;    if ($log != "") {      if (@file_exists($log)) {        $mode = "a";      } else {        $mode = "w";      }      if ($f = @fopen($log, $mode)) {        @fwrite($f, $line . "n");        @fclose($f);      }    }    if ($email != "") {      $headers = "From: <$email>n";      $headers .= "X-Sender: <$email>n";      $headers .= "X-Mailer: Search Engine Bot detectorn";      $headers .= "X-Priority: 3n";      $subject = $spiders. " crawled your site";      @mail($email, stripslashes($subject), wordwrap(stripslashes($line)), $headers);    }  }  ?>

21. 10. 2008 08:32:43

https://webtrh.cz/diskuse/neznamy-prilis-aktivni-bot/#reply137343

tomiik

23. 10. 2008 06:38:55

Díky, tak ten script funguje, bohužel zatím jen napůl. Jednoznačně to poznalo a nahlásilo Google a Yahoo, ale ostatní nic, přitom Awstats hlásí min. 4 další... Mělo by smysl vytvořit index soubor se scriptem do každé složky??

23. 10. 2008 06:38:55

https://webtrh.cz/diskuse/neznamy-prilis-aktivni-bot/#reply137342