Seznam botů

5. 10. 2008 16:03:30

Ahoj,

přestal jsem používat analytics a zkouším si vytvořit vlastní monitorování stránek .) a potřeboval bych seznam botů, jak se identifikují. Bylo by super kdyby to bylo v .txt nebo nějaký takový formě.

5. 10. 2008 16:03:30

https://webtrh.cz/diskuse/seznam-botu/#reply136236

MzK

(44 hodnocení)

5. 10. 2008 16:57:37

Zrovna g analytics ti roboty nezaznamenávají, protože používají javascript. Mnohem lepší je použít awstats.

5. 10. 2008 16:57:37

https://webtrh.cz/diskuse/seznam-botu/#reply136235

Martin Klíma

(13 hodnocení)

5. 10. 2008 17:09:22

Napsal MzK;123753
Zrovna g analytics ti roboty nezaznamenávají, protože používají javascript. Mnohem lepší je použít awstats.

Možná je ale já se snažím udělat vlastní statistiky, a proto potřebuji seznam jmen a idetifikátorů botů. Zatím mám jen seznambot a googlebot.

5. 10. 2008 17:09:22

https://webtrh.cz/diskuse/seznam-botu/#reply136234

Petr Soukup

(5 hodnocení)

5. 10. 2008 17:16:14

http://www.google.cz/search?num=100&hl=cs&q=roboti+user-agent&lr=lang_cs

http://www.robotstxt.org/db.html

http://support.free-conversant.com/2701

.....

5. 10. 2008 17:16:14

https://webtrh.cz/diskuse/seznam-botu/#reply136233

Martin Klíma

(13 hodnocení)

5. 10. 2008 17:41:11

Napsal Souki;123763
http://www.google.cz/search?num=100&hl=cs&q=roboti+user-agent&lr=lang_cs
http://www.robotstxt.org/db.html
http://support.free-conversant.com/2701
.....

Thank you :thumbup:

5. 10. 2008 17:41:11

https://webtrh.cz/diskuse/seznam-botu/#reply136232

Honzaa

5. 10. 2008 20:33:12

Napsal Souki;123763
http://www.google.cz/search?num=100&hl=cs&q=roboti+user-agent&lr=lang_cs
http://www.robotstxt.org/db.html
http://support.free-conversant.com/2701
.....

V těch seznamech je plno jednoúčelových robotů, kteří velice pravděpodobně nenavštíví stránky v našich končinách.

Registruji několik známých, či méně známých robotů. Některé z nich zde uvedu tak, jak se hlásí v logu:

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

holmes/3.2.2

Jyxobot/1

Wget/1.9.1

Mozilla/4.0 compatible ZyBorg/1.0 Dead Link Checker (wn.dlc@looksmart.net; http://www.WISEnutbot.com)

Mozilla/4.0 compatible ZyBorg/1.0 (wn-13.zyborg@looksmart.net; http://www.WISEnutbot.com)

Gigabot/2.0

Jetbot/1.0

Pompos/1.3 http://dir.com/pompos.html

mffbot/3.0b (+galambosATksi.ms.mff.cuni.cz)

Mozilla/5.0 (compatible; BecomeBot/2.0.3; +http://www.become.com/webmasters.html)

Mozilla/5.0 (compatible; BecomeBot/1.83; MSIE 6.0 compatible; +http://www.become.com/site_owners.html)

SeznamBot/1.0 (+http://fulltext.seznam.cz/)

a někdy bloudí po internetu také můj bot a ten se hlásí takto:

AMFbot/1.0 (+http://www.automotoforum.cz)

5. 10. 2008 20:33:12

https://webtrh.cz/diskuse/seznam-botu/#reply136231

Jakub Stacho

(20 hodnocení)

5. 10. 2008 21:51:43

Nezapoměňte na ia_archiver (= alexa.com)

Jinak mám jen jeden zapadlý cz web, kde boty sleduju. Ale musím říct, že návštěvnost od nich je srovnatelná s návštěvností lidskou. Pro ilustraci seznam za poslední týden:

Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.8.1) VoilaBot BETA 1eBot / v.0.1e (<a href="http://alfa.elchron.cz" rel='nofollow' title="http://alfa.elchron.cz">http://alfa.elchron.cz</a>)msnbot-media/1.0 (+<a href="http://search.msn.com/msnbot.htm" rel='nofollow' title="http://search.msn.com/msnbot.htm">http://search.msn.com/msnbot.htm</a>)Yandex/1.01.001 (compatible; Win16; I)Mozilla/4.0 (compatible; Netcraft Web Server Survey)Gaisbot/3.0+(robot06@gais.cs.ccu.edu.tw;+<a href="http://gais.cs.ccu.edu.tw/robot" rel='nofollow' title="http://gais.cs.ccu.edu.tw/robot">http://gais.cs.ccu.edu.tw/robot</a>)Baiduspider+(+<a href="http://www.baidu.com/search/spider.htm" rel='nofollow' title="http://www.baidu.com/search/spider.htm">http://www.baidu.com/search/spider.htm</a>)WebAlta Crawler/2.0 (<a href="http://www.webalta.net/ru/about_webmaster.html" rel='nofollow' title="http://www.webalta.net/ru/about_webmaster.html">http://www.webalta.net/ru/about_webmaster.html</a>)Yeti/1.0 (NHN Corp.; <a href="http://help.naver.com/robots/" rel='nofollow' title="http://help.naver.com/robots/">http://help.naver.com/robots/</a>)PHP version tracker (<a href="http://www.nexen.net/phpversion/bot.php" rel='nofollow' title="http://www.nexen.net/phpversion/bot.php">http://www.nexen.net/phpversion/bot.php</a>)Eurobot/1.0 (<a href="http://eurobot.ayell.eu" rel='nofollow' title="http://eurobot.ayell.eu">http://eurobot.ayell.eu</a>)Mozilla/5.0 (compatible; Yahoo! Slurp China; <a href="http://misc.yahoo.com.cn/" rel='nofollow' title="http://misc.yahoo.com.cn/">http://misc.yahoo.com.cn/</a>... :)Xenu Link Sleuth 1.2jYanga WorldSearch Bot v1.1/beta (<a href="http://www.yanga.co.uk/" rel='nofollow' title="http://www.yanga.co.uk/">http://www.yanga.co.uk/</a>)Snapbot/1.0 (Snap Shots, +<a href="http://www.snap.com" rel='nofollow' title="http://www.snap.com">http://www.snap.com</a>)KnowItAll/Nutch-0.9 (Nutch-UW-Crawler; <a href="http://cs.washington.edu/homes/" rel='nofollow' title="http://cs.washington.edu/homes/">http://cs.washington.edu/homes/</a>...nrsbot/5.0(loopip.com/robot.html)Mozilla/5.0 (compatible; WebDataCentreBot/1.0; +<a href="http://WebDataCentre.com" rel='nofollow' title="http://WebDataCentre.com">http://WebDataCentre.com</a>...(+ samozřejmě notoricky známi roboti z předchozího příspěvku)

Prostě těch robotů je takové množství, že není možné je všechny sledovat. Jako lepší řešení mi přijde označit za robota vše, co nevypadá jako normální prohlížeč...

5. 10. 2008 21:51:43

https://webtrh.cz/diskuse/seznam-botu/#reply136230

Milan Kryl

(26 hodnocení)

6. 10. 2008 11:09:46

http://www.webmasterworld.com/forum24/855.htm

http://www.jafsoft.com/searchengines/webbots.html

6. 10. 2008 11:09:46

https://webtrh.cz/diskuse/seznam-botu/#reply136229

Martin Klíma

(13 hodnocení)

6. 10. 2008 16:46:38

[QUOTE=Honzaa;123859

a někdy bloudí po internetu také můj bot a ten se hlásí takto:

AMFbot/1.0 (+http://www.automotoforum.cz)

K čemu je takový vlastní bot?:)

6. 10. 2008 16:46:38

https://webtrh.cz/diskuse/seznam-botu/#reply136228

MzK

(44 hodnocení)

6. 10. 2008 17:36:58

Napsal Pooky;124213
K čemu je takový vlastní bot?:)

Minimálně k vkládání reklamy na svůj web do logů serveru :)

6. 10. 2008 17:36:58

https://webtrh.cz/diskuse/seznam-botu/#reply136227

MichalekII

(2 hodnocení)

6. 10. 2008 19:27:55

Napsal MzK;124244
Minimálně k vkládání reklamy na svůj web do logů serveru :)

No jistě, velice účinná reklama to je :eek2:

Ale jinak wikipedia říká:

Internetový robot nebo častěji jenom bot je počítačový program, který pro svého majitele opakovaně vykonává nějakou rutinní činnost na internetu - obvykle sbírá data, odesílá a zpracovává požadavky na služby vzdálených serverů.

Jak asi myslíte že se kontrolují desítky tisíc odkazů v katalogu? :confused:

6. 10. 2008 19:27:55

https://webtrh.cz/diskuse/seznam-botu/#reply136226

Honzaa

7. 10. 2008 06:18:00

Napsal Pooky;124213
K čemu je takový vlastní bot?:)

Jak už tady řekl MichalekII, slouží ke sbírání dat ze stránek a k čištění katalogu. Ano přítomnost robota v katalogu může být reklamou pro daný katalog už jenom proto, že se tím odlišuje od ostatních katalogů, které ho nemají. Ten můj bot prochází pouze defaulty stránek z katalogu a dělá si takové mini fulltextové vyhledávání a zároveň ověřuje platnost stránek.

7. 10. 2008 06:18:00

https://webtrh.cz/diskuse/seznam-botu/#reply136225

meloun

(5 hodnocení)

20. 2. 2010 22:27:05

Já mám teď na webu asi 3000 zobrazených stránek za 2 dny od "Dvtu/1.0 (compatible; MSIE 6.0; Windows NT 5.1; Linux; Vxworks)" - IP 211.154.136.237 - nějaká Čína - netušíte, co to může být?!

20. 2. 2010 22:27:05

https://webtrh.cz/diskuse/seznam-botu/#reply136224

Pro odpověď se přihlašte.

Přihlásit