Roboti ( Boti) – Jak indexují

30. 12. 2008 10:01:14

Dnes sem na Internetu narazil na zajímavý článek o robotech největších vyhledavačů, docela mě zarazil google u kterého jsem si myslel že indexuje nejlépe a nejrychleji. Ale nejrychlejší je Yahoo.

Tady se můžete podívat na krátkou animaci jak Yahoo indexuje stránky na internetu, každé větev toho stromu je jedna stránka, za dvě hodiny jich prošel přes 30.000.

http://drunkmenworkhere.org/219.php?a=yahoo2hour

30. 12. 2008 10:01:14

https://webtrh.cz/diskuse/roboti-boti-jak-indexuji/#reply193375

martin1

(9 hodnocení)

30. 12. 2008 10:53:15

1) je to celkem stare (viz. rok 2005 ve videu) ... lecos se tedy mohlo zmenit

2) spis to ukazuje, ze nekteri roboti na to jdou hrubou silou a nekteri inteligentne

Google velmi rychle pochopil, ze na tom webu neni nic zajimaveho, tak sel pryc :-)

Cim ma web vetsi page rank, je casteji aktualizovany, atd. tim casteji se google vraci, rychleji a hloubeji indexuje.

30. 12. 2008 10:53:15

https://webtrh.cz/diskuse/roboti-boti-jak-indexuji/#reply193374

martin1

(9 hodnocení)

30. 12. 2008 10:55:54

Zajimave ale je, ze mezi domenami, na ktere odkazoval spam jsou dve CZ domeny ... tiscali.cz a multiweb.cz :-)

30. 12. 2008 10:55:54

https://webtrh.cz/diskuse/roboti-boti-jak-indexuji/#reply193373

krnac

(14 hodnocení)

30. 12. 2008 11:03:05

Ještě mě zaráží jedna věc, možná že jsem paranoidní, jak je možně že roboti prolézají třeba ACP a různé klíčové složky webu, docela by mě zajímalo jak je to možné.

Co když se někdo inspiruje jejich kódem , pustí ho ven a má vše, jak to dělají?

A další věc co mě zarazila je, že když zakážu všem robotům přes robots.txt, přístup do některých složek tak někteří roboti to neakceptují, třeba yahoo. Podle mého pozorování ho robots.txt vůbec nezajímá, google to pochopil celkem rychle.

30. 12. 2008 11:03:05

https://webtrh.cz/diskuse/roboti-boti-jak-indexuji/#reply193372

martin1

(9 hodnocení)

30. 12. 2008 11:10:11

Napsal krnac;176651
Ještě mě zaráží jedna věc, možná že jsem paranoidní, jak je možně že roboti prolézají třeba ACP a různé klíčové složky webu, docela by mě zajímalo jak je to možné.
Co když se někdo inspiruje jejich kódem , pustí ho ven a má vše, jak to dělají?
A další věc co mě zarazila je, že když zakážu všem robotům přes robots.txt, přístup do některých složek tak někteří roboti to neakceptují, třeba yahoo. Podle mého pozorování ho robots.txt vůbec nezajímá, google to pochopil celkem rychle.

prvni pulce dotazu vubec nerozumim.

co se tyka yahoo a robots.txt, tak to vyzkouseno nemam.

30. 12. 2008 11:10:11

https://webtrh.cz/diskuse/roboti-boti-jak-indexuji/#reply193371

krnac

(14 hodnocení)

30. 12. 2008 11:15:03

Prostě mi lezou do ovládacích panelů celého webu, kam má přístup jenom administrátor. Jedním kliknutím shodíš celé stránky.

30. 12. 2008 11:15:03

https://webtrh.cz/diskuse/roboti-boti-jak-indexuji/#reply193370

martin1

(9 hodnocení)

30. 12. 2008 11:18:31

Napsal krnac;176668
Prostě mi lezou do ovládacích panelů celého webu, kam má přístup jenom administrátor. Jedním kliknutím shodíš celé stránky.

to by sis mel ale ovladaci panel nejak zabezpecit :-)

to ti tam nemusi lezt primo yahoo, ale jen nejaky skript, ktery se za nej vydava. snazi se najit nezabezpecenou administraci nebo zneuzit nejaky exploit

30. 12. 2008 11:18:31

https://webtrh.cz/diskuse/roboti-boti-jak-indexuji/#reply193369

krnac

(14 hodnocení)

30. 12. 2008 11:29:21

Zde máte info, stále v administraci.

Yahoo IP: 72.30.79.36 » Whois

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

30. 12. 2008 11:29:21

https://webtrh.cz/diskuse/roboti-boti-jak-indexuji/#reply193368

FAKAM

(10 hodnocení)

30. 12. 2008 11:36:11

Google bot indexoval v minulosti pomalšie ako teraz. Dnes dokáže a robí tak, že často aktualizované weby ako napr webtrh dokáže zaindexovať v ten istý deň. Nie každy web je zaindexovaný tak rýchlo. Záleži od viacerých kritérii

30. 12. 2008 11:36:11

https://webtrh.cz/diskuse/roboti-boti-jak-indexuji/#reply193367

eMan

(48 hodnocení)

30. 12. 2008 11:41:38

pokud máš bota v adminu na svých stránkách tak je to chyba v zabezpečení..

jaký že to jsou stránky ?? :)

30. 12. 2008 11:41:38

https://webtrh.cz/diskuse/roboti-boti-jak-indexuji/#reply193366

krnac

(14 hodnocení)

30. 12. 2008 11:47:17

Proč to chceš vědět:D viz. můj podpis.

30. 12. 2008 11:47:17

https://webtrh.cz/diskuse/roboti-boti-jak-indexuji/#reply193365

martin1

(9 hodnocení)

30. 12. 2008 11:49:18

Napsal krnac;176684
Zde máte info, stále v administraci.

Yahoo IP: 72.30.79.36 » Whois
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

kdyz tam muze bot, tak tam muze i kdokoliv jiny, kdo zna spravnou url. mel by sis to zabezpecit :-)

30. 12. 2008 11:49:18

https://webtrh.cz/diskuse/roboti-boti-jak-indexuji/#reply193364

krnac

(14 hodnocení)

30. 12. 2008 11:51:43

Ale já to mám zabezpečené, tedy alespon doufám

30. 12. 2008 11:51:43

https://webtrh.cz/diskuse/roboti-boti-jak-indexuji/#reply193363

Pro odpověď se přihlašte.

Přihlásit