Robots.txt je důležitý?

9. 9. 2016 23:19:38

Toto jsem našel na Google

Jak si poradit s chybami souboru robots.txt

Soubor robots.txt nepotřebujete vždy.

Soubor robots.txt potřebujete, pouze pokud se na vašich stránkách nachází obsah, který nechcete indexovat vyhledávači. Pokud chcete, aby vyhledávače na webových stránkách indexovaly vše, soubor robots.txt nepotřebujete – dokonce ani prázdný. Pokud soubor robots.txt nemáte, až jej bude Googlebot požadovat, vrátí mu server kód 404, a následně budeme v procházení vašeho webu pokračovat. Žádný problém.

A co seznam?

9. 9. 2016 23:19:38

https://webtrh.cz/diskuse/robots-txt-je-dulezity#reply1222919

Pavel Horelica

(54 hodnocení)

10. 9. 2016 07:17:07

ani pro seznam není důležitý.

10. 9. 2016 07:17:07

https://webtrh.cz/diskuse/robots-txt-je-dulezity#reply1222918

Vladimír Smitka

(4 hodnocení)

10. 9. 2016 07:55:59

Robots.txt je dobrý především na nastavení cesty k sitemapě. Pro vylučování obsahu z indexu je často lepší použít metatagy. Při vylučování v robots.txt je třeba si dát pozor na prozrazení citlivých informací, tvůrce webu tak často případnému útočníkovi sdělí seznam zajímavých adres - administrace, privátní sekce, složka se zálohami,... Pokud robots.txt neexistuje, tak se generuje chyba když na web přijde robot, což se stává často a režije s tím nemusí být nazanedbatelná a zbytečně se plní logy.

10. 9. 2016 07:55:59

https://webtrh.cz/diskuse/robots-txt-je-dulezity#reply1222917

Pro odpověď se přihlašte.

Přihlásit