AdSense - Robots.txt

Dobrý den. Obracím se na Vás s prosbou. V přehledu AdSense se mi v posledním týdnu u všech nových článků začalo zobrazovat - "Prohledávač: Soubor robots.txt je nedostupný - Omezení poptávky".

V "Nastavení - Robots.txt" mám nastabveno tohle:

User-Agent: *
Allow: /
Disallow: /admin/
Sitemap: /sitemap.xml

A našel jsem, že bych to měl upravit takto:

User-agent: *
Sitemap: http://regiony.mnoho.info/sitemap.xml

Je to správně, aby Google AdSense opět fungoval? Nemám s tím moc zkušeností. Dlouhé roky AdSense fungovalo bez problému. Děkuji za radu.

Pokud Google soubor robots.txt nevidí, je problém jinde, než v jeho obsahu. Může být problém na straně hostingu či CDN, který Googlebotu přístup nepovoluje.

V Search Console proveďte robots.txt tester ať víte, na čem jste.

Zkouším se dostat přes ověření. Teď čekám až mi Webhosting vloží soubor HTML. Jinými způsoby mi to nejde nastavit. 10 let vše fungovalo bez problému. V nápovědě AdSense jsem našel tohle:

Chcete-li soubor robots.txt aktualizovat a povolit prohledávači přístup na své stránky, odeberte ze souboru robots.txt následující dva řádky textu:

User-agent: Mediapartners-Google
Disallow: /

Myslel jsem, že mohl být v tomhle problém.

Teď čekám až mi Webhosting vloží soubor HTML.

Co to znamená?

Našel jsem si pár minut a zjistil tedy důvod vašeho problému. Váš web (regiony.mnoho.info), respektive hosting, který využíváte filtruje požadavky ze zahraničí a drtivou většinu požadavků odmítá, tedy i přístupy Googlebota a mnoha dalších (i běžných návštěvníků přes VPN či zahraniční IP adresy). To může vést k omezení indexace celého webu, jelikož k němu nemá Google přístup a jeho požadavky na váš web končí chybou net::ERR_TIMED_OUT.

Nástroje třetích stran na validaci robots.txt končí taky chybou. Doporučuji situaci urychleně řešit s hostingem, může se to projevit na snížení viditelnosti webu ve vyhledávání.

Moc děkuji. Hodně mi to pomohlo a budu to rychle řešit.

---------- Příspěvek doplněn 03.08.2021 v 09:54 ----------

Zdravím. Teď mi odepsala podpora z webhostingu:

Dobrý den. Na serveru, kde hostuje Vaše doména byly vedeny útoky ze zahraničí a některé rozsahy IP adres mohou být stále z naší strany blokovány. Pokud nám dodáte konkrétní IP adresu, tak ji můžeme přidat do whitelistu. Restrikce postupně klesají a počet blokovaných IP adres se tímto postupně snižuje.

Je prosím nějaký rozsah IP adres, které používá Google? Děkuji.