02.08.2021 15:01
1
Dobrý den. Obracím se na Vás s prosbou. V přehledu AdSense se mi v posledním týdnu u všech nových článků začalo zobrazovat - "Prohledávač: Soubor robots.txt je nedostupný - Omezení poptávky".

V "Nastavení - Robots.txt" mám nastabveno tohle:

User-Agent: *
Allow: /
Disallow: /admin/
Sitemap: /sitemap.xml

A našel jsem, že bych to měl upravit takto:

User-agent: *
Sitemap: http://regiony.mnoho.info/sitemap.xml

Je to správně, aby Google AdSense opět fungoval? Nemám s tím moc zkušeností. Dlouhé roky AdSense fungovalo bez problému. Děkuji za radu.
02.08.2021 15:41
2
Pokud Google soubor robots.txt nevidí, je problém jinde, než v jeho obsahu. Může být problém na straně hostingu či CDN, který Googlebotu přístup nepovoluje.

V Search Console proveďte robots.txt tester ať víte, na čem jste.
02.08.2021 16:29
3
Zkouším se dostat přes ověření. Teď čekám až mi Webhosting vloží soubor HTML. Jinými způsoby mi to nejde nastavit. 10 let vše fungovalo bez problému. V nápovědě AdSense jsem našel tohle:

Chcete-li soubor robots.txt aktualizovat a povolit prohledávači přístup na své stránky, odeberte ze souboru robots.txt následující dva řádky textu:

User-agent: Mediapartners-Google
Disallow: /

Myslel jsem, že mohl být v tomhle problém.
02.08.2021 18:02
4
Teď čekám až mi Webhosting vloží soubor HTML.
Co to znamená?
02.08.2021 18:08
5
Našel jsem si pár minut a zjistil tedy důvod vašeho problému. Váš web (regiony.mnoho.info), respektive hosting, který využíváte filtruje požadavky ze zahraničí a drtivou většinu požadavků odmítá, tedy i přístupy Googlebota a mnoha dalších (i běžných návštěvníků přes VPN či zahraniční IP adresy). To může vést k omezení indexace celého webu, jelikož k němu nemá Google přístup a jeho požadavky na váš web končí chybou net::ERR_TIMED_OUT.

Nástroje třetích stran na validaci robots.txt končí taky chybou. Doporučuji situaci urychleně řešit s hostingem, může se to projevit na snížení viditelnosti webu ve vyhledávání.
02.08.2021 18:42
6
Moc děkuji. Hodně mi to pomohlo a budu to rychle řešit.

---------- Příspěvek doplněn 03.08.2021 v 09:54 ----------

Zdravím. Teď mi odepsala podpora z webhostingu:

Dobrý den. Na serveru, kde hostuje Vaše doména byly vedeny útoky ze zahraničí a některé rozsahy IP adres mohou být stále z naší strany blokovány. Pokud nám dodáte konkrétní IP adresu, tak ji můžeme přidat do whitelistu. Restrikce postupně klesají a počet blokovaných IP adres se tímto postupně snižuje.

Je prosím nějaký rozsah IP adres, které používá Google? Děkuji.