AdSense – Robots.txt

2. 8. 2021 15:01:10

Dobrý den. Obracím se na Vás s prosbou. V přehledu AdSense se mi v posledním týdnu u všech nových článků začalo zobrazovat - "Prohledávač: Soubor robots.txt je nedostupný - Omezení poptávky".

V "Nastavení - Robots.txt" mám nastabveno tohle:

User-Agent: *

Allow: /

Disallow: /admin/

Sitemap: /sitemap.xml

A našel jsem, že bych to měl upravit takto:

User-agent: *

Sitemap: http://regiony.mnoho.info/sitemap.xml

Je to správně, aby Google AdSense opět fungoval? Nemám s tím moc zkušeností. Dlouhé roky AdSense fungovalo bez problému. Děkuji za radu.

2. 8. 2021 15:01:10

https://webtrh.cz/diskuse/adsense-robots-txt#reply1488265

Karel Benáček

(37 hodnocení)

2. 8. 2021 15:41:02

Pokud Google soubor robots.txt nevidí, je problém jinde, než v jeho obsahu. Může být problém na straně hostingu či CDN, který Googlebotu přístup nepovoluje.

V Search Console proveďte robots.txt tester ať víte, na čem jste.

2. 8. 2021 15:41:02

https://webtrh.cz/diskuse/adsense-robots-txt#reply1488264

iMIRo

2. 8. 2021 16:29:24

Zkouším se dostat přes ověření. Teď čekám až mi Webhosting vloží soubor HTML. Jinými způsoby mi to nejde nastavit. 10 let vše fungovalo bez problému. V nápovědě AdSense jsem našel tohle:

Chcete-li soubor robots.txt aktualizovat a povolit prohledávači přístup na své stránky, odeberte ze souboru robots.txt následující dva řádky textu:

User-agent: Mediapartners-Google

Disallow: /

Myslel jsem, že mohl být v tomhle problém.

2. 8. 2021 16:29:24

https://webtrh.cz/diskuse/adsense-robots-txt#reply1488263

Vladimír Pilný

(62 hodnocení)

2. 8. 2021 18:02:35

Teď čekám až mi Webhosting vloží soubor HTML.

Co to znamená?

2. 8. 2021 18:02:35

https://webtrh.cz/diskuse/adsense-robots-txt#reply1488262

Karel Benáček

(37 hodnocení)

2. 8. 2021 18:08:08

Našel jsem si pár minut a zjistil tedy důvod vašeho problému. Váš web (regiony.mnoho.info), respektive hosting, který využíváte filtruje požadavky ze zahraničí a drtivou většinu požadavků odmítá, tedy i přístupy Googlebota a mnoha dalších (i běžných návštěvníků přes VPN či zahraniční IP adresy). To může vést k omezení indexace celého webu, jelikož k němu nemá Google přístup a jeho požadavky na váš web končí chybou net::ERR_TIMED_OUT.

Nástroje třetích stran na validaci robots.txt končí taky chybou. Doporučuji situaci urychleně řešit s hostingem, může se to projevit na snížení viditelnosti webu ve vyhledávání.

2. 8. 2021 18:08:08

https://webtrh.cz/diskuse/adsense-robots-txt#reply1488261

iMIRo

2. 8. 2021 18:42:30

Moc děkuji. Hodně mi to pomohlo a budu to rychle řešit.

---------- Příspěvek doplněn 03.08.2021 v 09:54 ----------

Zdravím. Teď mi odepsala podpora z webhostingu:

Dobrý den. Na serveru, kde hostuje Vaše doména byly vedeny útoky ze zahraničí a některé rozsahy IP adres mohou být stále z naší strany blokovány. Pokud nám dodáte konkrétní IP adresu, tak ji můžeme přidat do whitelistu. Restrikce postupně klesají a počet blokovaných IP adres se tímto postupně snižuje.

Je prosím nějaký rozsah IP adres, které používá Google? Děkuji.

2. 8. 2021 18:42:30

https://webtrh.cz/diskuse/adsense-robots-txt#reply1488260

Pro odpověď se přihlašte.

Přihlásit