Problém s indexací webu / nedostupnost robots.txt

24. 7. 2023 10:39:13

Ahoj všem,

není tu náhodou někdo, kdo řešil v posledních týdnech problém s indexací stránek v rámci Search console?

Cca od polovina června mi zničehonic postupně začala vypadávat část stránek z indexace (dostaly se do stavu Procházeno - Momentálně neindexováno, aktuálně cca 1/4 webu ~ 50 stránek) a na straně SC to vypadá, že kvůli nedostupnosti robots.txt nebo těch stránek, byť je soubor dostupný stejně jako stránky (v robots mám pouze odkaz na sitemapu). Do té doby bylo roky vše ok a pokud jsem měl novou stránku (1x měsíčně = článek na blogu), do týdne byl vždy zaindexovaný.

Na hostingu už řešilo prý stejný problém více lidí, ale u nich údajně problém není (pokud mimochodem zkouším testing tool na robots.txt, požadavek na straně hostingu není vidět).

Řeším to taky v nápovědním fóru SC, ale zatím jsme se nedopátrali, čím to může být způsobené kromě toho, že se "někde něco stalo", kvůli čemuž se mobilní Google bot nedokáže dostat na web. Jak v oné nápovědě tak na Twitteru už řeší stejné téma více lidí, ale zatím bezvýsledně.

Budu moc rád za jakýkoliv tip, díky.

Editováno 24. 7. 2023 10:39:54 uživatelem Dála Musil

24. 7. 2023 10:39:13

https://webtrh.cz/diskuse/problem-s-indexaci-webu-nedostupnost-robots-txt#reply1518918

Martin krch

(7 hodnocení)

24. 7. 2023 11:04:37

Ahoj, já google bota obvykle v search konzoli odkazuji a sitemap.xml, odkaz dávám i do robot.txt a cca do 48 hodin je celý web indexován. Používám Active24 a Forpsi hostingy. -martin-

24. 7. 2023 11:04:37

https://webtrh.cz/diskuse/problem-s-indexaci-webu-nedostupnost-robots-txt#reply1518921

Nishkam

(3 hodnocení)

24. 7. 2023 11:55:43

Jen si tipnu, prvni co me napada:

Vypadek serveru nebo pripojeni hostingu na zahranicni linky?
Chyba v robots.txt nebo htaccess
Pretizeny server nebo pomale stranky
Duplicitni obsah
Spatne sousedstvi - se spamerem na stejne IP

24. 7. 2023 11:55:43

https://webtrh.cz/diskuse/problem-s-indexaci-webu-nedostupnost-robots-txt#reply1518924

Dála Musil

(4 hodnocení)

24. 7. 2023 12:47:40

Ahoj, já google bota obvykle v search konzoli odkazuji a sitemap.xml, odkaz dávám i do robot.txt a cca do 48 hodin je celý web indexován. Používám Active24 a Forpsi hostingy. -martin-

Do června mi to fungovalo stejně

24. 7. 2023 12:47:40

https://webtrh.cz/diskuse/problem-s-indexaci-webu-nedostupnost-robots-txt#reply1518934

Dála Musil

(4 hodnocení)

24. 7. 2023 12:50:52

Jen si tipnu, prvni co me napada:

Vypadek serveru nebo pripojeni hostingu na zahranicni linky?

Chyba v robots.txt nebo htaccess

Pretizeny server nebo pomale stranky

Duplicitni obsah

Spatne sousedstvi - se spamerem na stejne IP

Hosting se dušuje, že u nich problém není, ale pokud občas není stránka / robots dostupné a občas ano, aniž by se cokoliv měnilo u mě, pak mě nenapadá, kde jinde než na hostingu může být problém - ať už výpadek nebo přetížení.

Robots obsahuje pouze odkaz na sitemapu, v htaccess jsem zkoušel odebrat skoro vše a beze změny, duplicitní obsah tam není.

Co je "připojení hostingu na zahraniční linky"? A není mi ani jasné, co by mohl znamenat spammer na stejné IP - stejné IP čeho? Hostingu?

24. 7. 2023 12:50:52

https://webtrh.cz/diskuse/problem-s-indexaci-webu-nedostupnost-robots-txt#reply1518935

Vladimír Pilný

(63 hodnocení)

24. 7. 2023 13:17:01

Co je to za web? Problémů tam může být víc.

24. 7. 2023 13:17:01

https://webtrh.cz/diskuse/problem-s-indexaci-webu-nedostupnost-robots-txt#reply1518936

Dála Musil

(4 hodnocení)

24. 7. 2023 13:29:53

Co je to za web? Problémů tam může být víc.

Můj osobní web https://dalamusil.com/

24. 7. 2023 13:29:53

https://webtrh.cz/diskuse/problem-s-indexaci-webu-nedostupnost-robots-txt#reply1518937

Nishkam

(3 hodnocení)

24. 7. 2023 19:57:13

jj, taky to vidim na hosting. Doporucuji pouzit nejaky externi monitoring stranek jako napr. hlidam.to nebo uptimerobot.com

Hosting se dušuje, že u nich problém není, ale pokud občas není stránka / robots dostupné a občas ano, aniž by se cokoliv měnilo u mě, pak mě nenapadá, kde jinde než na hostingu může být problém - ať už výpadek nebo přetížení.

24. 7. 2023 19:57:13

https://webtrh.cz/diskuse/problem-s-indexaci-webu-nedostupnost-robots-txt#reply1518961

Martin S238

28. 7. 2023 07:38:13

To bude na 99% zase jen nějaká divočina ve fungování googlu, který poslední rok dělá opravdu psí kusy. Na některých webech jsem během června taky pozoroval, že mi pár stránek odindexoval (i když jen pár procent celku), na jednom webu si ze své iniciativy označil úplně nesmyslně kanonické stránky (produktová karta vánočního řetězu má být podle něj kanonická k produktové kartě zahradního slunečníku). Plus jsem si všimnul, že mi vypadla ze search console u většiny webů asi tak třetina odkazů, což je často právě tím, že google ty odkazující url adresy odindexoval. Takže se tam každopádně děje něco většího a nebude to jen záležitost vašeho webu. Naštěstí to kompenzuje fakt, že některé důležité weby mi jdou na googlu v posledních týdnech dost nahoru, takže to jako celek nijak extra neřeším a počkám, co bude dál.

Osobně se mi celkové fungování googlu přestává líbit a přál bych bingu, aby mu začal víc šlapat na paty.

Editováno 28. 7. 2023 07:39:12 uživatelem Martin S238

28. 7. 2023 07:38:13

https://webtrh.cz/diskuse/problem-s-indexaci-webu-nedostupnost-robots-txt#reply1519142

Pavel Horelica

(54 hodnocení)

28. 7. 2023 08:31:20

Jen jsem to tady prolítl očima, tak nevím, zda jsi to tady psal... ale co ti SC píše, pokud přes ni indexuješ neindexovanou stránku?

28. 7. 2023 08:31:20

https://webtrh.cz/diskuse/problem-s-indexaci-webu-nedostupnost-robots-txt#reply1519143

Martin Pěnička

(28 hodnocení)

28. 7. 2023 10:03:20

To bude na 99% zase jen nějaká divočina ve fungování googlu, který poslední rok dělá opravdu psí kusy. Na některých webech jsem během června taky pozoroval, že mi pár stránek odindexoval (i když jen pár procent celku), na jednom webu si ze své iniciativy označil úplně nesmyslně kanonické stránky (produktová karta vánočního řetězu má být podle něj kanonická k produktové kartě zahradního slunečníku). Plus jsem si všimnul, že mi vypadla ze search console u většiny webů asi tak třetina odkazů, což je často právě tím, že google ty odkazující url adresy odindexoval. Takže se tam každopádně děje něco většího a nebude to jen záležitost vašeho webu. Naštěstí to kompenzuje fakt, že některé důležité weby mi jdou na googlu v posledních týdnech dost nahoru, takže to jako celek nijak extra neřeším a počkám, co bude dál.
Osobně se mi celkové fungování googlu přestává líbit a přál bych bingu, aby mu začal víc šlapat na paty.

Přesně tak, také se mi přestává chování google líbit. Nejprve jsem ověřoval rychlost webu a můžu to zcela vyloučit. Indexace na Seznamu a Bingu jede zcela v pořádku. Boj je tedy jen s Google. U jednoho příspěvku na mých stránkách trvalo naindexovat stránku asi týden i přes to, že jsem dal příspěvek odeslat do Google API přes Wordpress (přes plugin Instant Indexing for Google od Rank Math), IndexNow API od Bingu jede jak má.

28. 7. 2023 10:03:20

https://webtrh.cz/diskuse/problem-s-indexaci-webu-nedostupnost-robots-txt#reply1519148

Pro odpověď se přihlašte.

Přihlásit