SEO: Stáhnutí všech 404

Ahoj, 

google umožňuje stáhnutí pouze prvních 1000. Máte nějaký fígl jak stáhnout všechny 404?

Děkuji

Ahoj, úplne rovnakú vec som riešil pri viacerých klientoch. Tých 1000 záznamov je bežný limit u niektorých nástrojov, ale nie je to úplne konečný strop, keď vieš, kde hľadať. Ak chceš získať všetky 404, tak za mňa najlepšie funguje kombinácia viacerých zdrojov:

• Google Search Console – zobrazuje síce len vzorku, ale nie je to úplne tvrdý limit 1000. Dá sa ísť cez rôzne reporty (Coverage, Crawl Stats, Page indexing), kde sa tie 404 môžu objavovať v rôznych podobách. Len treba rátať s tým, že GSC ti ukazuje hlavne tie URL, ktoré on sám „považuje za podstatné“. Čiže určite sa neoplatí spoliehať len na to.
• Sitebulb alebo Screaming Frog – vieš si prejsť celý web vrátane všetkých interných odkazov a sitemap, a následne ti to pekne vyhodí zoznam všetkých 404, ktoré sa reálne nachádzajú niekde v štruktúre. Tiež ti to ukáže, odkiaľ na ne vedú linky, čo je často kľúčové.
• Serverové logy – ak máš prístup, tam vieš najpresnejšie zistiť, ktoré URL niekto reálne požaduje a dostáva 404. A to vrátane starých preklepov, pokusov botov alebo chýb z externých webov.
• Ak používaš niečo ako Laravel (ako ja), vieš si dať vlastný handler na 404 a ukladať si ich do logu alebo databázy. Funguje to dobre hlavne na živých weboch, kde sa nechceš spoliehať len na crawler.

Na mojom projekte webstrankanamieru.sk sa tejto téme venujem dosť často, hlavne pri migráciách starých webov alebo keď klient príde s otázkou, prečo mu klesol traffic. A vo väčšine prípadov sa to ukáže práve na nezachytených 404, ktoré ostali niekde visieť bez presmerovania. Ak chceš, viem ti poslať jednoduchý bash filter na 404 z access logu alebo export zo Sitebulbu – používam to ako štandardný postup pri SEO auditoch.