Zadejte hledaný výraz...

robot od Seznamu mi hledá neexistující odkazy

crs
verified
rating uzivatele
(1 hodnocení)
25. 3. 2009 14:11:00
Zdravím,
Nedávno jsem na stránkách jednoho projektu, co jsem dělal; přidal logování nenalezených odkazů (nenajde-li uživatel/služba/robot stránku, její URL + hlavičky se vloží do tabulky). Jak si to tak pročítám, vidím, že tam mám denodenně záznamy z adresy "fulltextrobot.seznam.cz (User Agent: SeznamBot/2.0 (+http://fulltext.sblog.cz/robot/))", který mi hledá neexistující linky. Buďto jsou to linky na varianty zboží (stránky, o které se jedná, jsou e-shop), kde varianty samotné vlastní URL nemají; nebo odkazy na několik měsíců staré a již vyřazené/smazané/přesunuté zboží.
Teoreticky je možné, že z nějakého důvodu má a furt projíždí měsíce staré, neupdatované linky, ale vzhledem k tomu, že každých několik dnů je vygenerován nový sitemap.xml a datové soubory pro porovnávací servery typu zbozi.cz & spol, tak mi to přijde divné.
Koukal jsem se do těch datových souborů, jestli není chyba na mé straně, ale nenašel jsem tam žádný odkaz, který se SeznamBot snaží neúspěšně hledat (a co se týče těch variant - je možné, že před těmi pár měsíci jsem měl v exportu chybu, která je také linkovala - což by mohlo být jediné vysvětlení - jinak by to byla záhada proutěného košíku :-)).
1. Nevíte někdo, co se děje, resp. máte někdo podobnou zkušenost s vlastní stránkou/projektem?
2. Dá se tomu botovi nějak říct, aby si načetl nový sitemap.xml (a pokud ano, tak jak)?
díkes
25. 3. 2009 14:11:00
https://webtrh.cz/diskuse/robot-od-seznamu-mi-hleda-neexistujici-odkazy#reply269210
Cube
verified
rating uzivatele
(2 hodnocení)
25. 3. 2009 20:43:25
Ideální je použít robots.txt, to že nemáš stránky v sitemapě, neznamená, že ti je nebude indexovat.
25. 3. 2009 20:43:25
https://webtrh.cz/diskuse/robot-od-seznamu-mi-hleda-neexistujici-odkazy#reply269209
Milan Kryl
verified
rating uzivatele
(26 hodnocení)
26. 3. 2009 10:35:41
Stranky, ktere neexistuji by mely vracet 404 nebo 410.
Sitemapu je mozne seznamu hodit do robots.txt viz fulltext.seznam.cz (napoveda).
26. 3. 2009 10:35:41
https://webtrh.cz/diskuse/robot-od-seznamu-mi-hleda-neexistujici-odkazy#reply269208
Pro odpověď se přihlašte.
Přihlásit