Jak v robots.txt spravne zakazat indexovani nepotrebnych veci?

Ahoj, mame jeden web postaveny na Wordpress. Potrebuji zakazat indexovani sntranek s vlozenym souborem, ktery se vaze k obsahu clanku, napriklad "https://domena.cz/nazev-clanku/img_9111_croped"Dale bych bych rad zakazal indexovani stranky s komentari, napriklad "https://domena.cz/nazev-clanku/comment-page-1/ to same feedyDela to strasnou neplechu malokdy v Google, ale Yandex.ru to oznacuje jako duplicitni obsah, pritom vsude mame nastavene spravne rel="canonical"Vymyslel jsem neco takoveho:User-agent: YandexAllow: /wp-content/uploads/Disallow: /wp-Disallow: /cgi-binDisallow: /author/Disallow: /xmlrpc.phpDisallow: /tag/Disallow: /archive/Disallow: /*?tag=Disallow: /*?cat=Disallow: /*?paged=Disallow: /*?m=Disallow: /*feedDisallow: /*commentsDisallow: /*trackbackDisallow: /*comment-pageDisallow: *comment-page-*Disallow: /*?replytocomDisallow: /wp-feedDisallow: /wp-content/cacheDisallow: /wp-adminDisallow: /wp-includesDisallow: /*cpage=Disallow: /*?s=Disallow: /*&s=Mate jeste nejaky napad jak a co omezit?Diky---------- Příspěvek doplněn 31.12.2017 v 12:09 ----------Pokud nekdo ma web na Wordpress v rustine a vyuziva Yandex.ru zde davam optimalizovany robots.txt pro jeho bota, protoze ten vyhledavac je sileny.Zmente si na svoje domeny a pokud mate vice sitemap, uvedte je vsechny - kazdou na samostatny radek:Host: https://neco.czSitemap: https://neco.cz/sitemap.xmlJeste si davejte pozor na kodovani souboru .txt pro robots, pokud nahodou se vloudi kodovani UTF-8 BOM budete mit robots.txt neplatny, vzdy si to zkontrolujte v Google Webmasters nebo Yandex Webmaster platnost robots.txtStranky s vlozenym souborem (vetsinou obrazky) nastavte 301 na prispevek. Protoze Yandex indexuje tyto stranky a oznacuje je jako duplicitni obsah.Tady je optimalizovany robots.txt pro Yandex:User-agent: YandexAllow: /wp-content/uploads/Disallow: /wp-content/languagesDisallow: /wp-content/upgradeDisallow: /wp-content/themesDisallow: /wp-content/pluginsDisallow: /wp-content/cacheDisallow: /wp-Disallow: /cgi-binDisallow: /xmlrpc.phpDisallow: /tag/Disallow: /tagDisallow: /authorDisallow: /author/Disallow: /archive/Disallow: /*?tag=Disallow: /*?cat=Disallow: /*?paged=Disallow: /*?m=Disallow: /trackbackDisallow: */trackbackDisallow: */*/trackbackDisallow: */*/feed/*/Disallow: */feedDisallow: /*commentsDisallow: /*comment-pageDisallow: */comment-page*Disallow: /*?replytocomDisallow: /*cpage=Disallow: /*?s=Disallow: /*&s=Disallow: /?Disallow: /*?Disallow: /*?*Crawl-delay: 3Host: https://neco.czSitemap: https://neco.cz/sitemap.xml

Robots.txt neslouží k zakázání indexace a ani to neumí. To uděláš třeba meta tagem na dané stránce.

Napsal Pavel Horelica;1433168

Robots.txt neslouží k zakázání indexace a ani to neumí. To uděláš třeba meta tagem na dané stránce.

To uz muzes vypravet nekomu jinemu, sam jsem hledal pricinu, dokud mi neodpovedel Platon z Yandexu na dotaz wtf s webem.Tady mas priklad:2547325472