Stovky botů mi chodí na jednu url (podstránku). Jak přesunout obsah na novou url (bez 301 redirectu)?

Honza

(2 hodnocení)

27. 3. 2014 22:08:43

Dobrý den,

už dva dny mi pravidelně stovky botů chodí z různých končin světa a různých IP

na jednu konkrétní url podstránku webu.

Budu muset přesunout obsah na novou url, ale nechci přesměrovávat ze staré.

Jak na to? Jde mi o SEO.

Díky za tipy.

27. 3. 2014 22:08:43

https://webtrh.cz/diskuse/stovky-botu-mi-chodi-na-jednu-url-podstranku-jak-presunout-obsah-na-novou-url-bez-301-redirectu#reply1010336

Roman Ernst

(26 hodnocení)

27. 3. 2014 23:26:02

Myslim, že to budeš muset upřesnit, vubec nechapu o co jde..

27. 3. 2014 23:26:02

https://webtrh.cz/diskuse/stovky-botu-mi-chodi-na-jednu-url-podstranku-jak-presunout-obsah-na-novou-url-bez-301-redirectu#reply1010335

jarin001

(37 hodnocení)

27. 3. 2014 23:26:09

Pokud jdou po obsahu nemá nová URL smysl, blokuj IP.

Blokování IP v .htaccess:

Konkrétní IP, zápis deny from 123.456.789.012

Celé pásmo, zápis deny from 123.456

27. 3. 2014 23:26:09

https://webtrh.cz/diskuse/stovky-botu-mi-chodi-na-jednu-url-podstranku-jak-presunout-obsah-na-novou-url-bez-301-redirectu#reply1010334

Honza

(2 hodnocení)

27. 3. 2014 23:50:51

Diky za tip s htaccess.

Kazdopadne budu asi presouvat na novou url. Jen nesmim redirect.

Myslim ze jdou po konkretnim clanku, muzu si za ti asi sam protoze jsem na nej pouzil jeden linkovaci tool drive to nedelalo takove kraviny ale tentokrat pote zacly navstevy botu, stovky denne. Na jiny url nechodej. IP adresy jsou bohuzel pokazdy jiny. Nekdy USA nekdy jine zeme, ruzne rozsahy.

27. 3. 2014 23:50:51

https://webtrh.cz/diskuse/stovky-botu-mi-chodi-na-jednu-url-podstranku-jak-presunout-obsah-na-novou-url-bez-301-redirectu#reply1010333

jarin001

(37 hodnocení)

28. 3. 2014 00:03:25

@Jan Musil

Na jakém systému ten web jede?

28. 3. 2014 00:03:25

https://webtrh.cz/diskuse/stovky-botu-mi-chodi-na-jednu-url-podstranku-jak-presunout-obsah-na-novou-url-bez-301-redirectu#reply1010332

Honza

(2 hodnocení)

28. 3. 2014 06:21:23

Napsal jarin001;1072960
@Jan Musil

Na jakém systému ten web jede?

Je to velmi jednoduše, "natvrdo" napsané v HTML a PHP, nepoužívám redakční systém.

28. 3. 2014 06:21:23

https://webtrh.cz/diskuse/stovky-botu-mi-chodi-na-jednu-url-podstranku-jak-presunout-obsah-na-novou-url-bez-301-redirectu#reply1010331

jarin001

(37 hodnocení)

28. 3. 2014 08:18:46

Tak smaž původní a vytvoř novou, nevím jak se ti generuje URL, pokud z titulku tak ho trochu změň.

28. 3. 2014 08:18:46

https://webtrh.cz/diskuse/stovky-botu-mi-chodi-na-jednu-url-podstranku-jak-presunout-obsah-na-novou-url-bez-301-redirectu#reply1010330

Honza

(2 hodnocení)

28. 3. 2014 08:29:07

Spatne jsem polozil otazku. Udelat novou url, dat na ni obsah clanku a starou url smazat umim. Budu to tak muset udelat.

Otazka je, jak to bude se SEO. Nechci byt penalizovan za duplicitni obsah. Stara url je totiz zaindexovana v googlu a chci misto ni zaindexovat novou. Na netu jsem ale nasel rady "udelej novou url a ze stare presmerovavej 301 redirectem na novou". To ja nemuzu pze bych presmeroval i roboty.

28. 3. 2014 08:29:07

https://webtrh.cz/diskuse/stovky-botu-mi-chodi-na-jednu-url-podstranku-jak-presunout-obsah-na-novou-url-bez-301-redirectu#reply1010329

Miloslav Lešetický

(10 hodnocení)

28. 3. 2014 08:40:32

Jan Musil

Neexistující stránka pošle vyhledávačům stavový kód 404 a bude časem z indexu vyřazena. Žádná duplicita se tak nekoná. V čem vidíš problém?

28. 3. 2014 08:40:32

https://webtrh.cz/diskuse/stovky-botu-mi-chodi-na-jednu-url-podstranku-jak-presunout-obsah-na-novou-url-bez-301-redirectu#reply1010328

netbrana

(14 hodnocení)

28. 3. 2014 10:58:22

Nemyslím si že změnit URL bez přidání redirectu je řešení. Zkuste spíše blokovat botům přístup: a7host.wordpress.com/2012/04/26/how-to-block-bad-bots-crawlers-scrapers-and-malwares/.

28. 3. 2014 10:58:22

https://webtrh.cz/diskuse/stovky-botu-mi-chodi-na-jednu-url-podstranku-jak-presunout-obsah-na-novou-url-bez-301-redirectu#reply1010327

petrx

(8 hodnocení)

29. 3. 2014 10:45:09

Napsal Jan Musil;1072939
už dva dny mi pravidelně stovky botů chodí z různých končin světa a různých IP
na jednu konkrétní url podstránku webu.

A v čem je problém? Hosting nezvládá? Nebo snad útočí nějaká zavirovaná PC?

Proti útokům se dá nasadit www.cloudflare.com (stačí tarif zdarma), dají se tam nastavovat parametry

Také můžete zkusit konkrétní roboty zablokovat v robots.txt. Pokud jsou slušně vychováni, měli by to respektovat.

S největší pravděpodobností přesun nebude nutný

*****

Přesunout obsah na nové URL můžete více způsoby:

- Permanentní přesměrování (kód 301) -- může způsobit dočasný pokles návštěvnosti z vyhledávačů; může částečně znehodnocovat deep links, pokud vedou na staré URL

- Stránku zrušit a zřídit jinde (na starém URL se bude vracet kód 404 Not found, 410 Gone apod.) -- může způsobit dočasný pokles návštěvnosti z vyhledávačů; může zcela znehodnocovat deep links, pokud vedou na staré URL

- Dočasné přesměrování (kód 302) -- potom však budou staré URL navštěvovat i roboti vyhledávačů, nedoporučuji

*****

Kromě užití robots.txt nebo služby typu Cloudflare, Incapsula můžete

- Zablokovat roboty dle user agenta neb IP adresy na serveru a vracet chybu s kódem 5xx -- ovšem budete muset udržovat "knihovnu robotů" na serveru a můžete dělat chyby (zablokujete vyhledávač, nezablokujete útočníka, který se lépe maskuje)

- Vracet robotům nějakou blbost -- opět lze udělat chybu a vyvolat ve vyhledávačích podezření, že se pokoušíte o nějaký SEO spam

29. 3. 2014 10:45:09

https://webtrh.cz/diskuse/stovky-botu-mi-chodi-na-jednu-url-podstranku-jak-presunout-obsah-na-novou-url-bez-301-redirectu#reply1010326

dusivk

(4 hodnocení)

29. 3. 2014 11:47:24

Napsal netbrana;1073038
Nemyslím si že změnit URL bez přidání redirectu je řešení. Zkuste spíše blokovat botům přístup: a7host.wordpress.com/2012/04/26/how-to-block-bad-bots-crawlers-scrapers-and-malwares/.

Napsal petrx;1073333
A v čem je problém? Hosting nezvládá? Nebo snad útočí nějaká zavirovaná PC?

Já vím, že to zní jako blbost, ale například to k*rví statistiky, počet četní článků, efektivnost adsense a podobně. Hosting to zvládá, u mne je to (na wordpressu) asi jeden takový přístup na konkrétní stránku (z facebook.com) za 4 minuty. Blokování přes htaccess ani robots.txt nepomohlo, nakonec zabral plugin WP-BAN, do kterého přidám IP zjištěnou například přes statcounter.com.

29. 3. 2014 11:47:24

https://webtrh.cz/diskuse/stovky-botu-mi-chodi-na-jednu-url-podstranku-jak-presunout-obsah-na-novou-url-bez-301-redirectu#reply1010325

petrx

(8 hodnocení)

29. 3. 2014 12:37:04