Seznam.cz mi přetěžuje server. Jak ho omezit?

10. 1. 2014 22:50:30

uz tak tyden jsem obdrzel temp. restriction kvuli nadmernemu zatezi. Nemohl jsem najit duvod. Dneska mi ochotny technik napsal tohle:

Unfortunately as this site is custom software I'm unable to provide any specific recommendations on how to reduce this site's MySQL resource usage, I did investigate the access logs for it for this morning when the suspension occurred. This was primarily caused by an exceedingly large number of requests to xxx.cz by a web crawler from a Czech search company named Seznam.cz.

Tak jsem tam dal Request-rate: 1/10s do robots.txt a snad to pomuze. Setkal se nekdo s timto problemem?

10. 1. 2014 22:50:30

https://webtrh.cz/diskuse/seznam-cz-mi-pretezuje-server-jak-ho-omezit/#reply984236

Jan Horák (Gransy)

(22 hodnocení)

10. 1. 2014 22:58:17

U seznamu ne, ale MSN od M$ dokaze slusne prasit cely servery ...

10. 1. 2014 22:58:17

https://webtrh.cz/diskuse/seznam-cz-mi-pretezuje-server-jak-ho-omezit/#reply984235

Roman

(15 hodnocení)

10. 1. 2014 23:21:51

Tohle by se stávat nemělo, pokud s tím má hoster problém, přejdi jinam

10. 1. 2014 23:21:51

https://webtrh.cz/diskuse/seznam-cz-mi-pretezuje-server-jak-ho-omezit/#reply984234

skranc

(5 hodnocení)

10. 1. 2014 23:24:12

Nám byl schopen seznam odpálit i celý vlastní server. Prostě dá stahovat data z několika domén na jednom serveru současně, ještě nejlépe pomocí několika robotů z několika jeho serverů. Vůbec jej nezajímá, že všechny domény jsou na jednom serveru (IP). Pomohlo až omezení přes robots.

10. 1. 2014 23:24:12

https://webtrh.cz/diskuse/seznam-cz-mi-pretezuje-server-jak-ho-omezit/#reply984233

Jan Horák (Gransy)

(22 hodnocení)

10. 1. 2014 23:28:34

Napsal Caesar;1042541
Tohle by se stávat nemělo, pokud s tím má hoster problém, přejdi jinam

To je rada jiste zkuseneho uzivatele .... ver tomu ze ani zde na WT tak mega super oblibeny webhosting by tohle netoleroval a ze vyhledavaci roboti se obcas chovaj jako kokoti, je bohuzel zname.

10. 1. 2014 23:28:34

https://webtrh.cz/diskuse/seznam-cz-mi-pretezuje-server-jak-ho-omezit/#reply984232

Roman

(15 hodnocení)

10. 1. 2014 23:30:31

no ano, ale o problému se Seznamem jsem tedy ještě neslyšel. Nechce se mi dívat, jak často leze na moje weby, resp. na celý server, ale myslím, že těch přístupů je o dost méně než třeba u Google.

10. 1. 2014 23:30:31

https://webtrh.cz/diskuse/seznam-cz-mi-pretezuje-server-jak-ho-omezit/#reply984231

unlucky

(16 hodnocení)

10. 1. 2014 23:43:23

Napsal skranc;1042542
Nám byl schopen seznam odpálit i celý vlastní server. Prostě dá stahovat data z několika domén na jednom serveru současně, ještě nejlépe pomocí několika robotů z několika jeho serverů. Vůbec jej nezajímá, že všechny domény jsou na jednom serveru (IP). Pomohlo až omezení přes robots.

to omezeni jako to co mam tedka ja?

10. 1. 2014 23:43:23

https://webtrh.cz/diskuse/seznam-cz-mi-pretezuje-server-jak-ho-omezit/#reply984230

skranc

(5 hodnocení)

11. 1. 2014 00:18:34

Napsal unlucky;1042557
to omezeni jako to co mam tedka ja?

promiň nejsem technik, jen jsem sledoval problém a jeho řešení. Vím, že problém nastal, když seznam změnil nějaký svůj robot script a pak se to uklidnilo. Na tu exponovanou dobu jsme ho museli ejeno omezit, ale myslim i donutit stahovat pouze v noci, pak se to postupne vracelo na vyšší hodnoty. Pokud by se Ti to nepodařilo vyřešit mohu Ti nechat od správců zjistit konkrétní hodnoty.

11. 1. 2014 00:18:34

https://webtrh.cz/diskuse/seznam-cz-mi-pretezuje-server-jak-ho-omezit/#reply984229

Jiří Adámek

(20 hodnocení)

11. 1. 2014 01:03:32

Kdyby vyhledavace pouzivaly engine hlodace od Hejla, tak by takove problemy nevznikaly. Projekt Nový hledač - projekt, investice, investování, hledání, hledač,…

http://www.milionovastranka.net/

11. 1. 2014 01:03:32

https://webtrh.cz/diskuse/seznam-cz-mi-pretezuje-server-jak-ho-omezit/#reply984228

soudruh

(57 hodnocení)

11. 1. 2014 18:55:17

mam takovy pocit, ze s rozvojem Google (nejen v mobilnich zarizenich) Seznam docela stagnuje a to jak v ramci uzivatelu, tak v ramci inzerentu

mno, mozna se na sebe snazi takto upozornit :-) nebo jen diky tomu, ze nepouziva vykon na klienty, ma vykon pro sve roboty :-D

/ jinak samozrejme robots.txt a pokud nepomuze, fixne zadat do iptables

// jenomze iptables nemuzes omezit pro cely server, pokud je komercni, neb by te uzivatele nemeli v lasce ...

11. 1. 2014 18:55:17

https://webtrh.cz/diskuse/seznam-cz-mi-pretezuje-server-jak-ho-omezit/#reply984227