Útok na stránky od googlu

Ahoj všem, mám takový zvláštní problém. Na stránkách mám dle analytics denní návštěvnost cca 12.000 lidí denně Počet zobrazení stránek je kolem 30.000 denně Podle apache access logu je každou vteřinu kolem 20-25ti přístupů od google bota. Z různých IP adres, které všechny patří googlu Dotazy jsou snad vždy na různé stránky (obsah stránek je opravdu hodně široký) Za den se tedy množství přístupů od google bota pohybuje kolem 2.000.000 ! z webmaster tools: statistiky procházení maximum stránek za den 9 průměr 3 počet stažených kb za den průměr 88kb vyhledávaci dotazy za den 90.000-110.000 prokliky 2500 Pod tím je rozpis vyhledávaných výrazů Hledaných výrazů je přesně 147 Počet zobrazeni na frázi je max 170 Skoro u všech výrazů je to ale pod deset Počet prokliků na frázi vždycky pod deset Návštěvnost stránek je dlouhodobě stabilní. Toto scanování od google trvá něco přes týden. Počet dotazů od googlu ohrožuje stabilitu a hladký běh serveru. Absolutně netuším, proč to tak google projíždí. Vlastní robots.txt stránky mají. Ve webmaster tools jsem před týdnem omezil návštěvnost bota, ale výsledek to žádný nemá, protože dle webmaster toolu na stránky bot skoro nechodí... příklad z access logu 66.249.75.236 - - "GET /xxx/ HTTP/1.1" 200 38074 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.78.180 - - "GET /xxx/ HTTP/1.1" 200 41745 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.78.185 - - "GET /xxx/ HTTP/1.1" 200 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.78.212 - - "GET /xxx/ HTTP/1.1" 200 44256 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.78.188 - - "GET /xxx/ HTTP/1.1" 200 42580 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.78.197 - - "GET /xxx/ HTTP/1.1" 200 19020 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.78.180 - - "GET /xxx/ HTTP/1.1" 200 42088 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.78.204 - - "GET /xxx/ HTTP/1.1" 200 19008 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.78.195 - - "GET /xxx/ HTTP/1.1" 200 23538 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.78.193 - - "GET /xxx/ HTTP/1.1" 200 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.78.168 - - "GET /xxx/ HTTP/1.1" 200 41920 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.78.211 - - "GET /xxx/ HTTP/1.1" 200 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.78.177 - - "GET /xxx/ HTTP/1.1" 200 19012 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.75.233 - - "GET /xxx/ HTTP/1.1" 200 97591 "-" "Googlebot-Video/1.0" 66.249.78.199 - - "GET /xxx/ HTTP/1.1" 200 44147 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.78.219 - - "GET /xxx/ HTTP/1.1" 200 43219 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Má někdo z Vás s něčím podobným zkušenost? Máte nějaký nápad, jak dosáhnout výrazného snížení počtu dotazů od google bota? Banování ip adres google bota mi nepřijde zrovna jako dobré řešěení. děkuji předem za jakoukoliv radu nebo pomoc Honza

Otázka je jestli to opravdu je Google bot, udělat něco co bude přistupovat na web a tvářit se tak je otázka pár řádků kódu.

Nemáte nějaký problém s duplicitními URL? Frekvenci procházení stránek Googlebotem si můžete nastavit podle tohoto návodu http://support.google.com/webmasters/bin/answer.py?hl=en&answer=48620

Martine přeci píše, že si to ve webmasters upravil. Tady jde o to, že jde o ip google a několik desítek dotazů za vteřinu. To webmasterst nevyřeší i kdyby si nastavil procházení na nejvyšší hodnotu. Ale máš pravdu co se týče duplicitní URL. Bude to pravděpodobná příčina. Má totiž u několika desítek webů přesměrováno právě na tuto adresu. Respektive má to nastavené tak, že pokud nějaký web na jeho serveru přestane existovat má to přesměrované na hlavní stránku tohoto webu. Jsem o situaci poněkud podrobněji informován (jen abyste věděli proč to vím :) )

O které konkrétní IP adresy se jedná?Opravdu jen o výše uvedené z adresního prostoru Google?I v Googlebotu může být bug, proto bych prověřil duplicitní URL -- kolik stránek uvádí Google Webmaster Tools v sekci Stav indexu?A kolik jich najdete v reportu aktivovaném v MajesticSEO.com pro databázi Fresh a pro databázi Historic?

jedná se vždy o IP adresy googluip adres je hodne, ale jsou všechny z jeho rozsahupodle webmaster tools ma google zaindexováno 39 stránek...fresh index Indexed URLs: 99,202historic indexIndexed URLs: 311,702---------- Post added 19.3.2013 at 0:56 ----------kdyz dam na googlu site:domena.comPřibližný počet výsledků: 26 400 000

Vypadá to, jako kdybyste měl na webu problém s duplicitními stránkami

každá stránka je unikátníproblém stále přetrvává :-(

Napsal maZec-Alf;924269

Respektive má to nastavené tak...

je on vi jak presne to ma nastavene

Je to můj kamarád a některé weby mu spravuji. Vím často lépe já jak to má nastavené než on sám ;)Nicméně šlo opravdu o útok Googlu až 2 800 000 přeindexovaných stránek denně. Nevim či se google nezbláznil.

Vypadá to, že Google sám nechce uvěřit, že by ten web měl mít 26,4 milionu různých a užitečných stránek, které by si měl vyhledávač držet v indexu :-)

Anebo se to prostě dá vysvětlit jednoduše, že každá stránka byla přeindexována tolikrát, kolikrát to za ten den šlo....že...