GOOGLEBOT – snížení počtu dotazů na stránky

26. 9. 2024 22:30:36

Zdravím, jak lze snížit frekvence dotazů od google bota na stránky. Jen za dnešek jich mám přes 403 tisíc a padá mi databáze.

Google tools - tam to bylo ale už není

robots.txt google ignoruje

26. 9. 2024 22:30:36

https://webtrh.cz/diskuse/googlebot-snizeni-poctu-dotazu-na-stranky#reply1531469

Multimediaexpo

26. 9. 2024 23:11:03

Pro přesnější nastavení hledej na webu výraz -- "Limit max connections per IP address".

Třeba zde -- unix.stackexchange.com

26. 9. 2024 23:11:03

https://webtrh.cz/diskuse/googlebot-snizeni-poctu-dotazu-na-stranky#reply1531470

McEver4

27. 9. 2024 08:24:20

To není přesně to co hledám, pokud google bude mít zákaz ze serveru, bude pak hlásit že nemůže indexovat stránky, že mám stránky nedostupné a sníží tak kvalitu stránek a nebude je tolik nabízet ve vyhledávání.

Hledám způsob jak tomu botu vysvětlit, ať to nepřehání a ať nechává mezi dotazy server nadechnout.

Dříve se to dalo pomocí souboru robots.txt definovat na jednotlivé boty ale google už to přestal respektovat.

27. 9. 2024 08:24:20

https://webtrh.cz/diskuse/googlebot-snizeni-poctu-dotazu-na-stranky#reply1531475

Vladimír Pilný

(62 hodnocení)

27. 9. 2024 08:27:49

https://developers.google.com/search/docs/crawling-indexing/reduce-crawl-rate

27. 9. 2024 08:27:49

https://webtrh.cz/diskuse/googlebot-snizeni-poctu-dotazu-na-stranky#reply1531476

McEver4

27. 9. 2024 10:53:51

Ano, jak je psané v článku, nechci vyřadit stránky z indexace, chci jen aby tolik nezatěžoval server.

27. 9. 2024 10:53:51

https://webtrh.cz/diskuse/googlebot-snizeni-poctu-dotazu-na-stranky#reply1531478

Vladimír Pilný

(62 hodnocení)

27. 9. 2024 11:49:13

Tak je potřeba předejít tomu, aby server přetěžoval. Správná struktura webu, omezení chyb, lepší server.

27. 9. 2024 11:49:13

https://webtrh.cz/diskuse/googlebot-snizeni-poctu-dotazu-na-stranky#reply1531481

skorozacatecnik

27. 9. 2024 14:37:20

Zdravím, jak lze snížit frekvence dotazů od google bota na stránky. Jen za dnešek jich mám přes 403 tisíc a padá mi databáze.
Google tools - tam to bylo ale už není
robots.txt google ignoruje

Asi bych se podíval na ty URL, zda jsou relevantní, nebo zda to nejsou nějaké generované parametrické url.

Může jít o jeden způsob útoku (například konkurence), kdy těmi parametrickými url dokáže útočník naprosto srazit hodnotu stránky ve vyhledávači. Ta je totiž se stejným obsahem pod tisíci url a pokud nemá canonical, je to duplicita.

Pokud jsou ale všechny URL, co se snaží GoogleBot indexovat, relevantní, pak není moc jiných cest (mimo blokace) než optimalizovat web a navýšit železo.

27. 9. 2024 14:37:20

https://webtrh.cz/diskuse/googlebot-snizeni-poctu-dotazu-na-stranky#reply1531485

McEver4

4. 10. 2024 09:12:01

Ano, koukal jsem na to že google se snaží hledat prapodivné odkazy, například

www.stranka.cz/search/ico/search...

Kde na to přišel, nebo jak může konkurence toto zajistit?

4. 10. 2024 09:12:01

https://webtrh.cz/diskuse/googlebot-snizeni-poctu-dotazu-na-stranky#reply1531644

McEver4

4. 10. 2024 09:45:11

Tak je potřeba předejít tomu, aby server přetěžoval. Správná struktura webu, omezení chyb, lepší server.

správná struktura webu, lepší železo, .... tak například i počet okamžitých připojení do databáze je nastaveno na 100 spojení, ale když včera z amazonu přišlo přes půl milionu dotazů za hodinu, odstřihl jsem několik desítek subnetů a kašlu na nějakou optimalizaci. Napočítal jsem rozdílných 1125 IP adres, ze kterých byl provoz a vše host crawl.amazonbot.amazon

4. 10. 2024 09:45:11

https://webtrh.cz/diskuse/googlebot-snizeni-poctu-dotazu-na-stranky#reply1531646

Vladimír Pilný

(62 hodnocení)

4. 10. 2024 12:16:22

Tak blokni toho bota a máš to ne?

4. 10. 2024 12:16:22

https://webtrh.cz/diskuse/googlebot-snizeni-poctu-dotazu-na-stranky#reply1531650

Celsi

(23 hodnocení)

4. 10. 2024 12:48:39

Co to hodit na Cloudflare?

4. 10. 2024 12:48:39

https://webtrh.cz/diskuse/googlebot-snizeni-poctu-dotazu-na-stranky#reply1531652

skorozacatecnik

4. 10. 2024 20:29:28

Ano, koukal jsem na to že google se snaží hledat prapodivné odkazy, například
www.stranka.cz/search/ico/search...
Kde na to přišel, nebo jak může konkurence toto zajistit?

Nemusí u tebe jít o tento útok, není úplně častý, jen já ho už v historii řešil a bylo to podobné, jak popisuješ. Častěji je chyba na straně webu, která umožňuje Google indexovat prapodivné URL. Třeba když přidáš do URL nějaký parametr a on se promítne do všech odkazů ve vygenerované stránce.

Ale z5 k tvé otázce.

Jeden ze způsobů, jak nakrmit Google je, že útočník umístí mraky zpětných generických odkazů na tvůj web do sítě hacknutých webů, například přes botnet.

Měl bys ale být schopen zjistit, zda se jedná o tento útok, v Google Search Consoli. V menu "Odkazy", pak "Nejčastější cílové stránky" najdi nějakou nesmyslnou URL v seznamu, rozklikni ji a uvidíš weby, které na ní odkazují, potažmo po dalším rozkliknutí uvidíš stránky, které vadné zpětné odkazy obsahují. Na ty odkazující stránky se mrkni a zvaž, zda mají relevantní obsah a jak uvádí tvůj odkaz.

To, že zjistíš, kdo krmí Google generickými odkazy na tvůj web, ti ale moc nepomůže. Pokud to je někdo cizí, nic s ním neuděláš. Zaměř se, abys dobře řídil, co ne/může Google indexovat (meta robots), zajisti správnou sitemap, redirecty, canonical URL atp.

4. 10. 2024 20:29:28

https://webtrh.cz/diskuse/googlebot-snizeni-poctu-dotazu-na-stranky#reply1531662

Pro odpověď se přihlašte.

Přihlásit