Jak opakovane volat search na google a nedostat ban?

16. 7. 2008 11:08:45

Pro svoje projekty jsem si napsal skriptik monitorujici pozice ve vyhledavacich, nevim o lepsim zpusobu nez to zjistovat primo z HTML kodu vyhledani v jednotlivych vyhledavacich. Seznam, centrum jsou OK, ale google po nekolika (desitkach) dotazu prestane zobrazovat vysledky (docasny ban). Jde mi o to, jak se tomuto vyhnout, nejak to zrejme jit musi, kdyz dostupne sluzby na zjistovani pozic jiste funguji i v mnohem vetsim meritku.

Driv google poskytoval Search API, ke kteremu mel clovek vygenerovany klic a dotazy do vyhledavace mohl klast mnohem elegatneji, primo. Klic ale bohuzel nemam. Je treba se s googlem dohodnout, nebo rozlozit dotazovani do vice IP adres, delsiho casoveho intervalu? Predem diky za rady a tipy, klidne i do PM, pokud nechcete reseni uplne zverejnovat.

16. 7. 2008 11:08:45

https://webtrh.cz/diskuse/jak-opakovane-volat-search-na-google-a-nedostat-ban#reply95373

Orion

(1 hodnocení)

16. 7. 2008 11:15:09

obávám se že máš chybu ve scriptu nebo používáš techniku kterou google nemá rád, taky mi to chvíli trvalo než jsem na google vyzrál, diary.cz má nejspíš stejný problém jako ty, google jim nechodí. Takže rozložení ti asi nepomůže.

API už asi nefunguje, protože to jde normálně. viz www.serp.cz

16. 7. 2008 11:15:09

https://webtrh.cz/diskuse/jak-opakovane-volat-search-na-google-a-nedostat-ban#reply95372

pkotala

(24 hodnocení)

16. 7. 2008 12:04:05

No na něco asi bude google citlivý, protože skripty, které provozuji u sebe a chodí noční dávkové (hromadné) zpracování bez banu (i když předevčírem mi to ukazovalo pro všechny weby PR=10 :) - asi měli u google nějaký vtipný den), tak když jsem ty samé skripty zkopíroval na jiný web a pustil opět (jiné) hromadné zpracování, tak nový web dostal ban a zatím se z toho nevzpamatoval - řešili jsme to včera - i když je pravda, že tam se kromě google.cz pouští i .sk a .com, takže se možná google nestačí v mezipauzách nadechnout, nevím.... Dohodli jsme se s majitelem webu, že ho necháme 2 dny odpočinout, třeba se google umoudří...

16. 7. 2008 12:04:05

https://webtrh.cz/diskuse/jak-opakovane-volat-search-na-google-a-nedostat-ban#reply95371

Orion

(1 hodnocení)

16. 7. 2008 12:10:53

kolik dotazů a do jaký hloubky a v jak velký dávce pošleš za den z jednoho domain name na google.com ?

16. 7. 2008 12:10:53

https://webtrh.cz/diskuse/jak-opakovane-volat-search-na-google-a-nedostat-ban#reply95370

Lukáš Churý

(21 hodnocení)

16. 7. 2008 12:56:26

Mám podobnou zkušenost, GOOGLE po pár desítkách dotazech rozložených do několika minut (cca 20ti) vracel že nemám povolení :).

16. 7. 2008 12:56:26

https://webtrh.cz/diskuse/jak-opakovane-volat-search-na-google-a-nedostat-ban#reply95369

CarlCorey

(4 hodnocení)

17. 7. 2008 01:34:45

Napsal Orion;83657
kolik dotazů a do jaký hloubky a v jak velký dávce pošleš za den z jednoho domain name na google.com ?

"Jen" 18 dotazu x 3 stranky se 100 vysledky (teoreticky i to muze hrat roli) = 54 requestu jednou denne, jednim skriptem najednou. Cely skript probehne behem cca minuty.

Zacalo to delat problemy az pred dvema dny, takze je take mozne, ze zrovna nejak zmenili posuzovani pristupu. V soucasnosti je ten ban asi trvaly, protoze uspesne se neprovedou ani prvni dotazy. Stejny skript z jine IP bezi bez problemu, v tom chyba nebude.

Asi take zkusim na par dni google nedrazdit a uvidim.

Kazdopadne rozlozeni by (pomine-li ban) pomoct melo, protoze az se to bude tvarit jako normalni uzivatelske chovani, tj. par dotazu cas od casu, nemel by problem nastat.

Mozna je recept v tech cislech, ktera nabizi serp.cz. Tj. maximalne 20 volani najednou, coz google jeste muze brat jako normalni uzivatelske chovani. Rozlozeni dotazu je zarucene tim, ze si statistiku lide sami vyvolaji odeslanim formulare. Pokud by meli pravidelne monitorovat pozice pro vice webu tezko rict, jak by pochodili.

Btw. to API funguje, ale uz se k nemu nevydavaji nove klice. Tahle spolecnost poskytuje monitoring pozic a pise, ze prave vyuzivaji tohohle API (kde mimochodem byl limit 1000 dotazu / den / klic, s cimz uz se da rozumne pracovat, alespon pro vlastni potrebu).

Kazdopadne Google ted poskytuje nove Google AJAX Search API, kde udajne zadny limit na dotazy neni. Tak mozna nejakou upravou tohoto rozhrani by vedla cesta...

Kazdopadne diky za snahu poradit, a je fajn videt (ne, ze bych nam to pral:)), ze nejsem sam, kdo se s tim aktualne potyka.

17. 7. 2008 01:34:45

https://webtrh.cz/diskuse/jak-opakovane-volat-search-na-google-a-nedostat-ban#reply95368

Orion

(1 hodnocení)

17. 7. 2008 05:17:16

Ten Google AJAX Search API má v základní konfiguraci docela zásadní nedostatek

ani se mi nechce veřit že by to opravdu nebyl ie7.

Browser Compatibility

The Google AJAX Search API currently support Firefox 1.5+, IE 6, and Safari, and Opera 9+.

Každopádně já to budu řešit až to nastane :) Ale to API by mohlo být zajímavý pro použití k dotazování datacenter na porovnání.

17. 7. 2008 05:17:16

https://webtrh.cz/diskuse/jak-opakovane-volat-search-na-google-a-nedostat-ban#reply95367

pkotala

(24 hodnocení)

17. 7. 2008 07:15:15

Dnes v noci mě začal odmítat Google - ale ne na zjišťování pozic, ale při zjišťování Pageranku. Takže budu řešit obdobný problém :( tak, aby to do nočních skriptů fungovalo... Pagerank nejede do teď - je tam pořád 403 - "máte na počítači virus/spam...", takže vlastně ani nevím, kdy mi to uvolní...doufám, že to bude brzy, ať to můžu otestovat

17. 7. 2008 07:15:15

https://webtrh.cz/diskuse/jak-opakovane-volat-search-na-google-a-nedostat-ban#reply95366

Petr Horáček

(1 hodnocení)

21. 4. 2009 13:06:23

Ahoj pánové, tak abyste nebyli smutní, řeším už přes měsíc to samé, google search api mě chodí až na pár detailů, taková poangličtěná slova jako SONY nebo fitness apod. tak na ty mě google vrací úplně jiné výsledky.

Moje počáteční snaha byla vždy úspěšně zabanována, jednalo se o využití klasického hledání, pomocí fcí file_get_content , fopen a taktéž sem testoval využidí DOMDocument, což fungovalo nejdéle :D , ale také né dlouho :-D

Můj kód neni nic tajného, kdyby chtěl někdo mrknout tak už tu jednou na fóru vysí, popřípadě zašlu.

21. 4. 2009 13:06:23

https://webtrh.cz/diskuse/jak-opakovane-volat-search-na-google-a-nedostat-ban#reply95365

networ

(7 hodnocení)

21. 4. 2009 13:19:05

Zkuste pouzivat CURL v php + posilat spravne hlavicky vcetne cookies. Fopen a file_get_content mi skoncili po 40 dotazech

21. 4. 2009 13:19:05

https://webtrh.cz/diskuse/jak-opakovane-volat-search-na-google-a-nedostat-ban#reply95364

Ing. Petr Suchý

(38 hodnocení)

21. 4. 2009 15:45:20

Na seo.wamos.cz není zatím problém, ťuk ťuk ťuk :) samozřejmě ale není využíváno pouhé file_get_contents aj. - potom se nemůžete zabanování absolutně divit. Pokud Vaše skripty fungují (což samozřejmě fungují) a tváří se jako robot (nedělají nic proto, aby vypadaly jako běžný návštěvník využívající služeb daného webu), není divu, že dochází k jejich zabanování. S podobně přicházejícími skripty/roboty byste asi postupovali na svém webu stejně (pokud by přicházely dotazy v podobném množství a intervalech - samozřejmě to znamená zátěž a pokud jde evidentně o roboty, tak pro vlastníka webu/poskytovatele služby vlastně zbytečnou - proč se jí tedy velice jednoduše nezbavit či jí alespoň neomezit, že?) ...

21. 4. 2009 15:45:20

https://webtrh.cz/diskuse/jak-opakovane-volat-search-na-google-a-nedostat-ban#reply95363

Pro odpověď se přihlašte.

Přihlásit