Server nevrátil žádná data

7. 12. 2011 21:38:45

Ahoj,

mám takový problém. Mám skript, který prochází obsah externího webu a zpracovává jeho data, která ukládám do pole. Výsledné pole chci nechat zobrazit přes print_r(), ale po několika minutách zpracování se skript jakoby přeruší a nic nevrací.

Ve Firefoxu to hodí prázdnou stránku, u Chrome to napíše:

Údržba webu:

Informace o nedostupnosti webu Vazeny navstevniku, pozadovana stranka je docasne nedostupna.

Mozne duvody: Udrzba webu Nadmerna zatez serveru Opakujte, prosim, pozadavek za nekolik minut.

Zkontroloval jsem logy, ale žádný vážný problém tam není. Pak jsem si nechal ukládat do souboru zpracovávané řádky a ty nebyly dokončeny (resp. bylo jich zpracováno několik, ale ne všechny).

Nevíte co s tím?

7. 12. 2011 21:38:45

https://webtrh.cz/diskuse/server-nevratil-zadna-data#reply705514

Robert

(8 hodnocení)

7. 12. 2011 22:55:59

Máš to napsaný v té zprávě z FF. Nic jinýho si nám neprozradil, takže můžeme jenom hádat.

• Zkus proxy

• Ošetři si kód (kontroluj co se dá a nech si vypsat chyby)

7. 12. 2011 22:55:59

https://webtrh.cz/diskuse/server-nevratil-zadna-data#reply705513

medvidekh

8. 12. 2011 08:03:55

Bohužel tu zdroják dát nemůžu. K procházení webu používám curl funkce. Načtu vždy jednu stranu, ze které vyparsuji její odkazy, které hned přitom zase načítám přes curl a jejich zpracovaný výsledek ukládám do pole. Když nechám zpracovat jen několik stránek, tak mi to nehlásí žádnou chybu a vrátí mi to validní výsledek, ale když to nechám zpracovat celé (což je záměr), pak to přestane reagovat.

8. 12. 2011 08:03:55

https://webtrh.cz/diskuse/server-nevratil-zadna-data#reply705512

Robert

(8 hodnocení)

8. 12. 2011 08:31:24

A web, který procházíš prozradit můžeš? Zřejmě má ošetřené nadměrné vytěžování, tak zkus zpomalit requesty.

8. 12. 2011 08:31:24

https://webtrh.cz/diskuse/server-nevratil-zadna-data#reply705511

medvidekh

8. 12. 2011 20:42:01

Napsal RSKR;731199
A web, který procházíš prozradit můžeš? Zřejmě má ošetřené nadměrné vytěžování, tak zkus zpomalit requesty.

Jak zpomalit requesty? Moc tomu nerozumím. Web bohužel taky ne (kvůli práci).

8. 12. 2011 20:42:01

https://webtrh.cz/diskuse/server-nevratil-zadna-data#reply705510

Vladimír Benc

(7 hodnocení)

9. 12. 2011 07:46:49

Napsal medvidekh;731467
Jak zpomalit requesty? Moc tomu nerozumím. Web bohužel taky ne (kvůli práci).

Mezi jednotlivé volání curl vlož sleep(). Ale nejlepší by bylo zjistit proč a v jakém místě se to sekne. Nech si vypisovat jednotlivé curl requesty, návratové HTTP kódy, popř. si ukládej vždy tu poslední staženou stránku. Na 99% tě prostě ten server odstřihne po určitém počtu nebo frekvenci požadavků.

9. 12. 2011 07:46:49

https://webtrh.cz/diskuse/server-nevratil-zadna-data#reply705509

Pro odpověď se přihlašte.

Přihlásit