Jak zjistit kdo mi načítá web pomocí file_get_contents

David Kácha

(39 hodnocení)

6. 1. 2012 22:39:59

Zdravím,

dá se něják jenoduše elegantně zjistit, kdo mi sosá web přes funkci file_get_contents?

Díky

6. 1. 2012 22:39:59

https://webtrh.cz/diskuse/jak-zjistit-kdo-mi-nacita-web-pomoci-file_get_contents#reply715267

(20 hodnocení)

6. 1. 2012 22:55:47

ne, muzes projit log a hledat indicie (roboti jsou rpesni - interval prochazeni bude stale stejny), taky se koukej na user-agenta, u te fce byva prazdny (nicmene kdo prochazi aspon trochu s mozkem tak zakladni hlavicky jako user-agent nastavi) jine moznosti tu nejsou

6. 1. 2012 22:55:47

https://webtrh.cz/diskuse/jak-zjistit-kdo-mi-nacita-web-pomoci-file_get_contents#reply715266

onsad

(11 hodnocení)

7. 1. 2012 01:00:18

A to ten web, který sosá obsah, třeba není indexovaný? Že by to šlo vyhledat. Ale teď vařím z vody. Jinak já jednou objevil náhodou web, který nám sosal obsah, ale bylo to do iframe. A bylo to dost specifické téma, takže jsem to ve vyhledávači našel.

7. 1. 2012 01:00:18

https://webtrh.cz/diskuse/jak-zjistit-kdo-mi-nacita-web-pomoci-file_get_contents#reply715265

Bacon

(2 hodnocení)

7. 1. 2012 20:18:41

Možná by stálo za to, udělat na toho bota nějakou past. Např. přístupy bez User-Agentu logovat někam do souboru (zároveň ale zobrazovat původní obsah, jinak by moc rychle přišli na to, co se děje.

Pokud má ale ten bot nastaveného User-Agenta, pak to tak jednoduché nebude. Možná mu podstrčit nějaký odkaz, na který by přešel, ale člověk ho ignoroval...?

7. 1. 2012 20:18:41

https://webtrh.cz/diskuse/jak-zjistit-kdo-mi-nacita-web-pomoci-file_get_contents#reply715264

jBcz

(6 hodnocení)

7. 1. 2012 21:02:59

nektere proxy fora delaji pasti na jednodussi boty, aby jim netahaly data

Nektery stranky s texty k pisnickam se snazi ochranit obsah tak, ze ho zobrazuji jen lidem, co umi zpracovat JavaScript.

Obe metody jdou ale obejit. Nic 100% neexistuje. Predevsim, kdyz je to kodovane na miru...

7. 1. 2012 21:02:59

https://webtrh.cz/diskuse/jak-zjistit-kdo-mi-nacita-web-pomoci-file_get_contents#reply715263

Bacon

(2 hodnocení)