Zadejte hledaný výraz...

Vytvoření parseru – prohledávání webu se stovkami stránek

Taps
verified
rating uzivatele
(118 hodnocení)
6. 6. 2013 19:06:34
Zdravím, potřeboval bych poradit jak nejlépe prohledat zdrojový kod jednotlivých stránek webu. Web má více jak 800 stránek a potřebuji zjistit zda se v daném zdrojovém kodu vyskytuje určitá html značka, respk. tag s určitým id. Web bohužel nemám k dispozici na lokálním PC.
Co by jste mi poradili ?
Děkuji
6. 6. 2013 19:06:34
https://webtrh.cz/diskuse/vytvoreni-parseru-prohledavani-webu-se-stovkami-stranek/#reply909943
tsistud
verified
rating uzivatele
6. 6. 2013 19:19:54
http://simplehtmldom.sourceforge.net a napsat si robota, který stránky projde. Má to jedinou podmínku - na každou z těch stránek musí vést přinejmenším jeden odkaz. Pokud to bude splněno, lze to napsat.
6. 6. 2013 19:19:54
https://webtrh.cz/diskuse/vytvoreni-parseru-prohledavani-webu-se-stovkami-stranek/#reply909942
Nishkam
verified
rating uzivatele
(3 hodnocení)
6. 6. 2013 19:43:22
pokud jde o jednorazovou akci, da se stahnout cely web (httrack.com) a prohledat ho pak na lokalnim disku.
6. 6. 2013 19:43:22
https://webtrh.cz/diskuse/vytvoreni-parseru-prohledavani-webu-se-stovkami-stranek/#reply909941
Taps
verified
rating uzivatele
(118 hodnocení)
7. 6. 2013 12:38:46
tsistud
odkazy mám k dispozici, ale myslím si, že problém nastane asi s pamětí
7. 6. 2013 12:38:46
https://webtrh.cz/diskuse/vytvoreni-parseru-prohledavani-webu-se-stovkami-stranek/#reply909940
tsistud
verified
rating uzivatele
7. 6. 2013 12:55:55
Napsal Taps;958980
tsistud
odkazy mám k dispozici, ale myslím si, že problém nastane asi s pamětí
A jak postupuješ? Vzal bych index, hledal výskyty toho co tě tam zajímá, pak prošel všechny a do nějaké tabulky v databázi přidal všechny soubory, které tam ještě nejsou a tím s index.php končíš. Pak stejný postup aplikuješ na první soubor v té pomocné tabulce, načež ho vymažeš.
Popisovat to je mnohem míň zajímavá činnost, než to naprogramovat.
7. 6. 2013 12:55:55
https://webtrh.cz/diskuse/vytvoreni-parseru-prohledavani-webu-se-stovkami-stranek/#reply909939
Taps
verified
rating uzivatele
(118 hodnocení)
7. 6. 2013 12:59:18
Odkazy čerpám z mapy webu a tyto odkazy poté postupně procházím. Ještě podotýkám, že nemám přístup k hostingu a ani databázi webu
7. 6. 2013 12:59:18
https://webtrh.cz/diskuse/vytvoreni-parseru-prohledavani-webu-se-stovkami-stranek/#reply909938
tsistud
verified
rating uzivatele
7. 6. 2013 13:09:14
Těžko radit.. Jdeš na to asi dobře. Ta hláška ale odpovídá tomu, že opravdu není dost paměti. Jestli neukážeš konkrétní php, víc asi neporadím.
7. 6. 2013 13:09:14
https://webtrh.cz/diskuse/vytvoreni-parseru-prohledavani-webu-se-stovkami-stranek/#reply909937
Taps
verified
rating uzivatele
(118 hodnocení)
7. 6. 2013 13:12:47
7. 6. 2013 13:12:47
https://webtrh.cz/diskuse/vytvoreni-parseru-prohledavani-webu-se-stovkami-stranek/#reply909936
Pro odpověď se přihlašte.
Přihlásit