Vytvoření parseru – prohledávání webu se stovkami stránek

6. 6. 2013 19:06:34

Zdravím, potřeboval bych poradit jak nejlépe prohledat zdrojový kod jednotlivých stránek webu. Web má více jak 800 stránek a potřebuji zjistit zda se v daném zdrojovém kodu vyskytuje určitá html značka, respk. tag s určitým id. Web bohužel nemám k dispozici na lokálním PC.

Co by jste mi poradili ?

Děkuji

6. 6. 2013 19:06:34

https://webtrh.cz/diskuse/vytvoreni-parseru-prohledavani-webu-se-stovkami-stranek#reply909943

tsistud

6. 6. 2013 19:19:54

http://simplehtmldom.sourceforge.net a napsat si robota, který stránky projde. Má to jedinou podmínku - na každou z těch stránek musí vést přinejmenším jeden odkaz. Pokud to bude splněno, lze to napsat.

6. 6. 2013 19:19:54

https://webtrh.cz/diskuse/vytvoreni-parseru-prohledavani-webu-se-stovkami-stranek#reply909942

Nishkam

(3 hodnocení)

6. 6. 2013 19:43:22

pokud jde o jednorazovou akci, da se stahnout cely web (httrack.com) a prohledat ho pak na lokalnim disku.

6. 6. 2013 19:43:22

https://webtrh.cz/diskuse/vytvoreni-parseru-prohledavani-webu-se-stovkami-stranek#reply909941

Taps

(118 hodnocení)

7. 6. 2013 12:38:46

tsistud

odkazy mám k dispozici, ale myslím si, že problém nastane asi s pamětí

7. 6. 2013 12:38:46

https://webtrh.cz/diskuse/vytvoreni-parseru-prohledavani-webu-se-stovkami-stranek#reply909940

tsistud

7. 6. 2013 12:55:55

Napsal Taps;958980
tsistud
odkazy mám k dispozici, ale myslím si, že problém nastane asi s pamětí

A jak postupuješ? Vzal bych index, hledal výskyty toho co tě tam zajímá, pak prošel všechny a do nějaké tabulky v databázi přidal všechny soubory, které tam ještě nejsou a tím s index.php končíš. Pak stejný postup aplikuješ na první soubor v té pomocné tabulce, načež ho vymažeš.

Popisovat to je mnohem míň zajímavá činnost, než to naprogramovat.

7. 6. 2013 12:55:55

https://webtrh.cz/diskuse/vytvoreni-parseru-prohledavani-webu-se-stovkami-stranek#reply909939

Taps

(118 hodnocení)

7. 6. 2013 12:59:18

Odkazy čerpám z mapy webu a tyto odkazy poté postupně procházím. Ještě podotýkám, že nemám přístup k hostingu a ani databázi webu

7. 6. 2013 12:59:18

https://webtrh.cz/diskuse/vytvoreni-parseru-prohledavani-webu-se-stovkami-stranek#reply909938

tsistud

7. 6. 2013 13:09:14

Těžko radit.. Jdeš na to asi dobře. Ta hláška ale odpovídá tomu, že opravdu není dost paměti. Jestli neukážeš konkrétní php, víc asi neporadím.

7. 6. 2013 13:09:14

https://webtrh.cz/diskuse/vytvoreni-parseru-prohledavani-webu-se-stovkami-stranek#reply909937

Taps

(118 hodnocení)

7. 6. 2013 13:12:47

https://webtrh.cz/diskuse/vytvoreni-parseru-prohledavani-webu-se-stovkami-stranek#reply909936

Pro odpověď se přihlašte.

Přihlásit

Prodej Více

Prodej atraktivního 14-ti letého magazínu Ocemsemluvi.cz + YT a FB

70 000 Kč

0 příhozů

ZAVEDENÝ WEB S VLASTNÍM OBSAHEM A 8 LETOU HISTORIÍ – VYSOKÝ POTENCIÁL ZISKU

290 000 Kč

0 příhozů

Pacamls.cz – ultraprémiová přírodní krmiva pro psy a kočky

25 000 Kč

0 příhozů

Vsad.si – doména a hotový projekt pro propagaci sázkové kanceláře či prodej tipů na sázení

50 000 Kč

0 příhozů

letaky.pl

2 000 Kč

0 příhozů

Poptávky Více

Koupím licenci na starší EAGLE pro PCB

Programátora na úpravy webu (ProcessWire CMS)

Zfinalizovat Shopify e-shop ( Doprava, Faktury, apod..)

Hledám do IT agentury kodéra (HTML/CSS kodér, front-end) a programátora

Dodělání rezervačního systému

Pracovní nabídky Více

Kubernetes & Cloud Java Aplikace

Brno

80 000 - 140 000 Kč

Asistence u IT projektu

10 000 - 30 000 Kč

Hledáme Senior/Medior PHP Laravel Developera pro vývoj softwarových řešení na míru

Brno, Práce z domu

75 000 - 120 000 Kč

Product Manager WANTED!

Práce z domu

Legal Engineer / Legal Tech Specialista

Brno, Ostrava, Práce z domu, Praha

Nabídky Více

Proměňte své nápady ve fungující aplikace – Vaše nápady proměním ve funkční software

✅ LINKBUILDERKA.CZ – Tvorba kvalitních zpětných odkazů

🛡️Nabízíme správu firemní sítě a IT

Nabídka velkoobchodní spolupráce doplňků stravy Evilo

🔶 Linkbuilding a SEO co REÁLNĚ zvyšují organickou návštěvnost od Linkbuilder.cz 🔶