Struktura webu – automatizovaný nástroj

29. 10. 2014 12:44:25

Dobrý den, přemýšlím nad změnou struktury našeho webu a zajímá mě, jestli na to používátě nějaký specializovaný nástroj? Nemám na mysli excel, ani notepad a ani nějakou mindmapu, atp., jde mi o něco automatizovaného. Například, aby to dokázalo načíst nynější strukturu a následně tento nástroj umožnil pracovat na novém návrhu. Důvod proč se ptám je, že web je aktuálně velice robusní a pracovat v rámci excelu není přehledné a hlavně ani není jednoduché celou strukturu takto vytvořit, protože se jedná o několik stovek podkategorií a větších desítek kategorií.

Předem děkuji za pomoc!

29. 10. 2014 12:44:25

https://webtrh.cz/diskuse/struktura-webu-automatizovany-nastroj/#reply1064715

Wolf Coruvar

(1 hodnocení)

29. 10. 2014 13:01:59

Zkus pracovat s xml sitemap.. Generovani jde automaticky a relativne se s tim da pracovat ;)

29. 10. 2014 13:01:59

https://webtrh.cz/diskuse/struktura-webu-automatizovany-nastroj/#reply1064714

ckn

(2 hodnocení)

29. 10. 2014 13:24:14

To jsem zkoušel, ale tento postup je dobrý pouze pro menší weby. V našem případě se jedná o velice náročnou strukturu a to nemluvím o možnosti, že se chci inspirovat u dalších webů, jakým způsobem mají strukturu postavenou. Další varianta je načíst data do gephi, ale to pořád neřeší hlavní problém, kde se strukturou dále pracovat. Zkusil jsem velké množství polonástrojů (sitemap generátory, scrapery, atd.), ale nic z toho neumožňuje další práci s daty. Jeden nástroj jménem mapper toho docela hodně zvládne, ale vygenerovaná struktura u většího projektu je nepřesná, u menšího to je dostačující..

Děkuji za každou konstruktivní radu a nebo nápad.

29. 10. 2014 13:24:14

https://webtrh.cz/diskuse/struktura-webu-automatizovany-nastroj/#reply1064713

Vladimír Smitka

(4 hodnocení)

29. 10. 2014 21:21:18

Podobné věci občas řeším, protože děláme různá analýzy. Není to jednoduché a vhodný postup záleží vždy na konkrétním webu, sitemapa v sobě často neobsahuje opravdovou strukturu. Osobně hodně využívám GraphViz a Xenu.

Je potřeba vyřešit několik problémů:

a) získat odkazy v rámci webu

b) postavit z nich stromovou strukturu

c) tu pak vizualizovat

Postupuji cca následovně:

a) potřebuji získat strukturu - pustim Xenu (používám wild verzi, kde si mohu nadefinovat, že nemá crawlovat např. .png, .css,...)

b) z Xenu si exportuji GraphViz soubor, který je ošklivě zacyklený

c) potřebuji odstranit cykly - použiji acycle a poté odstraním duplicitní řádky (na to používám PSpad)

d) potřebuji z dat udělat strom - použiji Dijkstrův algoritmus v GraphVizu

e) vyhodím řádky bez spočítané vzdálenosti - zbyde mi stromová struktura

tady většinou končím a s daty dělám jiné věci než potřebuješ, pokud bych měl tvé zadání, tak bych pokračoval tak, že bych se snažil výsledný graphviz soubor překonvertovat do XML, ve formátu, který používá FreeMind. Na podobné věci často FreeMind používám, protože je jeho formát hodně jednoduchý a umožňuje přetahávání nodů, což je věc, které chceš asi dosáhnout. Obecně na mindmapy používám Xmind, ale i ten umí číst soubory FreeMindu.

29. 10. 2014 21:21:18

https://webtrh.cz/diskuse/struktura-webu-automatizovany-nastroj/#reply1064712

ckn

(2 hodnocení)

30. 10. 2014 17:42:06

Dekuji moc za vyborny popis, presne jsi vystihnul muj problem a v podstate jsem dosel k podobnym zaverum. Jenom jsem nechtel tyden procistovat data a nedoslo mi, ze jde do xmindu naimportovat xml a tam to ohybat. chci to udelat poradne, takze na to pujdu presne od lesa, jak jsi mi to popsal. kdyz jsem asi pred tydnem pri prvnim pokusu nahodil web do Xenu, a u pul milionu podstranek se mi kousnul pocitac, doufal jsem, ze najdu neco lepsiho, ale bohuzel. je docela zajimave, ze zadny poradny soft na tuto praci neni, protoze u vetsich projektu mi to prijde jako zasadni pro kvalitni navigaci a praci s daty. popravde me ceka jeste test s MS Visio, ale pochybuju, ze to neco vyresi.

jeste jednou dekuju!

30. 10. 2014 17:42:06

https://webtrh.cz/diskuse/struktura-webu-automatizovany-nastroj/#reply1064711

Vladimír Smitka

(4 hodnocení)

30. 10. 2014 20:22:35

Visio také umí importovat web, ale nemám to ozkoušené na větších... Ještě můžeš místo Xenu zkusit http://www.nullpointer.co.uk/-/webtracer2.htm, ale na Xenu mi vyhovuje, že umí přímo export do graphvizu. U velkých projektů xenu často dojde RAM (mám 16GB, takže problémy moc nepociťuji), myslím, že by trochu mělo pomoci nastavit si právě netestování obrázků, stylů a skriptů.

Když ještě přemýšlím nad postupem, tak možná bod s acyclic nemusí být vždy potřeba. Je dobré si udělat skript, který po dijkstrovi projde výsledný soubor a do dalšího souboru nakopíruje jen řádky po řádku, který obsahuje [dist= (mimo úvodních).

Určitě dej vědět jak dopadlo to visio, s novějšími verzemi nemám zkušenosti a nemám na ně ani licenci, pokud by fungovalo dobře, tak bych si ji koupil.

Docela dobře se dá pracovat i se http://scrapy.org/, ale je docela pracné spidera naprogramovat, aby dobře poslouchal. Poslední dobou spíše používám Xenu a výstup si profiltruji v Excelu a PSpadu (případně použiji open refine). Ještě jsem narazil na http://www.powermapper.com/, ale nezkoušel jsem to.

Před Xenu jsem používal ještě http://www.drk.com.ar/spider.php, protože uměl docela dobře exportovat, ale je to java a nevím jak si poradí s hodně velkým webem.

30. 10. 2014 20:22:35

https://webtrh.cz/diskuse/struktura-webu-automatizovany-nastroj/#reply1064710

Vladimír Smitka

(4 hodnocení)

16. 11. 2014 11:37:51

Tak jsem si pořídil Visio (není to kvůli tomuto problému, ale kvůli sharepointu) a zkoušel jsem jak aktuálně pracuje web crawler. Výsledek je, že Visio udělá krásnou mapu webu, ale neřeší duplicitní odkazy (nebo alespoň nevím jak), takže bez dalšího zpracování, které se pokusí vytvořit minimální strom, to není moc použitelné.

16. 11. 2014 11:37:51

https://webtrh.cz/diskuse/struktura-webu-automatizovany-nastroj/#reply1064709

Honza Hommer

(12 hodnocení)

27. 11. 2014 12:38:27

Doporučil bych tyto nástroje http://www.optimalworkshop.com/optimalsort.htm a http://www.optimalworkshop.com/treejack.htm. Jsou to v podstatě nástroje na testování struktury webu, kdy poprosíš uživatele, testery, aby ti se strukturou pomohli.

27. 11. 2014 12:38:27

https://webtrh.cz/diskuse/struktura-webu-automatizovany-nastroj/#reply1064708

Vladimír Smitka

(4 hodnocení)

23. 1. 2015 11:52:22

Dostal jsem několik otázek k mému postupu s GraphVizem, tak jsem na to zkusil udělat článek se screencastem:

Analýza struktury webu – Lynt.cz

23. 1. 2015 11:52:22

https://webtrh.cz/diskuse/struktura-webu-automatizovany-nastroj/#reply1064707

Pro odpověď se přihlašte.

Přihlásit