Jak náročné se vytvořit "screamovací" software jako screaming frog

26. 2. 2016 15:18:21

Dobrý den všem,

pohrávám si s myšlenkou, že bych pro své účely nechal vytvořit program, který mi projede web, který zadám a bude hledat pouze linky směřující ven z webu a vracet jejich status.

Jak reálné a náročné to je? Najde se někdo, kdo by to zvládl, má s tím zkušenosti nebo tak? Sreaming frog je sice dobrý, ale má pár much.... není primárně určený k tomuto a potřebuje spoustu RAMky.... navíc právě díky tomu že to že hledá a vypisuje i interní linky je moc pomalej.....

Díky moc. klidně i PM....

Děkuji

26. 2. 2016 15:18:21

https://webtrh.cz/diskuse/jak-narocne-se-vytvorit-screamovaci-software-jako-screaming-frog/#reply1178243

Jan Horák (Gransy)

(22 hodnocení)

26. 2. 2016 15:48:56

Tak on neni pomalej protoze by vypisoval interni linky, on je musi projet tak jako tak, aby v nich nasel ty externi. Takze pomalej bude take v zavislosti na rychlosti webu.

26. 2. 2016 15:48:56

https://webtrh.cz/diskuse/jak-narocne-se-vytvorit-screamovaci-software-jako-screaming-frog/#reply1178242

Salamman

(1 hodnocení)

26. 2. 2016 15:54:49

Možná to bude také tím že jde do maximální hloubky.... každopádně problém je v tom že potřebuji něco co

1)Jede non stop a není tak náročné na RAM

2)Lze napojit na API a získávat data online

něco co bude přímo na to vytvořeno. Frog je prostě pouze nutné zlo....

26. 2. 2016 15:54:49

https://webtrh.cz/diskuse/jak-narocne-se-vytvorit-screamovaci-software-jako-screaming-frog/#reply1178241

Jan Horák (Gransy)

(22 hodnocení)

26. 2. 2016 16:07:19

A horovy online sluzby pouzivat nechces ? Pokud ne, z jakeho duvodu?

26. 2. 2016 16:07:19

https://webtrh.cz/diskuse/jak-narocne-se-vytvorit-screamovaci-software-jako-screaming-frog/#reply1178240

Macejko.sk

(5 hodnocení)

26. 2. 2016 16:11:40

Predstavujem si to ako jednu rekurzivnu funkciu, ktora by bola spracovavana na pozadi, tj. je mozne vykonavat sucasne cca 25 procesov.

- otvor stranku, najdi links, zhodnot ci je to external/internal

- ak external tak vytvor background job na kontrolu statusu + rozumny timeout

- ak internal tak cyklus opakuj

Vsetko zalezi samozrejme od velkosti webu, ak ma konkretny web 1000+ podstranok, tak to nieco potrva. Pri mensich weboch by sa to kludne mohlo pohyvat v jednotkach minut.

Sikovny programator by to mohol stihnut za +- tyzden.

26. 2. 2016 16:11:40

https://webtrh.cz/diskuse/jak-narocne-se-vytvorit-screamovaci-software-jako-screaming-frog/#reply1178239

i-PRESS

(2 hodnocení)

26. 2. 2016 16:14:14

Nemělo by být těžké napsat to třeba v NodeJS. Otázkou je, jak by měl vypadat výstup a bod 2 s API by asi chtělo trošku rozepsat. Složitější by to bylo, pokud by to mělo sledovat i odkazy vytvářené javascriptem.

Já mám jako součást většího systému něco podobného, ale JS nezpracovávám, takže pouze stáhnu dokument, zkontroluji, jestli tam není URl kterou ještě neznám a nebyl jsem na ni a případně ji projdu také.. Jinak jak píše @gransy, naparsování URL je chvilička, musí se ale počkat na stažení celého dokumentu, takže je lepší, dkyž to může běžet někde na serveru + samozřejmě zpracovávat více URL současně.

26. 2. 2016 16:14:14

https://webtrh.cz/diskuse/jak-narocne-se-vytvorit-screamovaci-software-jako-screaming-frog/#reply1178238

Marco Salatin

(2 hodnocení)

26. 2. 2016 16:46:20

Jestli chapu dobre, tak to chces na mining expirovanych domen a tahat napr. moz, nebo majestic data. Screaming frog je fajn, ale jak jsi uvedl je pomaly a nejde to s nim delat "ve velkym" a data musis kontrolovat rucne. Existuje jiz par sluzeb, ktere nabizi hotove crawlery za mesicni subscription, takze delat si vlastni tool nema smysl, pocitam, ze tisice domen nepotrebujes. Navic neni to tak easy vytvorit, jak se muze zdat.

26. 2. 2016 16:46:20

https://webtrh.cz/diskuse/jak-narocne-se-vytvorit-screamovaci-software-jako-screaming-frog/#reply1178237

Vít Michalek

(14 hodnocení)

26. 2. 2016 17:17:30

Salamman: počkejte 4 dny, pak vám pošlu na otestování odkaz na mou app, která tohle umí.

26. 2. 2016 17:17:30

https://webtrh.cz/diskuse/jak-narocne-se-vytvorit-screamovaci-software-jako-screaming-frog/#reply1178236

Salamman

(1 hodnocení)

26. 2. 2016 17:48:11

Napsal marcosalatin;1271219
Jestli chapu dobre, tak to chces na mining expirovanych domen a tahat napr. moz, nebo majestic data. Screaming frog je fajn, ale jak jsi uvedl je pomaly a nejde to s nim delat "ve velkym" a data musis kontrolovat rucne. Existuje jiz par sluzeb, ktere nabizi hotove crawlery za mesicni subscription, takze delat si vlastni tool nema smysl, pocitam, ze tisice domen nepotrebujes. Navic neni to tak easy vytvorit, jak se muze zdat.

A heleme se:) ano přesně tak. Vím o mnoha službách, žel při konstantním používání mě to přivede na buben:) Když tak můžeš mi prosím do Pm hodit nějaké odkazy? Diky

---------- Příspěvek doplněn 26.02.2016 v 17:49 ----------

Napsal Vít Michalek;1271233
Salamman: počkejte 4 dny, pak vám pošlu na otestování odkaz na mou app, která tohle umí.

OK beru na vědomí a určitě mi to poslete

---------- Příspěvek doplněn 26.02.2016 v 18:50 ----------

Napsal gransy;1271200
A horovy online sluzby pouzivat nechces ? Pokud ne, z jakeho duvodu?

Nerozumím otázce...

26. 2. 2016 17:48:11

https://webtrh.cz/diskuse/jak-narocne-se-vytvorit-screamovaci-software-jako-screaming-frog/#reply1178235

Jan Horák (Gransy)

(22 hodnocení)

26. 2. 2016 20:54:38

*hotovy :) preklep na mobilu

Tzn sluzby ala majestic, ahrefs, atd ..

26. 2. 2016 20:54:38

https://webtrh.cz/diskuse/jak-narocne-se-vytvorit-screamovaci-software-jako-screaming-frog/#reply1178234

Salamman

(1 hodnocení)

28. 2. 2016 20:53:05

Napsal gransy;1271286
*hotovy :) preklep na mobilu
Tzn sluzby ala majestic, ahrefs, atd ..

Do těch ale ručně musím zadat už nějaké domény. Ala ty co tam chci zadat někde potřebuju vydolovat :)

28. 2. 2016 20:53:05

https://webtrh.cz/diskuse/jak-narocne-se-vytvorit-screamovaci-software-jako-screaming-frog/#reply1178233

mBusiness

(25 hodnocení)

29. 2. 2016 01:18:14

Napsal Salamman;1271777
Do těch ale ručně musím zadat už nějaké domény. Ala ty co tam chci zadat někde potřebuju vydolovat :)

Jestli to hledas pro nejaky svoje PBN tak mi posli do PM jaky tema a mozna bych neco zajimavyho nasel v portfoliu, na co jsme treba nemeli cas a stale ty domeny drzime kvuli profilu...

29. 2. 2016 01:18:14

https://webtrh.cz/diskuse/jak-narocne-se-vytvorit-screamovaci-software-jako-screaming-frog/#reply1178232

Pro odpověď se přihlašte.

Přihlásit