Cenový odhad projektu – kolik byste si účtovali?

25. 3. 2016 12:31:44

Dobry den,

rad bych Vas touto cestou poprosil zdali by jste mohli orientacne zdelit kolik si myslite ze by jste si uctovali za nasledujici praci.

Automatizovany skript pro import dat z 7XML feedu ofiltrovanych dle kategorie a ulozeni do db, co skript musi delat:

- zpracovat XML feed

- stahnout obrazek na lokalni disk

- ulozit data z feedu do db

- nasledne pomoci skriptu navstivit stranku zparsovat obsah

- zanalyzovat zparsovany obsah a dle vysledku roztridit do konkretnich kategorii

Pozor! Obsah HTML struktury neni pevny a meni se casto.

Prosim o to jaky by byl Vas cenovy navrh na naprogramovani neceho takoveho.

Zadam pouze realne odhady, prosim vyhnete se pokud nemate poneti co to muze obsahovat, nebo nemate tuseni o pribliznem case. Nejedna se o poptavku ani nabidku, pouze research.

Vsem ochotnym, velice dekuji.

====================

Update o dalsi pozadavky a otazky:

- zpracovat XML feed

- stahnout obrazek na lokalni disk

- ulozit data z feedu do db

- nasledne pomoci skriptu navstivit stranku zparsovat obsah

- zanalyzovat zparsovany obsah a dle vysledku roztridit do konkretnich kategorii

- kazda polozka ve feedu obsahuje 1 URL detailu

- detail polozky ma temer pokazde rozdilne HTML resp, ne tak HTML jak strukturu dat v kterych je potreba hledat.

- kazda jedna polozka muze mit 50 a vice kategorii do kterych je potreba polozku roztridit na zaklade parsovaneho textu.

- XML feed neobsahuje zadne patterny, ani pomocne informace pro roztrideni kategorie pochazeji ze systemu a XML feed pouze poskytuje zakladni informace ktere jsou z vetsiny pouze pro naplneni zakladnich polozek, no nenapomahaji roztridovani z 80%.

- v systemu by mela byt take moznost zadavat fraze podle kterych by se melo kategorizovat, vyhledavat a roztridovat do kategorii, techto frazi muze byt X

Kazde XML je v rozsahu cca 500 - 1000 polozek:

id, titulek, obrazek, url, kratky popis, datum ( u kazdeho nazvy klicu mohou byt jine )

Aktualizace je denne.

25. 3. 2016 12:31:44

https://webtrh.cz/diskuse/cenovy-odhad-projektu-kolik-byste-si-uctovali#reply1185352

Spoluprace.net

(29 hodnocení)

25. 3. 2016 12:46:15

Ty XML obsahuji url, ktere bude potreba parsovat?

A ty url odkazuji na kolik webu? 7, nebo N?

25. 3. 2016 12:46:15

https://webtrh.cz/diskuse/cenovy-odhad-projektu-kolik-byste-si-uctovali#reply1185351

Flipixo LTD

25. 3. 2016 12:50:02

Napsal spoluprace.net;1279638
Ty XML obsahuji url, ktere bude potreba parsovat?
A ty url odkazuji na kolik webu? 7, nebo N?

Ano a zaroven cast dat, ne vsak vsechny a dulezite data pro prirazeni do kategorii. Kategorii/parametru je cca 100, do kterych je potreba roztridit kazdou jednu polozku. Jedna polozka muze byt klidne i v 50 kategoriich nebo parametrech.

Tzn. 7x Feed kde kazda polozka ma 1x URL a nejake dalsi zakladni data.

25. 3. 2016 12:50:02

https://webtrh.cz/diskuse/cenovy-odhad-projektu-kolik-byste-si-uctovali#reply1185350

tomve

(22 hodnocení)

25. 3. 2016 12:50:48

Od boku, 10 - 15k, a pak nějakou kačku za ty úpravy html struktury.

25. 3. 2016 12:50:48

https://webtrh.cz/diskuse/cenovy-odhad-projektu-kolik-byste-si-uctovali#reply1185349

Flipixo LTD

25. 3. 2016 12:51:41

Napsal Tomve;1279641
Od boku, 10 - 15k, a pak nějakou kačku za ty úpravy html struktury.

Nechcete prehodnotit svou, cenovou analyzu ? Pokuste se zamyslet co vsechno toto obsahuje.

25. 3. 2016 12:51:41

https://webtrh.cz/diskuse/cenovy-odhad-projektu-kolik-byste-si-uctovali#reply1185348

tomve

(22 hodnocení)

25. 3. 2016 12:52:19

Napsal Flipixo;1279640
Ano a zaroven cast dat, ne vsak vsechny a dulezite data pro prirazeni do kategorii. Kategorii/parametru je cca 100, do kterych je potreba roztridit kazdou jednu polozku. Jedna polozka muze byt klidne i v 50 kategoriich nebo parametrech.
Tzn. 7x Feed kde kazda polozka ma 1x URL a nejake dalsi zakladni data.

Tohle taky zvětší cenu. Ono se to dost blbě odhaduje, pokud člověk ví jen kostru a ne další infa (jako toto).

---------- Post added 25.03.2016 at 12:54 ----------

Napsal Flipixo;1279642
Nechcete prehodnotit svou, cenovou analyzu ? Pokuste se zamyslet co vsechno toto obsahuje.

1) Píšu od boku.

2) Nepíšeš vše, víc příspěvek o kategoriích. To se pak dost blbě dělá analýza.

btw já už toho naparsoval dost.

25. 3. 2016 12:52:19

https://webtrh.cz/diskuse/cenovy-odhad-projektu-kolik-byste-si-uctovali#reply1185347

P8j6

(9 hodnocení)

25. 3. 2016 13:01:32

On by to byl docela triviální skript, kdyby tam nebylo to parsování stránek.

Píšete že obsah těch stránek bude "všelijaký". Budou v tom XML feedu nějaké "patterny" které určí co se má na cílové stránce vyhledávat? Nebo se bude muset pro každou stránku psát custom parser?

25. 3. 2016 13:01:32

https://webtrh.cz/diskuse/cenovy-odhad-projektu-kolik-byste-si-uctovali#reply1185346

Flipixo LTD

25. 3. 2016 13:03:08

Napsal P8j6;1279645
On by to byl docela triviální skript, kdyby tam nebylo to parsování stránek.
Píšete že obsah těch stránek bude "všelijaký". Budou v tom XML feedu nějaké "patterny" které určí co se má na cílové stránce vyhledávat? Nebo se bude muset pro každou stránku psát custom parser?

Pro kazdou stranku pravdepodobne zvlast. Jedna se o to ze stranky nedrzi pevnou strukturu HTML. Tzn. reseni jakym zpusobem to vyresite by bylo na Vas, otazkou je kolik by takove reseni stalo.

---------- Příspěvek doplněn 25.03.2016 v 13:09 ----------

Prosim doplnil jsem zadani. Dle toho by jste meli dokazat urcit presnejsi odhad.

25. 3. 2016 13:03:08

https://webtrh.cz/diskuse/cenovy-odhad-projektu-kolik-byste-si-uctovali#reply1185345

P8j6

(9 hodnocení)

25. 3. 2016 13:09:33

A jaký typ dat by se měl na těch stránkách "sklízet"? Kdyby bylo třeba řečeno - vytáhni s téhle stránky všechny obrázky. Tak je to jednoduché.

Ale jinak si bohužel nedokážu představit lepší řešení, než že se napíše parser pro každou stránku a každý týden (nebo i častěji) se bude dělat údržba a kontrolovat jestli se stahuje to co má. A pokud by bylo potřeba, tak by se příslušný parser poupravil. V tom případě by pro Vás bylo určitě lepší si někoho sehnat kdo to bude ochotný dlouhodobě supportovat - klidně i za paušál.

25. 3. 2016 13:09:33

https://webtrh.cz/diskuse/cenovy-odhad-projektu-kolik-byste-si-uctovali#reply1185344

TomasX

(4 hodnocení)

25. 3. 2016 13:09:50

Asi bych odhad rozdělil na dvě části, stažení feedu, naparsování, vyfiltrování, uložení do databáze, stažení obrázku je otázka asi 5 - 10 hodin práce, pokud feedy budou validní a strukturu v databázi budu mít pod kontrolou. To už každý programátor dělal mnohokrát a žádný problém s tím není, tj. cena od cca 2000 do cca 10000 u jednotlivce.

Druhá část je složitější, ale opravdu. Rozsahem se může jednat o nejjednodušší řešení na cca 20 hodin práce. Kvalita výsledku a rychlost nic moc, ale určitý výstup to bude poskytovat, předpokládám pouze češtinu. Druhý extrém je parsování javascript stránek v různých jazycích za přihlašovacími formuláři, to může dělat klidně několik programátorů na fulltime několik měsíců, tj. náklady v milionech. Změna struktury stránky není takový problém a řada řešení může být imuní vůči změně, to chce také zavčasu zvážit, jinak se ti náklady časem můžou pěkně vyhnoupnout nahoru.

Další kritérium je množství dat, pokud bude výsledkem 10 000 záznamů v databázi, 1000 stažených obrázků a 1000 parsovaných stránek, odhady nahoře přibližně odpovídají. Jakmile ale rozsah bude desetinásobný, cena bude cca dvojnásobná, stonásobný obsah už cenu může zdesetinásobit a pro další řády je nutné již mít schopnějšího programátora a cenu nelze takhle snadno predikovat.

U odhadu předpokládám, že dáš programátorovi volnou ruku ve volbě jazyku a frameworků. Pokud bys chtěl danou funkci doprogramovat do existujících aplikací, může to výrazně pohnout s cenou nahoru. Stejně tak pokud bys mermomocí chtěl používat php, může to zbytečně zvednout časovou náročnost, jsou vhodnější jazyky s již hotovými knihovnami.

Pokud se jedná o další slevový agregátor, raději kup již hotové řešení, existuje jich několik, u pár jsem kdysi asistoval.

25. 3. 2016 13:09:50

https://webtrh.cz/diskuse/cenovy-odhad-projektu-kolik-byste-si-uctovali#reply1185343

Flipixo LTD

25. 3. 2016 13:13:09

Napsal TomášX;1279649
Asi bych odhad rozdělil na dvě části, stažení feedu, naparsování, vyfiltrování, uložení do databáze, stažení obrázku je otázka asi 5 - 10 hodin práce, pokud feedy budou validní a strukturu v databázi budu mít pod kontrolou. To už každý programátor dělal mnohokrát a žádný problém s tím není, tj. cena od cca 2000 do cca 10000 u jednotlivce.
Druhá část je složitější, ale opravdu. Rozsahem se může jednat o nejjednodušší řešení na cca 20 hodin práce. Kvalita výsledku a rychlost nic moc, ale určitý výstup to bude poskytovat, předpokládám pouze češtinu. Druhý extrém je parsování javascript stránek v různých jazycích za přihlašovacími formuláři, to může dělat klidně několik programátorů na fulltime několik měsíců, tj. náklady v milionech. Změna struktury stránky není takový problém a řada řešení může být imuní vůči změně, to chce také zavčasu zvážit, jinak se ti náklady časem můžou pěkně vyhnoupnout nahoru.
Další kritérium je množství dat, pokud bude výsledkem 10 000 záznamů v databázi, 1000 stažených obrázků a 1000 parsovaných stránek, odhady nahoře přibližně odpovídají. Jakmile ale rozsah bude desetinásobný, cena bude cca dvojnásobná, stonásobný obsah už cenu může zdesetinásobit a pro další řády je nutné již mít schopnějšího programátora a cenu nelze takhle snadno predikovat.
U odhadu předpokládám, že dáš programátorovi volnou ruku ve volbě jazyku a frameworků. Pokud bys chtěl danou funkci doprogramovat do existujících aplikací, může to výrazně pohnout s cenou nahoru. Stejně tak pokud bys mermomocí chtěl používat php, může to zbytečně zvednout časovou náročnost, jsou vhodnější jazyky s již hotovými knihovnami.
Pokud se jedná o další slevový agregátor, raději kup již hotové řešení, existuje jich několik, u pár jsem kdysi asistoval.

Zadny login, ani parsovani JS se nejedna, pouze obsah detailu. Textove informace podl kterych je potreba roztridovat, inteligentne. Analyza a proces je nam znamy, nejedna se o kupovani, ani, jakou technologii volit. Delame research, na toto tema a zajimaji nas Vase cenove odhady a navrhy. Technologicky znaly jsme. I to jak by se to melo resit a kolik by to melo priblizne stat.

Toto je vsak research, na uvedeny priklad ne poptavka.

25. 3. 2016 13:13:09

https://webtrh.cz/diskuse/cenovy-odhad-projektu-kolik-byste-si-uctovali#reply1185342

TomasX

(4 hodnocení)

25. 3. 2016 13:40:54

bez podrobnějších informací, přesnější odhad ti nikdo nedá. Je obrovský rozdíl pokud budu parsovat detailu produktu na alza.cz nebo článek z novinek.

Co znamená inteligentně? Jako že u toho musím přemýšlet? Automatické třídění informací, tak aby člověk z toho byl spokojený je sakra těžké, v práci na tom máme tým 8 lidí, kteří nedělají nic jiného než výzkum zpracování a třídění dat, která stahujeme pro klienty. To jen příklad, že bez konkretizace se těžko dělají jakékoliv odhady.

Co je teda cíl tvého výskumu, když vše znáte? :)

25. 3. 2016 13:40:54

https://webtrh.cz/diskuse/cenovy-odhad-projektu-kolik-byste-si-uctovali#reply1185341

Flipixo LTD

25. 3. 2016 13:48:29

Napsal TomášX;1279655
bez podrobnějších informací, přesnější odhad ti nikdo nedá. Je obrovský rozdíl pokud budu parsovat detailu produktu na alza.cz nebo článek z novinek.
Co znamená inteligentně? Jako že u toho musím přemýšlet? Automatické třídění informací, tak aby člověk z toho byl spokojený je sakra těžké, v práci na tom máme tým 8 lidí, kteří nedělají nic jiného než výzkum zpracování a třídění dat, která stahujeme pro klienty. To jen příklad, že bez konkretizace se těžko dělají jakékoliv odhady.
Co je teda cíl tvého výskumu, když vše znáte? :)

Tome rozumim, predstavte si ze mate 100 kategori, a z kazde stranky vytahnete obsah, nasledne ten obsah na zaklade slov/fraz/vet z rozhrani ( ktere je potreba take dotvorit do systemu a je soucasti zadani ) roztridujete do jednotlivych kategorii a zaroven vytahujete nove slova/fraze/vety ktere mohou byt prirazovany.

z pruzkumu ma vyjit:

- jaky prehled dodavatele maji

- jak blizko se blizi odhad ceny k realite a realne cenove narocnosti

- jak dokazou analyzovat zadani a to i v pripade ze je popsane "klientskou reci"

A zaroven jako vysledek by take mel byt clanek, jak komunikovat s dodavateli a resit situace a co ocekavat a co ne.

25. 3. 2016 13:48:29

https://webtrh.cz/diskuse/cenovy-odhad-projektu-kolik-byste-si-uctovali#reply1185340

TomasX

(4 hodnocení)

25. 3. 2016 14:10:48

díky za doplnění, v tom případě platí asi moje původní odhady. Beru jen backend, administraci nebo ovládací rozhraní nezohledňuji.

Jakmile budou konkrétní výrazy na třídění k dispozici, jedná se víkendový projekt, shodou okolností jsme právě minulý víkend dělali něco podobného - analýza obsahu online zpravodajství buď vyhledáváním kdy se o čem mluvilo nebo naopak časový přehled co bylo kde in. Třem programátorům to trvalo 12 hodin vč. prezentace, administrace a vizualizace.

existuje již řada hotových řešení přesně na tohle, ať už jde o apache nutch nebo scrapy v pythonu. Java má výhodu v tom, že existují díky solru nebo lucene už hotové knihovny pro práci s jazyky a je možné jen změnou nastavení zajistit, aby se celý obsah stránky převedl pouze do základních tvarů. Sám nutch již obsahuje vysekání textu z html stránky vč. najítí pouze souvislých bloků textu.

Dovolím si ale pochybovat o smyslu podobného výzkumu. I maličkosti mohou výrazně vývoj prodražit, stačí aby klient poslal svoj grafické podklady v nevhodném formátu nebo si chce aplikaci provozovat sám a je nutné složitě jí napasovat na jeho již hotovou infrastrukturu. Nemluvě o dodržení určité bezpečností politiky nebo psaní testů, tohle vše hejbe násobně s rozpočtem. Již 5 let pracujeme výhradně agilně a vypadá to, že klienti jsou spokojenější s přístupem stylu "budeme se vám věnovat měsíc a uděláme co stihneme, přijďte k nám a hlídejte si funkčnost"

25. 3. 2016 14:10:48

https://webtrh.cz/diskuse/cenovy-odhad-projektu-kolik-byste-si-uctovali#reply1185339

Flipixo LTD

25. 3. 2016 14:18:33

Napsal Flipixo;1279657
Tome rozumim, predstavte si ze mate 100 kategori, a z kazde stranky vytahnete obsah, nasledne ten obsah na zaklade slov/fraz/vet z rozhrani ( ktere je potreba take dotvorit do systemu a je soucasti zadani ) roztridujete do jednotlivych kategorii a zaroven vytahujete nove slova/fraze/vety ktere mohou byt prirazovany.
z pruzkumu ma vyjit:
- jaky prehled dodavatele maji
- jak blizko se blizi odhad ceny k realite a realne cenove narocnosti
- jak dokazou analyzovat zadani a to i v pripade ze je popsane "klientskou reci"
A zaroven jako vysledek by take mel byt clanek, jak komunikovat s dodavateli a resit situace a co ocekavat a co ne.

Z naseho pohledu, se nejedna o data typu striktne dana, a presne obsahova ale prehled, cenove rozmezi priblizne vyjadruje rozsah a hloubku dodavatelova prehledu a predstavlivosti. Primarne se ale jedna o to ze i my se potkavame mnohdy s klienty v CR/SR kteri maji velky problem a tezce reaguji a vstrebavaji navyseni rozpoctu a neocekavane vice prace, pri vyvoji kde odmitli analyzu projektu predem.

Oznacuji mnohdy tyto navyseni za podvodne, klamne a nerealne a odmitaji je akceptovat. Tak jsme se rozhodli ze udelame jak pruzkum prehledu developeru a dodavatelu, z ceho by melo vyplinout to jak daleko saha jejich znalost a hloubka zkusenosti na jedno tema, z ceho se nasledne da vypracovat clanek pro obe strany, kde klienti si maji davat pozor a kde si dodavatele naopak maji davat pozor a pokusit se vyvodit jak nejlepe postupovat pri uzavirani zakazky.

Mnoho zakazek padne na tom, ze se dve strany nedokazi dohodnout, protoze jedna ze stran vetsinou ta "netechnologicka" ma podezreni ze to neni pravda, nebo ze automaticky schvaleni orientacniho budgetu bez analyzy znamena finalni cenu. Verim ze takovyto pruzkum, analyza a sepsani zakladnich informaci s kterymi klienti mohou pocitat, muze byt velice napomocne.

25. 3. 2016 14:18:33

https://webtrh.cz/diskuse/cenovy-odhad-projektu-kolik-byste-si-uctovali#reply1185338