"Stahování" Databáze

1. 11. 2015 14:09:59

Zdravim,

chci se zeptat, jak je to se stahovaním informací z webu? Např. agregátor pracovních nabídek. Co stahuje data z různých inzertních portálu práce napr. prace.cz, sprace.cz apod. A pak je sdružuje na jednu stránku.

Nebo třeba srovnávače cen, které stahují produkty a jejich ceny z různých eshopu. Nemyslim heureku tam to eshopy tuším vkládají sami, ale nějaký srovnávač který si to "násilně" stáhne zté stránky bez povolení.

Jak je to s legislativou? A třeba jak se to dá nějakým způsobem obejít?

Všechny ty informace např. prac. nabídky, ceny na eshopech apod jsou veřejně dostupné.. akorát jsou "násilně" stažené na jedno místo. (ošetřené je to s malým náporem na web ať stránku neplašíme DDOS útokem)

Díky za jakýkoliv názor!

1. 11. 2015 14:09:59

https://webtrh.cz/diskuse/stahovani-databaze#reply1149862

i-PRESS

(2 hodnocení)

1. 11. 2015 14:22:06

Myslíte, jako že Váš vlastní script bude strojově vytěžovat informace třeba z mých webů a nehledět při tom na to podmínky jednotlivých sekcí (copyright, či nějaká CC licence)?

No tak ve lepším případě dostanete ban, pokud se prokáže další šíření, asi bych zvážil i právní kroky a to především při komerčním využití.. Vždyť za některý obsah také musíme platit, případně je za tím práce lidí které musíme zaplatit.

Pokud by šlo o neziskové užití třeba ke studijním účelům a nepřetěžovalo servery více než je zdrávo, asi bych neřešil. Obecně tedy asi odpovědět nelze, daleko lepší by bylo vědět jaká data a jak by se s nimi nakládalo.

EDIT: Ještě doplním, že pokud na konkrétní službě mám zájem nabídnout data, poskytnu feed, nebo API a jasně definované podmínky (počet requestů za minutu, atd..). Jestliže takto data nenabízím, je vhodné spíše předpokládat, že o další šíření a zpracování zájem nemám a bylo by vhodné se raději zeptat.

1. 11. 2015 14:22:06

https://webtrh.cz/diskuse/stahovani-databaze#reply1149861

Jan Pekarek

(12 hodnocení)

1. 11. 2015 14:36:20

Diky za odpověd.

Ano jednalo by se o strojove vytezovani. Stahované informace by nebyly od provozovatele toho webu, ale od třetích stran co ty informace na ten web vkládájí (prostě inzertní nabídky třeba, vkládají to tam lidé). Ty bych já strojově stahoval na svůj web a vytvořil ruzné funkce pro ty data. Web by byl komerční, ale jen pro určitou malou skupinu lidí, které by to usnadnilo práci stěmi weby ze kterých informace ja stahuji.. a v důsledku bych zase přivedl zpátky traffic na ty stránky. Takže by o žádný zisk nepřišli. Např. agregátory slev nebo prac. nabídek

1. 11. 2015 14:36:20

https://webtrh.cz/diskuse/stahovani-databaze#reply1149860

i-PRESS

(2 hodnocení)

1. 11. 2015 14:43:24

Pokud máte v plánu ta data agregovat a pouze filtrovat, dále propagovat a zákazníky opět přeposílat zpět, myslím že by bylo daleko vhodnější cestou takovou spolupráci vlastníkovi nabídnout a podmínky individuálně dohodnout. Stále je potřeba myslet na to, že ne vše co je na internetu je zcela free, za většinou databází je spousta lidí a spousta práce, tedy i nemalé náklady.

Na serveru csfd.cz jsou také recenze vkládány samotnými uživateli, nicméně organizace a provoz něco stojí, neznamená to tedy, že když to nenapsali vlastními silami, můžete jejich databázi okopírovat a vydělávat na ní ;)

1. 11. 2015 14:43:24

https://webtrh.cz/diskuse/stahovani-databaze#reply1149859

Jan Pekarek

(12 hodnocení)

1. 11. 2015 15:15:35

Chápu vás jak to myslíte. :-) Ano tak nějak by to bylo. Ale aby to fungovalo chce to mít velké kvantum dat s více portálů. A některé portály můžou být např. akciovky.. kde bude vyjednávání asi opravdu složité. Jak by jste toto řešil?

1. 11. 2015 15:15:35

https://webtrh.cz/diskuse/stahovani-databaze#reply1149858

i-PRESS

(2 hodnocení)

1. 11. 2015 15:24:41

Osobně bych bych domlouval podmínky jednotlivě s tím, že bych rozšiřoval postupně. Ostatně na tom to přeci stojí, pokud to dobře chápu.. Kdyby to bylo jednoduché, s velkou pravděpodobností by Váš záměr už někdo provozoval a bez exkluzivity by to postrádalo asi smysl :-)

Btw, na většinu služeb pro vlastní potřeby API stejně mám, byť je třeba neveřejné, takže to, že to někdo nenabízí ještě neznamená, že by bylo obtížné dohodnout nějaký testovací přístup a najít využití vhodné pro obě strany.

1. 11. 2015 15:24:41

https://webtrh.cz/diskuse/stahovani-databaze#reply1149857

J Michal

1. 11. 2015 17:31:44

Curabitur dictum turpis mauris, sed scelerisque dui venenatis in. Curabitur semper augue lacus, vitae malesuada magna luctus et. Morbi pellentesque tincidunt purus ac viverra. Morbi purus enim, consequat a rhoncus a, egestas sed massa. Proin ante justo, ultricies at dapibus eu, tempor in massa. Aliquam non tortor posuere, fringilla urna at, ullamcorper libero. Lorem ipsum dolor sit amet, consectetur adipiscing elit. Ut ultrices faucibus odio, ac congue justo mattis quis. Sed varius mattis auctor. Pellentesque rutrum mollis ipsum, in fringilla metus condimentum at. Cras ut lectus nibh. Vestibulum dictum mollis blandit. Curabitur turpis velit, ultrices at commodo vitae, elementum in eros.

1. 11. 2015 17:31:44

https://webtrh.cz/diskuse/stahovani-databaze#reply1149856

i-PRESS

(2 hodnocení)

1. 11. 2015 18:15:18

Autorský zákon to myslím říká celkem jasně.. Doporučil bych se zaměřit na vymezení pojmů, tedy že databází se rozumí i údaje pouze systematicky, či metodicky uspořádané, tedy ne pouze obsah a to navíc v určité míře a dále pak na § 91.

Pokud se odprostím od právní stránky věci, pokud budu chtít, aby data z mého serveru byla dále šířena, zpřístupním je pomoci feedu či api jak jsem již psal. Tím zároveň zajistím nějakou dostupnost a třeba i zpětnou kompatibilitu při inovaci. Jestliže mi budete data parsovat z webu přímo, při blokaci, nebo změně na stránce mého serveru budete řešit jejich nedostupnost. To se však odrazí i na "kvalitě" a spolehlivosti Vašeho produktu. Tím spíše, že má jít o produkt komerční.

Opravdu chcete vsadit pověst vašeho produktu na to, že Vás někdo neodstřihne, případně neupraví výpis? Pokud je služba závislá na externích službách, vždy bude jen tak spolehlivá, jako nejméně spolehlivý z jejich zdrojů. Pokud přijdu na Váš web zrovna po velkém update Vašich nedobrovolných dodavatelů a nenajdu tam očekávaný obsah, s velkou pravděpodobností se již nevrátím.

Proto bych se vydal spíše cestou dohody, byť chápu že to je pravděpodobně náročnější, nicméně i spolehlivý parser nějaký čas zabere a je také povětšinou napasovat na míru konkrétnímu zdroji..

1. 11. 2015 18:15:18

https://webtrh.cz/diskuse/stahovani-databaze#reply1149855

Spoluprace.net

(29 hodnocení)

1. 11. 2015 20:33:10

Jelikoz se zabyvam podobnym tematem, dovolim si par postrehu.

Napsal i-PRESS;1237350
Opravdu chcete vsadit pověst vašeho produktu na to, že Vás někdo neodstřihne, případně neupraví výpis?

Pokud upravi nekdo vypis, upravi se robot. Pokud se nejedna o kompletni zmenu designu/systemu, tak ty fixy jsou v radu minut.

Setkal jsem se s tim asi ve 3% zakazek, ze by se neco menilo uplne cele.

Napsal J Michal;1237337
On ten crawling je dost náročný nejen na servery ze kterých se informace stahují ale i na server, který informace stahuje. Takže by asi bylo dobré zvážit jestli se něco takového vyplatí.

Pokud se to udela chytre, tak to narocne na server odkud se stahuji neni.

Navic vetsina serveru je tak nastavena, ze to ani jednim robotem pretizit nemuzete, pokud se nesnazite a poralarni stahovani z ruznych adres a spojeni.

Na server, kam se data stahuji to vetsinou narocne neni. Je to neco jineho, nez kdyz si do eshopu importujete 60MB XML.

Napsal i-PRESS;1237350
Pokud se odprostím od právní stránky věci, pokud budu chtít, aby data z mého serveru byla dále šířena, zpřístupním je pomoci feedu či api jak jsem již psal.

Tak to jste svetla vyjimka. Vetsinou se tak nedeje a robot je pak jedina moznost.

1. 11. 2015 20:33:10

https://webtrh.cz/diskuse/stahovani-databaze#reply1149854

Milan Kajnar

15. 3. 2016 17:21:04

Dobrý den, klidně se můžeme domluvit, jsem Dataminer, napíšu cokoliv jako službu, co bude pro vás denně stahovat zadaná data s dynamickými headery a krytím přes free nebo placené proxy servery. Píšu běžně služby co stáhnou miliony záznamů měsíčně. Nabídka je trvalá, stačí mi napsat na mkajnar@mikesoft.cz. Mohu stahování pro vás provozovat, nebo vám předat zdrojový kód. Data vám mohu ukládat přímo do MySQL DB ve vašich větách.

15. 3. 2016 17:21:04

https://webtrh.cz/diskuse/stahovani-databaze#reply1149853

TomasX

(4 hodnocení)

15. 3. 2016 18:08:16

Milan Kajnar: tohle je ale slušný spam, copak sháníš peníze?

15. 3. 2016 18:08:16

https://webtrh.cz/diskuse/stahovani-databaze#reply1149852

Milan Kajnar

15. 3. 2016 18:19:50

Proč spam? Je to nabídka-poptávka spolupráce v diskuzi k tématu tomu odpovídajícímu. Jmenuje se to tu WebTrh, ne? Kdo nechce reagovat nemusí, kdo chce data pro své fungování ať se ozve. Je to volba jednotlivců. A ty peníze nepotřebuješ? Tak se mi ozvi, rád si od tebe nechám něco vytvořit jen pro tvou radost. :)

15. 3. 2016 18:19:50

https://webtrh.cz/diskuse/stahovani-databaze#reply1149851

TomasX

(4 hodnocení)

15. 3. 2016 18:35:42

Oživovat 4 stará vlákna s reklamou na sebe je prostě spam, nic jiného.

Oháníš se diskuzí k tématu a přitom porušuješ podmínky užívání webtrhu, s kterými si při registraci souhlasil aneb par. 4.5.

Nevyžádané obchodní sdělení není volba jednotlivce, ale ubohost/nouze na straně inzerenta.

15. 3. 2016 18:35:42

https://webtrh.cz/diskuse/stahovani-databaze#reply1149850

Milan Kajnar

15. 3. 2016 18:50:29

No možná proto, že jsem pravidla četl v době vzniku webu a sorry, fakt je nenosím od té doby v hlavě. Není to obchodní sdělení, to by vypadalo jinak. Možná jsem to udělal špatně, netušil jsem, že po tom, co tu každý cpe odkazy na affiliate produkty v každém vlákně bude vadit nějaké citlivé duši zmínka o tom, že jsem schopen v krátkém čase a levně dodávat data, která mohou ostatní potřebovat. Oživení starých vláken? Ta vlákna jsou stále aktivní. Do ukončených tu nic vložit nejde. Lezu Ti v něčem snad do zelí? Mám ten pocit. Řešení co jsem tu četl pro stahování dat jsou špatná, možná dobrá na školní úlohy, ne pro reálný provoz. Jsem programátor a rád poradím, nebo navrhnu řešení. Mám na to dost zkušeností, kapacity a vlastní servery. Soudíš mě jakým měřítkem? Zamysli se k čemu to tu je? Napadáš mě zbytečně. Budeš asi dobrý diskutér, co si tu chce hladit ego, ale nic rozumného z tebe asi nikdy nevypadne jen urážky.

---------- Příspěvek doplněn 15.03.2016 v 18:59 ----------

Hele a fakt nemám pocit, že jsi ten kdo ta vlákna založil, tak se vyjadřuj maximálně k těm svým. Nikdo se tě fakt neptal na to jak moc se teď nudíš aby jsi se tady musel vypisovat nad tím co se tě vůbec netýká.

15. 3. 2016 18:50:29

https://webtrh.cz/diskuse/stahovani-databaze#reply1149849

TomasX

(4 hodnocení)

15. 3. 2016 19:05:08

nikdo si nepamatuje vše, proto jsem tě na ty podmínky upozornil. Nahoře máš sekci nabídky na podobné inzeráty.

Ano, člověku to vadí přesně kvůli tomu, že podobných reklam na produkty/služby se objevuje v diskuzích až přemíra. Objevíš se tady po několika letech a jediné tvoje příspěvky jsou nabídka služeb, hele sorry, to je reklama jak vyšitá.

Rozhodně nesoudím tebe nebo tvoji práci, ale způsob jakým tu práci nabízíš.

15. 3. 2016 19:05:08

https://webtrh.cz/diskuse/stahovani-databaze#reply1149848