Bakalářská práce: Big data a Hadoop – praktické zkušenosti

Ahoj/ Zdravím, píšu bakalářskou práci na téma Big data a jejich zpracování v platformě Hadoop. Zajímalo by mně co si o tomto trendu myslíte vy. Je to jen další buzzword, kterým se IT firmy snaží vytáhnout peníze z IT rozpočtů firem nebo zde vidíte reálně využití v praxi? Máte už případně s implementací některé technologie zkušenosti, případně jaké? Případně pokud by téma někoho zajímalo více a chtěl si v této oblasti vyměňovat zkušenosti, ať mi napíše zprávu - myslím, že je zde potenciál realizovat zajímavé inovativní projekty.. Děkuji za váš čas.

Je to super nahodou. Je prijemne vydolovat souvislost mezi destem v Praze a zvysenym prodejem v Ostrave ;)

Pokud bys potřeboval nějaké informace, klidně napiš. Věnuji se těmhle databázím (hadoop + hbase, yarn, mysql; elasticsearch, riak, couchbase, cassandra atd.) profesně dlouhodobě, jak správou, tak i programováním. Pro klienty řešíme kompletní realtime i dlouhodobou analytiku nad bilionami údajů.První věc je, že hodně firem zaměňuje velkou databázi (klidně stovky GB) za big data. Pro mě je big data vše, na co potřebuji desítky a více serverů. Big data tady jsou už dlouho, jen se jim dříve tak neříkalo, já s tím začal před deseti lety a už v té době jsem vedle sebe měl velice zkušené mentory. Čím víc je svět online, tím víc se vytváří dat, které je nutné zpracovat.Jsou tady hlavní dva hnací motory, jeden je marketing, kdy se firmy snaží ze svých dat vytěžit větší zisky a to je poslední dobou in. A druhý je automatizace a návrhy řešení, kdy se snažím velkou část práce s optimalizacemi hodit na počítač, automobilový průmysl v tom jede už desítky let. Rozvíjejí se autonomní systémy (drony, kamery, budovy) a bez strojového účení a hodně velkých databází informací k analýze nejsem schopný nic takového postavit.