Kam ukládat terabaity dat

Petr Soukup

(5 hodnocení)

21. 12. 2013 03:17:12

Napsal WEDOS;1035779
WEDOS Disk jde kupovat v násobcích 1 TB. Takže kapacitně tam problém nebude :-)

Takže když si koupím 3TB, tak není problém to pak jedním kliknutím rozšířit na 400TB?

21. 12. 2013 03:17:12

https://webtrh.cz/diskuse/kam-ukladat-terabaity-dat/strana/2#reply978420

Jan Horák (Gransy)

(22 hodnocení)

21. 12. 2013 17:56:34

Doplnil bych dotaz tazatele ... kam ukladat stovky GB dat ve stovkach milionu miniaturnich souboru ?

21. 12. 2013 17:56:34

https://webtrh.cz/diskuse/kam-ukladat-terabaity-dat/strana/2#reply978419

Václav Dušek

(78 hodnocení)

21. 12. 2013 18:52:36

Napsal gransy;1035899
Doplnil bych dotaz tazatele ... kam ukladat stovky GB dat ve stovkach milionu miniaturnich souboru ?

První nápad - do databáze?

Záleží co to je za soubory, co se s nimi má dál provádět...

Jinak stromová struktura adresářů

21. 12. 2013 18:52:36

https://webtrh.cz/diskuse/kam-ukladat-terabaity-dat/strana/2#reply978418

Jan Horák (Gransy)

(22 hodnocení)

21. 12. 2013 18:56:21

textovy / cist a zapisovat :) soubory o velikosti od par bajtu, po par kB

SQL je pro tohle mnozstvi nepouzitelna, pouzivame Cassandru, ale tu mame opravdu na ty nejvic hard data

A neptam se na technologii, jako spise poskytovatele rychleho datoveho uloziste s kapacitou stovek GB a podporou takoveho mnozstvi souboru (stromova struktura neni problem)

21. 12. 2013 18:56:21

https://webtrh.cz/diskuse/kam-ukladat-terabaity-dat/strana/2#reply978417

Václav Dušek

(78 hodnocení)

21. 12. 2013 19:11:43

Asi nic lepšího, než řešení typu diskové pole na rychlých discích (nebo pole s rychlou cache pro často využívaná data) se nedá pořídit.

Co je to za data?

Jaké tam jsou paralelní přístupy?

Jak časté?

Podle čeho se v souborech vyhledává?

Indexovat soubory v databázi a ukládat je do filesystému?

Jsou to jen nápady...

BTW - pokud to jsou důležitá data (bussiness critical), nespoléhal bych na externího poskytovatele/cloud

21. 12. 2013 19:11:43

https://webtrh.cz/diskuse/kam-ukladat-terabaity-dat/strana/2#reply978416

XXX376

(8 hodnocení)

21. 12. 2013 19:14:26

WEDOS asi nejlepší a nejlevnější řešení

21. 12. 2013 19:14:26

https://webtrh.cz/diskuse/kam-ukladat-terabaity-dat/strana/2#reply978415

Jan Horák (Gransy)

(22 hodnocení)

21. 12. 2013 19:19:00

Napsal vdusek;1035926
Asi nic lepšího, než řešení typu diskové pole na rychlých discích (nebo pole s rychlou cache pro často využívaná data) se nedá pořídit.

neni to pro me tak hard abych na to kupoval vlastni HW, proto muzu vyuzit externi sluzby, coz by melo vyjit levneji.

Napsal vdusek;1035926
Co je to za data?

ciste textove

Napsal vdusek;1035926
Jaké tam jsou paralelní přístupy?

zadne, jen vzdy 1 pristup

Napsal vdusek;1035926
Jak časté?

v radech minut

Napsal vdusek;1035926
Podle čeho se v souborech vyhledává?

podle niceho, vyhledavaji se vylozene dane soubory, a pak se zpracovava cely obsah jako celek - a konkretni soubor lze vytahnout ze stromovy struktury adresaru + jeho jmeno - jen jich je proste mrte moc (stovky milionu az miliardy)

Napsal vdusek;1035926
Indexovat soubory v databázi a ukládat je do filesystému?

protoze se v nich nehleda, netreba nic indexovat .. konkretni soubor lze nacist jednoduse: /a/b/c/d/nejakydata.txt (protoze adresarova struktura je defakto index)

Napsal vdusek;1035926
BTW - pokud to jsou důležitá data (bussiness critical), nespoléhal bych na externího poskytovatele/cloud

Nejsou, jsou to uz zpracovane surove data, ktera jsou pro me dulezita, vysledek jiz nikoliv, proto mi nevadi externi poskytovatel, pokud cenove vyjde rozumeji nez si porizovat vlastni pole :)

---------- Příspěvek doplněn 21.12.2013 v 19:20 ----------

Napsal XXX376;1035928
WEDOS asi nejlepší a nejlevnější řešení

Pokud reagujes puvodnimu tazateli, tak ano, pokud me, tak 3 mil souboru na 1TB neni odpovedi na muj dotaz :) to bych si musel jen kvuli souborum koupit nekolik set TB az 1PB :)

21. 12. 2013 19:19:00

https://webtrh.cz/diskuse/kam-ukladat-terabaity-dat/strana/2#reply978414

WEDOS Internet, a.s.

(7 hodnocení)

21. 12. 2013 19:47:55

Napsal gransy;1035899
Doplnil bych dotaz tazatele ... kam ukladat stovky GB dat ve stovkach milionu miniaturnich souboru ?

Na WEDOS Disk... Jednoduché řešení - WEDOS Disk si připojíte jako filesystém, který zakryptujete třeba pomocí TrueCrypt a pro nás to je 1 soubor.

Napsal XXX376;1035928
WEDOS asi nejlepší a nejlevnější řešení

Je to na v ČR, splňujete to českou legislativu (třeba zálohování osobních dat do "neznámé lokality" může být problém), připojené bez omezení přenosu dat apod.

Je to dobrá nabídka a o tom svědčí i to, že se to prodává :-)

Napsal gransy;1035931
Pokud reagujes puvodnimu tazateli, tak ano, pokud me, tak 3 mil souboru na 1TB neni odpovedi na muj dotaz :) to bych si musel jen kvuli souborum koupit nekolik set TB az 1PB :)

Jak bylo uvedeno výše... , včetně našeho návodu. Potom stačí na 1TB na miliony a miliony a miliony souborů...

http://kb.wedos.com/disk/truecrypt.html

21. 12. 2013 19:47:55

https://webtrh.cz/diskuse/kam-ukladat-terabaity-dat/strana/2#reply978413

Jan Horák (Gransy)

(22 hodnocení)

21. 12. 2013 20:13:44

Napsal WEDOS;1035946
Na WEDOS Disk... Jednoduché řešení - WEDOS Disk si připojíte jako filesystém, který zakryptujete třeba pomocí TrueCrypt a pro nás to je 1 soubor

Nema to pri tom pouziti krapet degradacni ucinky ohledne rychlosti ? Aby pak pristoupeni ke konkretnimu souboru netrvalo vecnost :)

21. 12. 2013 20:13:44

https://webtrh.cz/diskuse/kam-ukladat-terabaity-dat/strana/2#reply978412

WEDOS Internet, a.s.

(7 hodnocení)

21. 12. 2013 20:21:41

Napsal gransy;1035960
Nema to pri tom pouziti krapet degradacni ucinky ohledne rychlosti ? Aby pak pristoupeni ke konkretnimu souboru netrvalo vecnost :)

Zkoušel jste to někdy? Zásadní rozdíl tam není. Používáme to.

21. 12. 2013 20:21:41

https://webtrh.cz/diskuse/kam-ukladat-terabaity-dat/strana/2#reply978411

Jan Horák (Gransy)

(22 hodnocení)

21. 12. 2013 20:34:27

Napsal WEDOS;1035964
Zkoušel jste to někdy? Zásadní rozdíl tam není. Používáme to.

nezkousel, proto se ptam ... predstava trebas pul terovyho souboru obsahujici FS pro stamiliony domen ... tak ten access na soubor musi hledat ve FS spravny umisteni, coz mi prijde ze pri online pripojeni bude dost degradacni :)

Ale oki, vyzkousim to u sebe jak to bude fungovat, a kdyztak to zkusim pak i u Vas ... nicmene prijimam i dalsi nazory/doporuceni

21. 12. 2013 20:34:27

https://webtrh.cz/diskuse/kam-ukladat-terabaity-dat/strana/2#reply978410

Václav Dušek

(78 hodnocení)

21. 12. 2013 20:46:41

Našel jsem třeba následující srovnání Filesystémů:

http://home.comcast.net/~jpiszcz/benchmark/allfs.html

na odkazu http://serverfault.com/questions/6711/filesystem-for-millions-of-small-files

Jaká je velikost bloku a používaný filesystém?

21. 12. 2013 20:46:41

https://webtrh.cz/diskuse/kam-ukladat-terabaity-dat/strana/2#reply978409

Petr Soukup

(5 hodnocení)

22. 12. 2013 19:46:46

Napsal gransy;1035899
Doplnil bych dotaz tazatele ... kam ukladat stovky GB dat ve stovkach milionu miniaturnich souboru ?

Není na to ideální nějaká NoSQL databáze? Třeba tohle http://aws.amazon.com/dynamodb/, ale je to teď moderní, takže to hostuje kde kdo (kromě Wedosu).

22. 12. 2013 19:46:46

https://webtrh.cz/diskuse/kam-ukladat-terabaity-dat/strana/2#reply978408

Jan Horák (Gransy)

(22 hodnocení)

22. 12. 2013 23:34:59

Jj, jak jsem psal, surova data mame v cassandre, ale je to nenazrany z hlediska vykonu kdyz to obsahuje uz nekolik set miliard dat v radech TB .... Nakonec zkousim variantu SSD disku s vyberem vhodneho FS, tak uvidim.

22. 12. 2013 23:34:59

https://webtrh.cz/diskuse/kam-ukladat-terabaity-dat/strana/2#reply978407

premiumhosting