Odhadovaný počet serverů a výkon u projektu Heuréka

T.z.V.

29. 9. 2014 20:14:36

Dokázal by někdo odhadnout, jaký je potřeba výkon pro projekt Heuréka? A jak by mohlo fungovat uspořádání? Jestli nějaké servery dělají jenom jeden úkol, např. stahování XML feedů. Nerozumím této problematice, proto se ptám.

Děkuji za rady či informace.

29. 9. 2014 20:14:36

0 0

Líbí se: zatím nikdo

Nelíbí se: zatím nikdo

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka/#reply1057975

weby

(2 hodnocení)

29. 9. 2014 21:03:49

Nejprve je nutno rozdělit oddělitelné činnosti (heureka je z hlediska návrhu podobná vyhledavači).

- crawler - stahuje zmíněné feedy

- indexer - tyto feedy zpracovavá a plní databazi tak aby byla co nejlépe použitelné pro "čtetní" - zpravidla to nejnáročnejší, plus párování zboží

- pak tu je frontend který data z indexované databáze načítá (tato db je zrcadlena na stroji, který se plní periodicky už čistýmy daty - soubežné plnení a čtení není optimální)

- zvlášť může být třeba i stroj generující výstup pro hledání unikátních dotazů

Vše může být pro mály projekt na jednom serveru, pro velký třeba na deseti.

K čemu to potřebujete vědět?

29. 9. 2014 21:03:49

0 0

Líbí se: zatím nikdo

Nelíbí se: zatím nikdo

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka/#reply1057974

T.z.V.

30. 9. 2014 04:44:34

Zajímá mě, jak tak velký projekt může fungovat, protože mám zkušenosti jen s klasickým webhostingem. Jaký výkon musí být těchto serveru a konfigurace může být stejná i software? Jak ten server se nastaví, aby každá věc dělala to co píšete? To je práce programátora nebo to jednoduše jde nějak rozdělit?

30. 9. 2014 04:44:34

0 0

Líbí se: zatím nikdo

Nelíbí se: zatím nikdo

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka/#reply1057973

miranthis

30. 9. 2014 10:01:27

@weby Myslím že nemluvíte úplně přesně.

@T.z.V Předpoklad jak škálovat takovou aplikaci je:

Že jsou servery rozdělené na:

- Webový server ( server na kterém beží skripty případně ukládají se data ten se škáluje pomoci proxy SW loadballanceru nebo HW load ballanceru, nejčastěji používaná varianta škálování je dedikovaný stroj s VPS )

- Databázový stroj zde s ohledem na množství dat je předpoklad že se jedná o noSQL databázi, pokud použili např. ElasticSearch tak ta běží čistě na dedikovaném stroji a škáluje se 2 spůsoby:

1. Navýšením paměti ram

2. Přidáváním nodů a clusterů, každý může běžet zvlášť na sereru

- Pak je tady MySQL a v ní budou uložena např. pouze profilové údaje a data které se nepoužívají často a nefiltrují se.

- Aplikační server, jak popsal weby nahoře, obsahuje nějakou background logiku

- Backup server ( zálohy atd, případně pouze uložiště )

Takže celkem máte:

1 - N - webových strojů

1 - N Databázových strojů

1 - N Aplikačních serverů

a min. 1 backup server nebo datové uložiště.

a v této jednoduché infrastruktuře 1 loadballancer ( sw nebo hw )

30. 9. 2014 10:01:27

0 0

Líbí se: zatím nikdo

Nelíbí se: zatím nikdo

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka/#reply1057972

HexaGeek

(18 hodnocení)

30. 9. 2014 12:16:33

Napsal miranthis;1127851
@weby Myslím že nemluvíte úplně přesně.
@T.z.V Předpoklad jak škálovat takovou aplikaci je:
Že jsou servery rozdělené na:
- Webový server ( server na kterém beží skripty případně ukládají se data ten se škáluje pomoci proxy SW loadballanceru nebo HW load ballanceru, nejčastěji používaná varianta škálování je dedikovaný stroj s VPS )
- Databázový stroj zde s ohledem na množství dat je předpoklad že se jedná o noSQL databázi, pokud použili např. ElasticSearch tak ta běží čistě na dedikovaném stroji a škáluje se 2 spůsoby:
1. Navýšením paměti ram
2. Přidáváním nodů a clusterů, každý může běžet zvlášť na sereru
- Pak je tady MySQL a v ní budou uložena např. pouze profilové údaje a data které se nepoužívají často a nefiltrují se.
- Aplikační server, jak popsal weby nahoře, obsahuje nějakou background logiku
- Backup server ( zálohy atd, případně pouze uložiště )
Takže celkem máte:
1 - N - webových strojů
1 - N Databázových strojů
1 - N Aplikačních serverů
a min. 1 backup server nebo datové uložiště.
a v této jednoduché infrastruktuře 1 loadballancer ( sw nebo hw )

heureka primarne bezi u supernetwork maji tam oficielne rozsah 95.168.214.64 - 95.168.214.95

v te siti jim funguje cca 10-12 serveru. Ale urcite to bude rozdeleno na crawlery, DB, analyzatory atd.. Mozna jinde mohou mit vice serveru..

30. 9. 2014 12:16:33

0 0

Líbí se: zatím nikdo

Nelíbí se: zatím nikdo

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka/#reply1057971

Mirek

(61 hodnocení)

30. 9. 2014 12:22:00

Napsal miranthis;1127851

- Pak je tady MySQL a v ní budou uložena např. pouze profilové údaje a data které se nepoužívají často a nefiltrují se.

MySQL není špatná, ale obvykle se na takto velké projekty nepoužívá. Lepší optimalizace lze dosáhnout s Oracle či MsSQL, čest vyjimkám.

30. 9. 2014 12:22:00

0 0

Líbí se: zatím nikdo

Nelíbí se: zatím nikdo

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka/#reply1057970

Jirka

(6 hodnocení)

30. 9. 2014 14:28:45

Napsal Mirek Novotny;1127916
MySQL není špatná, ale obvykle se na takto velké projekty nepoužívá. Lepší optimalizace lze dosáhnout s Oracle či MsSQL, čest vyjimkám.

Pouziva se bohuzel i na vetsi projekty a s Galera clusterem funguje prijatelne.

---------- Příspěvek doplněn 30.09.2014 v 14:29 ----------

Napsal HexaGeek;1127915
heureka primarne bezi u supernetwork maji tam oficielne rozsah 95.168.214.64 - 95.168.214.95
v te siti jim funguje cca 10-12 serveru. Ale urcite to bude rozdeleno na crawlery, DB, analyzatory atd.. Mozna jinde mohou mit vice serveru..

Za tema IP mohou byt jen Vipriony a za nima klidne dalsich 1000 serveru.

30. 9. 2014 14:28:45

0 0

Líbí se: zatím nikdo

Nelíbí se: zatím nikdo

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka/#reply1057969

T.z.V.

30. 9. 2014 15:16:12

No diskutujete tu moc odborně. Zajímalo by mě, kolik je potřeba serverů o jakém výkonu a co na nich poběží. Jaký je potřeba software atd. Nikdy jsem neměl virtuální či dedikované servery.

30. 9. 2014 15:16:12

0 0

Líbí se: zatím nikdo

Nelíbí se: zatím nikdo

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka/#reply1057968

Jirka

(6 hodnocení)

30. 9. 2014 15:39:24

Napsal T.z.V.;1127992
No diskutujete tu moc odborně. Zajímalo by mě, kolik je potřeba serverů o jakém výkonu a co na nich poběží. Jaký je potřeba software atd. Nikdy jsem neměl virtuální či dedikované servery.

Kolik a jak vykonne lesnicke techniky potrebujes k vytezeni lesa o nezname velikosti za 1 den, pokud 1/3 lesa ma stoupani 20%, prevyseni 287 metru a protina ho reka, ktera ma v kazdou denni dobu jinak silny proud a menici se sirku?

30. 9. 2014 15:39:24

0 0

Líbí se: zatím nikdo

Nelíbí se: zatím nikdo

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka/#reply1057967

T.z.V.

30. 9. 2014 15:53:16

Já vím, že to zní divně. Jen bych si rád nechal poradit, jak u takovýchto projektů řešit tuto problematiku do startu.

30. 9. 2014 15:53:16

0 0

Líbí se: zatím nikdo

Nelíbí se: zatím nikdo