Odhadovaný počet serverů a výkon u projektu Heuréka

T.z.V.

29. 9. 2014 20:14:36

Dokázal by někdo odhadnout, jaký je potřeba výkon pro projekt Heuréka? A jak by mohlo fungovat uspořádání? Jestli nějaké servery dělají jenom jeden úkol, např. stahování XML feedů. Nerozumím této problematice, proto se ptám.

Děkuji za rady či informace.

29. 9. 2014 20:14:36

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057975

weby

(2 hodnocení)

29. 9. 2014 21:03:49

Nejprve je nutno rozdělit oddělitelné činnosti (heureka je z hlediska návrhu podobná vyhledavači).

- crawler - stahuje zmíněné feedy

- indexer - tyto feedy zpracovavá a plní databazi tak aby byla co nejlépe použitelné pro "čtetní" - zpravidla to nejnáročnejší, plus párování zboží

- pak tu je frontend který data z indexované databáze načítá (tato db je zrcadlena na stroji, který se plní periodicky už čistýmy daty - soubežné plnení a čtení není optimální)

- zvlášť může být třeba i stroj generující výstup pro hledání unikátních dotazů

Vše může být pro mály projekt na jednom serveru, pro velký třeba na deseti.

K čemu to potřebujete vědět?

29. 9. 2014 21:03:49

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057974

T.z.V.

30. 9. 2014 04:44:34

Zajímá mě, jak tak velký projekt může fungovat, protože mám zkušenosti jen s klasickým webhostingem. Jaký výkon musí být těchto serveru a konfigurace může být stejná i software? Jak ten server se nastaví, aby každá věc dělala to co píšete? To je práce programátora nebo to jednoduše jde nějak rozdělit?

30. 9. 2014 04:44:34

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057973

miranthis

30. 9. 2014 10:01:27

@weby Myslím že nemluvíte úplně přesně.

@T.z.V Předpoklad jak škálovat takovou aplikaci je:

Že jsou servery rozdělené na:

- Webový server ( server na kterém beží skripty případně ukládají se data ten se škáluje pomoci proxy SW loadballanceru nebo HW load ballanceru, nejčastěji používaná varianta škálování je dedikovaný stroj s VPS )

- Databázový stroj zde s ohledem na množství dat je předpoklad že se jedná o noSQL databázi, pokud použili např. ElasticSearch tak ta běží čistě na dedikovaném stroji a škáluje se 2 spůsoby:

1. Navýšením paměti ram

2. Přidáváním nodů a clusterů, každý může běžet zvlášť na sereru

- Pak je tady MySQL a v ní budou uložena např. pouze profilové údaje a data které se nepoužívají často a nefiltrují se.

- Aplikační server, jak popsal weby nahoře, obsahuje nějakou background logiku

- Backup server ( zálohy atd, případně pouze uložiště )

Takže celkem máte:

1 - N - webových strojů

1 - N Databázových strojů

1 - N Aplikačních serverů

a min. 1 backup server nebo datové uložiště.

a v této jednoduché infrastruktuře 1 loadballancer ( sw nebo hw )

30. 9. 2014 10:01:27

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057972

HexaGeek

(18 hodnocení)

30. 9. 2014 12:16:33

Napsal miranthis;1127851
@weby Myslím že nemluvíte úplně přesně.
@T.z.V Předpoklad jak škálovat takovou aplikaci je:
Že jsou servery rozdělené na:
- Webový server ( server na kterém beží skripty případně ukládají se data ten se škáluje pomoci proxy SW loadballanceru nebo HW load ballanceru, nejčastěji používaná varianta škálování je dedikovaný stroj s VPS )
- Databázový stroj zde s ohledem na množství dat je předpoklad že se jedná o noSQL databázi, pokud použili např. ElasticSearch tak ta běží čistě na dedikovaném stroji a škáluje se 2 spůsoby:
1. Navýšením paměti ram
2. Přidáváním nodů a clusterů, každý může běžet zvlášť na sereru
- Pak je tady MySQL a v ní budou uložena např. pouze profilové údaje a data které se nepoužívají často a nefiltrují se.
- Aplikační server, jak popsal weby nahoře, obsahuje nějakou background logiku
- Backup server ( zálohy atd, případně pouze uložiště )
Takže celkem máte:
1 - N - webových strojů
1 - N Databázových strojů
1 - N Aplikačních serverů
a min. 1 backup server nebo datové uložiště.
a v této jednoduché infrastruktuře 1 loadballancer ( sw nebo hw )

heureka primarne bezi u supernetwork maji tam oficielne rozsah 95.168.214.64 - 95.168.214.95

v te siti jim funguje cca 10-12 serveru. Ale urcite to bude rozdeleno na crawlery, DB, analyzatory atd.. Mozna jinde mohou mit vice serveru..

30. 9. 2014 12:16:33

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057971

Mirek

(61 hodnocení)

30. 9. 2014 12:22:00

Napsal miranthis;1127851

- Pak je tady MySQL a v ní budou uložena např. pouze profilové údaje a data které se nepoužívají často a nefiltrují se.

MySQL není špatná, ale obvykle se na takto velké projekty nepoužívá. Lepší optimalizace lze dosáhnout s Oracle či MsSQL, čest vyjimkám.

30. 9. 2014 12:22:00

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057970

Jirka

(6 hodnocení)

30. 9. 2014 14:28:45

Napsal Mirek Novotny;1127916
MySQL není špatná, ale obvykle se na takto velké projekty nepoužívá. Lepší optimalizace lze dosáhnout s Oracle či MsSQL, čest vyjimkám.

Pouziva se bohuzel i na vetsi projekty a s Galera clusterem funguje prijatelne.

---------- Příspěvek doplněn 30.09.2014 v 14:29 ----------

Napsal HexaGeek;1127915
heureka primarne bezi u supernetwork maji tam oficielne rozsah 95.168.214.64 - 95.168.214.95
v te siti jim funguje cca 10-12 serveru. Ale urcite to bude rozdeleno na crawlery, DB, analyzatory atd.. Mozna jinde mohou mit vice serveru..

Za tema IP mohou byt jen Vipriony a za nima klidne dalsich 1000 serveru.

30. 9. 2014 14:28:45

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057969

T.z.V.

30. 9. 2014 15:16:12

No diskutujete tu moc odborně. Zajímalo by mě, kolik je potřeba serverů o jakém výkonu a co na nich poběží. Jaký je potřeba software atd. Nikdy jsem neměl virtuální či dedikované servery.

30. 9. 2014 15:16:12

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057968

Jirka

(6 hodnocení)

30. 9. 2014 15:39:24

Napsal T.z.V.;1127992
No diskutujete tu moc odborně. Zajímalo by mě, kolik je potřeba serverů o jakém výkonu a co na nich poběží. Jaký je potřeba software atd. Nikdy jsem neměl virtuální či dedikované servery.

Kolik a jak vykonne lesnicke techniky potrebujes k vytezeni lesa o nezname velikosti za 1 den, pokud 1/3 lesa ma stoupani 20%, prevyseni 287 metru a protina ho reka, ktera ma v kazdou denni dobu jinak silny proud a menici se sirku?

30. 9. 2014 15:39:24

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057967

T.z.V.

30. 9. 2014 15:53:16

Já vím, že to zní divně. Jen bych si rád nechal poradit, jak u takovýchto projektů řešit tuto problematiku do startu.

30. 9. 2014 15:53:16

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057966

Webtrh obecný účet

(1 hodnocení)

30. 9. 2014 15:59:22

U takovych projektu se vetsinou nebuduje HW zazemi na urovni nejvetsiho hrace na trhu, ale vetsinou se k tomu dojde castem tak, jak projekt roste.

30. 9. 2014 15:59:22

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057965

T.z.V.

30. 9. 2014 16:11:04

No jasně, to chápu. Zajímá mě, kolik by toho bylo potřeba pro začátek. Kolik serverů, co na nich má běžet, jaký výkon mají mít, to mě nejvíc zajímá.

30. 9. 2014 16:11:04

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057964

Webtrh obecný účet

(1 hodnocení)

30. 9. 2014 16:14:04

Pokud byste chtel udelat cenovy porovnavac ve stylu heureky, tak pro zacatek staci bohate jeden na vsechno.

30. 9. 2014 16:14:04

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057963

T.z.V.

30. 9. 2014 16:37:52

Takže stačí vybrat nějaký nejlevnější dedikovaný server? Jaké by měl mít aspoň požadavky? Jinak Windows atd. si musím spravovat a instalovat sám že?

30. 9. 2014 16:37:52

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057962

Juraj Kostolanský

(18 hodnocení)

30. 9. 2014 19:42:15

Skús pozrieť na highscalability.com, možno tam bude niečo pre teba.

30. 9. 2014 19:42:15

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057961

Pro odpověď se přihlašte.

Přihlásit

Prodej Více

CS16.cz | Server site Counter-Strike 1.6

2 990 Kč

0 příhozů

SLEVA !!! – Provizní /affiliate/ weby lvíček.eu a odjezd.eu, včetně hostingu, https a emailů, lze i jednotlivě

6 500 Kč

0 příhozů

ihlas.cz – anketní/hlasovací web s uživatelskými profily 📊

15 000 Kč

0 příhozů

PRODEJ ZISKOVÉHO ONLINE PROJEKTU S VELIKÝM POTENCIÁLEM

1 Kč

0 příhozů

⭐ Největší česká GASTROMAPA ⭐

1 000 Kč

0 příhozů

Poptávky Více

Upravení loga

Zvýšení počtu poptávek

Zkušený devops engineer

Poptávám: tvorbu katalogu a webovou prezentaci pro firmu

Poptáváme konzultaci ohledně monetizace vysoce navstěvovaných magazínů

Pracovní nabídky Více

PROGRAMÁTOR (PHP Laravel a Vue.js)

Brno

Front-End / Back-End online developer

Práce z domu, Praha

70 000 - 85 000 Kč

.NET Developer – energy

Praha

Backend vývojář Java/Kotlin

Nabídky Více

Hledáme Java Backend Developera

Automatizace s umělou inteligencí

🌟Tvorba WORDPRESS webu od 1000 Kč🌟

🎬 Hledáme video editory, specialisty na YouTube a grafiky! 🚀

Crawling a scraping webů