Odhadovaný počet serverů a výkon u projektu Heuréka

T.z.V.

29. 9. 2014 20:14:36

Dokázal by někdo odhadnout, jaký je potřeba výkon pro projekt Heuréka? A jak by mohlo fungovat uspořádání? Jestli nějaké servery dělají jenom jeden úkol, např. stahování XML feedů. Nerozumím této problematice, proto se ptám.

Děkuji za rady či informace.

29. 9. 2014 20:14:36

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057975

weby

(2 hodnocení)

29. 9. 2014 21:03:49

Nejprve je nutno rozdělit oddělitelné činnosti (heureka je z hlediska návrhu podobná vyhledavači).

- crawler - stahuje zmíněné feedy

- indexer - tyto feedy zpracovavá a plní databazi tak aby byla co nejlépe použitelné pro "čtetní" - zpravidla to nejnáročnejší, plus párování zboží

- pak tu je frontend který data z indexované databáze načítá (tato db je zrcadlena na stroji, který se plní periodicky už čistýmy daty - soubežné plnení a čtení není optimální)

- zvlášť může být třeba i stroj generující výstup pro hledání unikátních dotazů

Vše může být pro mály projekt na jednom serveru, pro velký třeba na deseti.

K čemu to potřebujete vědět?

29. 9. 2014 21:03:49

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057974

T.z.V.

30. 9. 2014 04:44:34

Zajímá mě, jak tak velký projekt může fungovat, protože mám zkušenosti jen s klasickým webhostingem. Jaký výkon musí být těchto serveru a konfigurace může být stejná i software? Jak ten server se nastaví, aby každá věc dělala to co píšete? To je práce programátora nebo to jednoduše jde nějak rozdělit?

30. 9. 2014 04:44:34

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057973

miranthis

30. 9. 2014 10:01:27

@weby Myslím že nemluvíte úplně přesně.

@T.z.V Předpoklad jak škálovat takovou aplikaci je:

Že jsou servery rozdělené na:

- Webový server ( server na kterém beží skripty případně ukládají se data ten se škáluje pomoci proxy SW loadballanceru nebo HW load ballanceru, nejčastěji používaná varianta škálování je dedikovaný stroj s VPS )

- Databázový stroj zde s ohledem na množství dat je předpoklad že se jedná o noSQL databázi, pokud použili např. ElasticSearch tak ta běží čistě na dedikovaném stroji a škáluje se 2 spůsoby:

1. Navýšením paměti ram

2. Přidáváním nodů a clusterů, každý může běžet zvlášť na sereru

- Pak je tady MySQL a v ní budou uložena např. pouze profilové údaje a data které se nepoužívají často a nefiltrují se.

- Aplikační server, jak popsal weby nahoře, obsahuje nějakou background logiku

- Backup server ( zálohy atd, případně pouze uložiště )

Takže celkem máte:

1 - N - webových strojů

1 - N Databázových strojů

1 - N Aplikačních serverů

a min. 1 backup server nebo datové uložiště.

a v této jednoduché infrastruktuře 1 loadballancer ( sw nebo hw )

30. 9. 2014 10:01:27

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057972

HexaGeek

(18 hodnocení)

30. 9. 2014 12:16:33

Napsal miranthis;1127851
@weby Myslím že nemluvíte úplně přesně.
@T.z.V Předpoklad jak škálovat takovou aplikaci je:
Že jsou servery rozdělené na:
- Webový server ( server na kterém beží skripty případně ukládají se data ten se škáluje pomoci proxy SW loadballanceru nebo HW load ballanceru, nejčastěji používaná varianta škálování je dedikovaný stroj s VPS )
- Databázový stroj zde s ohledem na množství dat je předpoklad že se jedná o noSQL databázi, pokud použili např. ElasticSearch tak ta běží čistě na dedikovaném stroji a škáluje se 2 spůsoby:
1. Navýšením paměti ram
2. Přidáváním nodů a clusterů, každý může běžet zvlášť na sereru
- Pak je tady MySQL a v ní budou uložena např. pouze profilové údaje a data které se nepoužívají často a nefiltrují se.
- Aplikační server, jak popsal weby nahoře, obsahuje nějakou background logiku
- Backup server ( zálohy atd, případně pouze uložiště )
Takže celkem máte:
1 - N - webových strojů
1 - N Databázových strojů
1 - N Aplikačních serverů
a min. 1 backup server nebo datové uložiště.
a v této jednoduché infrastruktuře 1 loadballancer ( sw nebo hw )

heureka primarne bezi u supernetwork maji tam oficielne rozsah 95.168.214.64 - 95.168.214.95

v te siti jim funguje cca 10-12 serveru. Ale urcite to bude rozdeleno na crawlery, DB, analyzatory atd.. Mozna jinde mohou mit vice serveru..

30. 9. 2014 12:16:33

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057971

Mirek

(61 hodnocení)

30. 9. 2014 12:22:00

Napsal miranthis;1127851

- Pak je tady MySQL a v ní budou uložena např. pouze profilové údaje a data které se nepoužívají často a nefiltrují se.

MySQL není špatná, ale obvykle se na takto velké projekty nepoužívá. Lepší optimalizace lze dosáhnout s Oracle či MsSQL, čest vyjimkám.

30. 9. 2014 12:22:00

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057970

Jirka

(6 hodnocení)

30. 9. 2014 14:28:45

Napsal Mirek Novotny;1127916
MySQL není špatná, ale obvykle se na takto velké projekty nepoužívá. Lepší optimalizace lze dosáhnout s Oracle či MsSQL, čest vyjimkám.

Pouziva se bohuzel i na vetsi projekty a s Galera clusterem funguje prijatelne.

---------- Příspěvek doplněn 30.09.2014 v 14:29 ----------

Napsal HexaGeek;1127915
heureka primarne bezi u supernetwork maji tam oficielne rozsah 95.168.214.64 - 95.168.214.95
v te siti jim funguje cca 10-12 serveru. Ale urcite to bude rozdeleno na crawlery, DB, analyzatory atd.. Mozna jinde mohou mit vice serveru..

Za tema IP mohou byt jen Vipriony a za nima klidne dalsich 1000 serveru.

30. 9. 2014 14:28:45

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057969

T.z.V.

30. 9. 2014 15:16:12

No diskutujete tu moc odborně. Zajímalo by mě, kolik je potřeba serverů o jakém výkonu a co na nich poběží. Jaký je potřeba software atd. Nikdy jsem neměl virtuální či dedikované servery.

30. 9. 2014 15:16:12

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057968

Jirka

(6 hodnocení)

30. 9. 2014 15:39:24

Napsal T.z.V.;1127992
No diskutujete tu moc odborně. Zajímalo by mě, kolik je potřeba serverů o jakém výkonu a co na nich poběží. Jaký je potřeba software atd. Nikdy jsem neměl virtuální či dedikované servery.

Kolik a jak vykonne lesnicke techniky potrebujes k vytezeni lesa o nezname velikosti za 1 den, pokud 1/3 lesa ma stoupani 20%, prevyseni 287 metru a protina ho reka, ktera ma v kazdou denni dobu jinak silny proud a menici se sirku?

30. 9. 2014 15:39:24

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057967

T.z.V.

30. 9. 2014 15:53:16

Já vím, že to zní divně. Jen bych si rád nechal poradit, jak u takovýchto projektů řešit tuto problematiku do startu.

30. 9. 2014 15:53:16

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057966

Webtrh obecný účet

(1 hodnocení)

30. 9. 2014 15:59:22

U takovych projektu se vetsinou nebuduje HW zazemi na urovni nejvetsiho hrace na trhu, ale vetsinou se k tomu dojde castem tak, jak projekt roste.

30. 9. 2014 15:59:22

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057965

T.z.V.

30. 9. 2014 16:11:04

No jasně, to chápu. Zajímá mě, kolik by toho bylo potřeba pro začátek. Kolik serverů, co na nich má běžet, jaký výkon mají mít, to mě nejvíc zajímá.

30. 9. 2014 16:11:04

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057964

Webtrh obecný účet

(1 hodnocení)

30. 9. 2014 16:14:04

Pokud byste chtel udelat cenovy porovnavac ve stylu heureky, tak pro zacatek staci bohate jeden na vsechno.

30. 9. 2014 16:14:04

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057963

T.z.V.

30. 9. 2014 16:37:52

Takže stačí vybrat nějaký nejlevnější dedikovaný server? Jaké by měl mít aspoň požadavky? Jinak Windows atd. si musím spravovat a instalovat sám že?

30. 9. 2014 16:37:52

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057962

Juraj Kostolanský

(18 hodnocení)

30. 9. 2014 19:42:15

Skús pozrieť na highscalability.com, možno tam bude niečo pre teba.

30. 9. 2014 19:42:15

https://webtrh.cz/diskuse/odhadovany-pocet-serveru-a-vykon-u-projektu-heureka#reply1057961

Pro odpověď se přihlašte.

Přihlásit

Prodej Více

Prodej zavedené domény e-chujoviny.cz, ideální pro karnevalové kostýmy, párty a dárky

2 999 Kč

0 příhozů

Prodej prémiové domény s historií susenepochoutky.cz

1 999 Kč

0 příhozů

ADULT WEB S UMĚLOU INTELIGENCÍ 🤖 – VYBUDUJTE SI PASIVNÍ PŘÍJEM 💸

19 999 Kč

0 příhozů

Prodám doménu www.druhaliga.sk – Ideální pro sportovní projekty!

1 399 Kč

0 příhozů

ZFB

15 000 Kč

0 příhozů

Poptávky Více

Specialista na Google – GMC, ADS

Hledáme posilu do týmu – Front-End nebo Fullstack vývojáře na Prestashop

Hledáme profesionála na Homestaging a Matterport

Migrácie WP a nastavenie AI asistentov (zapier, make, makro v exceli a pod.)

Hledám někoho na úpravu fotek ( realitních )

Pracovní nabídky Více

ADMINISTRÁTOR/KA WEBU – FULL REMOTE

Práce z domu

Power BI Consultant/Associate Product Owner

Praha

FE Developer – Angular (m/f)

Brno

IT Application Manager/Consultant

Brno, Praha

Hledáme PHP vývojáře se znalostí SuiteCRM / SugarCRM

Práce z domu, Praha

70 000 - 100 000 Kč

Nabídky Více

🚀 SEO a obsah: ať vás lidé najdou, pochopí a vyberou

💻 Kompletní web na míru: vývoj, technika i bezpečnost pro růst vašeho podnikání

🚀🚀👨‍💻👨‍💻👨‍💻Webové aplikace👨‍💻👨‍💻👨‍💻🚀🚀

Web nebo e-shop od návrhu až po spuštění

🔥 Limitovaná nabídka: 🇨🇿 České sedací vaky a taburety s firemním brandingem