Orchestracia priamo na zeleze

Mam rad kubernetes ale je to strasny nenazranec a dost prekomplikovany. Cloud je flexibilny, ale drahy.
Chcel by som rozbehnut aplikaciu(sada 10-20 mikrosluzieb..kontajnery docker/crio/lxc) priamo na zeleze a nejak menezovat orchestraciu bez nejakeho vypadku s moznostou postupne pridavat dalsie fyzicke servery. Co by ste odporucili na orchestraciu? Jasne, pri jednom serveri staci docker swarm, alebo obycajne ansible/salt playbooky, ale ked budem chciet pridat server tak uz to nie je take easy, nehovoriac o moznych vypadkoch. Takze orchestracia hned zo zaciatku bude nutna. Ide ale o to aku cestu zvolit. k3s, nomad, plny k8s, nieco ine... co by ste poradili?

na jednom projektu máme přes 200 serverů s virtio/esx a orchestrují se ansiblem a cloud configem (rhel, oracle linux, centos). HA zajišťujeme přes f5 a cisco mlacp na fyzické úrovni, ip se routují přes BGP. Supervisord hlídá služby, nagios monitoruje a pravidelně spuštěný ansible přes awx/tower zajišťuje reinkarnaci a balancing při zátěži. Plánovaná dostupnost 99,98.

Děláš-li low cost, místo f5/bgp hoď cdn, např. cloudflare. Deployment serverů klidně můžeš dělat přes ansible nebo si předbuldit image přes parcel a spouštět live, na tohle mám velice rád coreos linux. Mrkni na to, možná to přesně řeší tvůj problém.

Pokud máš jednotky serverů, nehledal bych žádný kanón, každá mikroservice poběží ve více instancích a lokalitách, komunikaci zajistíš přes frontu (kafka, zeromq, rabbitmq, jms atd.) či http balancer a tím máš i balancing. Na výpadek nemusíš reagovat automaticky, stačí, když služby budou dimenzované, aby ustály odchod celého serveru a změnilo se hned vnitřní routování.

Nebo si zaplať lambda od aws a máš to bez starostí.

Co proxmox - podporuje lxc

Pozeram ceny zeleza u hetznera a porovnam to s cloudom... to su sialene cisla https://www.digitalocean.com/pricing/calculator

hetzner používá klasické desktopové počítače, levné servery bez ECC, cpu často ani nemají HW virtualizaci (hlavně vt-d), poruchy jsou časté. Tohle byl stav asi před 2 lety, několik klientů tam mělo pár let HW a jsem rád, že odešli, jejich podpora je slabá, často ty servery se chovají podivně.

Zatímco digitalocean běží na enterprise grade serverech, kromě HW k tomu poskytuje řadu služeb a podporu. Chceš-li levné servery bez služeb, to už je lepší OVH a řada serverů SYS (so you start).

Nebo si kup na ebay/aukro vyřazený server za pár korun a dej si ho do DC, ale nejspíš za spotřebu a konektivitu zaplatíš víc než za pronájem u OVH.

to sa tyka iba ich najlacnejsej rady ex a v ax maju dve desktopove amdcka, ale inak zvysok je cisto serverovy hw. plus maju moznost aj volby custom serverov https://www.hetzner.de/dedicated-rootserver

o tom ze su lepsi poskytovatelia nepochybujem, o problemoch s hetznerom som pocul taktiez ale musm povedat ze to boli roky dozadu a inak je celkom klud.
u ovh som mal jedno vps za par korun a bol som spokojny, ak maju dedikovane servery tak to moze byt dobra ponuka, pozriem na to.
co sa vlastneho zeleza tyka, je to mozne a pravdepodobne ale to je este dost vzdialene.

inak aktualne sa asi priklanam najviac k nomadu a consulu a packer na iso....na druhu strtanu mozno sa s tym nebudem srat a hodim tam proste k8s nech mam klud.

ano, ale u SX už asi nemůžeš mluvit o tom, že jsou levní :). Mám na ně ale blbé vzpomínky, něco jako wedos, jsem rád, že už klienti přešli.

To si musíš ujasnit sám, buď chceš provozovat stabilní a produkční systém, v tom případě se vyhni všemu novému, všemu složitému a udělej to po staru, bude ti to fungovat spolehlivě. Nebo se chceš něco naučit a hrát si, k8s je složitá věc na provoz a není to bezúdržbové, ale třeba zkušenosti zhodnotíš. Klienti to chtějí, tak mám řadu testovací clusterů, aby se to tým mohl naučit. Servery jsou dneska levné, za 300 Eur měsíčně můžeš mít 8 nodový cluster, byli časy kdy jsem tohle platil za jeden malinký server. Stejně tak za 300 Eur měsíčně si pronajmu v DC celý rack a můžeš tam dát cokoliv.

Nomad není špatný, používáme na některých projektech pro sparku a javu, dobře funguje s terraformem (pro HW provisioning), HashiCorp k tomu prodává support, takže klienti jsou také šťastní. Jediná nevýhoda je, že nemá žádný resource management, takže omezovat a kontrolovat prostředky musíš jinak.

Consulem nevím co myslíš, znám ten od HashiCorpu, ale to je clustered messaging system.

Hledal bych varianty u klicovych slov proxmox + openStack.

Často instaluji  Proxmox, kde Kubernetes Master na Centos OS + několik Node serveru a využívají glusterfs storage několikrat replikovaný. 
Deployment/Build přímo z repozitářu.
Pro zkušené programátory je přístupný Kubernetes Dashboard pro méně je implementovaný Rancher 2.