Kde hledat příčiny vytuhnutí serveru?

8. 12. 2007 22:44:43

Ahoj,

od prvopočátků mě trápí neustálé vytuhávání serveru. Vyčerpá se volná paměť i swap a server jde celej do háje. Jediný co, tak se dá připojit přes SSH a restartovat to na dálku. Veškeré webové služby a maily přestanou fungovat.

Běží mi to na Linuxu, technicky je to virtuální server VS-Standard u Web4U. 1 GHZ, 384 MB RAM. Běží mi tam Maxiorel.cz a několik dalších malých webů s návštěvností v řádu jednotek až desítek lidí denně.

Abych nemusel pořád sedět na SSH a případně v létě jet na dovolenou, tak jsem si už na jaře udělal skript, kterej mi přes cron každých pět minut zkontroluje volnou paměť a v případě potřeby server restartuje, což zabírá perfektně. Nicméně je to řešení následků, ne příčiny.

Poskytovatel Web4U mi to od února nebyl schopen vyřešit. Mám na ně další pifku kvůli slibům o nějakých jiných úpravách. - skutek utek.

Abych se už moc nevykecával, zde jsou mé otázky:

Poradí někdo, kde (v jakým logu) a jak hledat příčiny popsaného jevu?

Myslíte si, že virtuální server může něco takového utáhnout nebo se mám poohlédnout po skutečném železe a udat před koncem roku nějaké peníze? (Maxiorel.cz s cca 2000 lidí denně na Drupalovi + další zmíněné webíky). Pravda je, že se mi to sekalo i když tam běžel jenom Maxiorel a téměř prázdný další web.

Předem díky za jakékoli nápady nebo doporučení.

8. 12. 2007 22:44:43

https://webtrh.cz/diskuse/kde-hledat-priciny-vytuhnuti-serveru#reply30735

toshi

(4 hodnocení)

8. 12. 2007 23:03:39

No...jestli tam jedeš i mysql tak rozhodně zvedni pamět, nebo jí nejlépe odstěhuj jinam :)

Nicméně v logách to nejspíš nebude, co ale můžeš udělat je mrknout se co při těch horších chvilkách požírá nejvíc. Buď "ps -A v" nebo online v "top".

8. 12. 2007 23:03:39

https://webtrh.cz/diskuse/kde-hledat-priciny-vytuhnuti-serveru#reply30734

maxiorel

(2 hodnocení)

8. 12. 2007 23:34:41

Jsem v pr.... Vyčerpává se to teď co to každých dvacet minut. Dnešek je celej nějakej divnej. Přitom návštěvnost je menší než v týdnu :-(

V součtu asi 40% paměti zabírají věci typu clamd a spamd. To je normální?

8. 12. 2007 23:34:41

https://webtrh.cz/diskuse/kde-hledat-priciny-vytuhnuti-serveru#reply30733

Veros

(1 hodnocení)

9. 12. 2007 00:04:08

Virtuální server utáhnout může leccos, ale záleží na tom, jak je nastavený. Jeli jsme s podobnou návštěvností s 256 MB RAM, ale bylo to o hubu - už na hranici použitenosti a když mi došla paměť z obchodu, tak jsem ji šel přidat velmi rychle. (přesněji šlo o 750MB RAM rozdělených na 3 virtuální servery na Xenu z toho 256MB bylo na podobném stroji)

Co udělat: mrknout se top(1)em, kdo žere nejvíc CPU a paměti. Případně zapnout atsar a zkusit to změřit za další časový úsek.

Ad clam: Clamd mi na jednom serveru žere 97M (z 256M), takže ta tvoje hodnota může být uvěřitelná.

BTW: místo cronem můžeš testovat služby pomocí mon(8), umí to lépe než vlastní udělátka.

--V

9. 12. 2007 00:04:08

https://webtrh.cz/diskuse/kde-hledat-priciny-vytuhnuti-serveru#reply30732

maxiorel

(2 hodnocení)

9. 12. 2007 00:22:28

díky vám oběma za tipy

9. 12. 2007 00:22:28

https://webtrh.cz/diskuse/kde-hledat-priciny-vytuhnuti-serveru#reply30731

toshi

(4 hodnocení)

9. 12. 2007 01:29:10

Napsal maxiorel;22807
V součtu asi 40% paměti zabírají věci typu clamd a spamd. To je normální?

S clamem jsem měl stejný problém, ale mám pocit že se to nějak zázračně (asi) novější verzí vyřešilo, nebo jsem mu dokonce zatrhl tipec protože beztak má dneska každej na kompu antivir a většinu wormů už i tak blokne antispam.

Jinak u mě spamd+clamd jeden pošťák ~150M a druhej ~220M

9. 12. 2007 01:29:10

https://webtrh.cz/diskuse/kde-hledat-priciny-vytuhnuti-serveru#reply30730

MaximCerny

(19 hodnocení)

9. 12. 2007 03:06:50

Zkontroluj, jestli ti spamassassin neprochazi velke soubory s pravidly.

Nevytezuji ti server prichozi spamy? Muzes mit spatne nastaveny napr. amavisd + ten spamd

9. 12. 2007 03:06:50

https://webtrh.cz/diskuse/kde-hledat-priciny-vytuhnuti-serveru#reply30729

Michal Řehák

(4 hodnocení)

9. 12. 2007 03:54:08

Co pisou lidi na internetu o problemech s clamd, tak to vetsinou vyresi upgrade na novejsi verzi, jak uz ostatne zminoval toshi.

9. 12. 2007 03:54:08

https://webtrh.cz/diskuse/kde-hledat-priciny-vytuhnuti-serveru#reply30728

maxiorel

(2 hodnocení)

10. 12. 2007 12:03:56

Právě se mi to stalo zase. Ale vytuhává už jenom Apache, FTP a SSH funguje (sice strašně pomalu, ale funguje).

Tady je výpis z top. jestli jsem to správně pochopil, je problém ve velkém počtu uživatelů přistupujících naráz? To je docela špatná zpráva, vzhledem k tomu, že jsem na virtuálním serveru a nemůžu tam jen tak zastrčit další RAMku :-(

10. 12. 2007 12:03:56

https://webtrh.cz/diskuse/kde-hledat-priciny-vytuhnuti-serveru#reply30727

Veros

(1 hodnocení)

10. 12. 2007 12:30:51

Kdo je to monitor.pl ?

Mrkni se ještě, kdo žere nejvíc CPU (velkou klávesou C v topu).

Zkontroluj, že Apache nedělá zbytečnou práci (neresolvuje logy, nejsou zapnuté zbytečné moduly, detailní ServerStatus, apod.).

Trošku můžeš Apachovi odlehčit tím, že nastavíš inteligentně hlavičky Expires pro prokazatelně statické soubory (obrázky, apod.), ale vzhledem k tomu, že by to mělo být implementované pomocí sendfile(2), tak to nijak výrazně neodlehčí.

Zkus zapnout ServerStatus a podívat se, které požadavky tam nejčastěji čekají.

Ještě mne napadá, že můžeš zkusit spočítat, kolik času počítač prospí a kolik pracuje - bohužel nevím, jestli to na VServeru bude fungovat.

(Návod: $ cat /proc/uptime; sleep 10; cat /proc/uptime

a pastni sem výsledek textu)

--Věroš

10. 12. 2007 12:30:51

https://webtrh.cz/diskuse/kde-hledat-priciny-vytuhnuti-serveru#reply30726

Martin Schlemmer

(36 hodnocení)

10. 12. 2007 12:38:31

Trochu z jiného soudku, ale mrkni se na error logy. Drupal se v továrním nastavení plně inicializuje na každou 404.

10. 12. 2007 12:38:31

https://webtrh.cz/diskuse/kde-hledat-priciny-vytuhnuti-serveru#reply30725

maxiorel

(2 hodnocení)

10. 12. 2007 14:14:49

Napsal Věroš;23035
Kdo je to monitor.pl ?
Ještě mne napadá, že můžeš zkusit spočítat, kolik času počítač prospí a kolik pracuje - bohužel nevím, jestli to na VServeru bude fungovat.
(Návod: $ cat /proc/uptime; sleep 10; cat /proc/uptime
a pastni sem výsledek textu)
--Věroš

Zde je výsledek

7530.49 7074.32

7540.83 7081.63

Podle topu zatěžuje CPU nejvíce top :-) Hned za ním monitor.pl a apache. Ale jsou to jednotky procent.

Co je monitor.pl nevím. Asi nějaký perlový skript? ;-)

Už to vzdávám, sám to nezvládnu. Pokud by se mezi Vámi našel někdo ochotný se na to podívat za rozumnou částku a vystavil by mi fakturu, dejte vědět.

10. 12. 2007 14:14:49

https://webtrh.cz/diskuse/kde-hledat-priciny-vytuhnuti-serveru#reply30724

Deaktivovany ucet

(21 hodnocení)

10. 12. 2007 14:17:15

Hele, nema treba ten tvuj poskytovatel virtualniho serveru neco spatne nastaveny, tj treba mas ty parametry jak si rikal, vykonostni ale pri vetsi zatezi (tvych sousedu) ti to vyzerou, podle me by se tohle na "normalnim" linuxu nestalo

10. 12. 2007 14:17:15

https://webtrh.cz/diskuse/kde-hledat-priciny-vytuhnuti-serveru#reply30723

maxiorel

(2 hodnocení)

10. 12. 2007 18:42:02

Tak s Věrošem (díky moc) jsme po pár hodinách zkoumání došli k tomu, že problém způsobil vložení obrázku z mého webu na jedno warezácké fórum v Maďarsku. 13000 požadavků denně na načtení toho obrázku server prostě nerozdýchal. Takže je Věroš blokl a zatím vše šlape bez problému.

Každopádně i tak je výkon serveru asi na hranici.

10. 12. 2007 18:42:02

https://webtrh.cz/diskuse/kde-hledat-priciny-vytuhnuti-serveru#reply30722

Veros

(1 hodnocení)

10. 12. 2007 22:10:29

Doufám, že nebude vadit, když to zkusím upřesnit. Cestou domů jsem nad tím ještě přemýšlel.

Ten obrázek měl přes 120kB a stahoval se myslím 22000 za den (13000UIP) , což nejspíš ve špičkách okamžicích vedlo k tomu, že serveru došly volní potomci a nejspíš skoro i paměť (kolik vlastně sežere takový jeden Apache?). Pak už se to vezlo dál - další požadavky čekaly ve frontě a zřejmě se začal používat swap, což server taky mohlo zpomalit.

Za předpokladu, že z Maďarska stahovali rychlostí 256kb/s (tj.64kB/s - tedy cca 4 sekundy na odeslání obrázku) stačilo, aby ve špičce přišel jeden požadavek za cca 3 vteřiny, a potomci Apache by se rychle vyčerpali.

Jsou to jenom dohady, a jen čas ukáže, co je na tom pravdy. Jistě jsme zjistili jenom to, že v problémových okamžicích Apache vykazoval povolené maximum potomků, což by dohady potvrdilo.

V každém případě jde o velmi zajímavý argument proti hotlinkování obrázků.

Howgh.

--Věroš

10. 12. 2007 22:10:29

https://webtrh.cz/diskuse/kde-hledat-priciny-vytuhnuti-serveru#reply30721