Inserty do databazy

17. 12. 2010 15:29:42

Nazdar.

Chcem sa spytat na kto ma skusenosti s vkladanim vecsieho poctu zaznamov do databazy.

Momentane mame 50 zariadeni, ktore kazdych 5 sekund generuju nejake udaje, tieto s vkladaju ako riadok do tabulky.Takze to v priemere vychadza 10 riadkov za sekundu. Na vkladanie sa pouzive PHP. Tabulka obsahuje 20 stlpcov, z ktorych su 10 typu float, 6 typu int, date, time, varchar(8). Je vysoka pravdepodobnost, ze pocet zariadeni bude stupat.

Kolko asi tak znesie insertov za sekundu. V pohode moze nastat pripad, ze budeme generovat tych zaznamov za sekundu 50, 100. Kde je strop MySQL ?

17. 12. 2010 15:29:42

https://webtrh.cz/diskuse/inserty-do-databazy#reply592427

Martin Schlemmer

(36 hodnocení)

17. 12. 2010 16:47:09

Jaký storage engine používá tabulka?

Jak je velká?

Jaké jsou indexy?

Jak často se čte z tabulky?

Jaké jsou parametry serveru?

17. 12. 2010 16:47:09

https://webtrh.cz/diskuse/inserty-do-databazy#reply592426

manasekp

(3 hodnocení)

17. 12. 2010 17:18:23

zdravim, zrovna importuju nejake data do mysql tak sem to zmeril.

135,232 radku, 5 sloupcu varchar

cas 1m51.081s

hardware athlon ~2ghz s 1gb ram myslim.

takze tvuj pripad imho nebude problem, ale samozrejme bude zalezet na dost vecech, asi hlavne ty indexy by to mohly zpomalit.

17. 12. 2010 17:18:23

https://webtrh.cz/diskuse/inserty-do-databazy#reply592425

qwertr

(7 hodnocení)

17. 12. 2010 18:06:05

Takze server nejaky Intel Xenon 4G RAM. Na tom servery nic insie nebezi. Len ta PHP aplikacia a MySQL.

Pri tych 50 zariadenich pristup tak z 10 klientov kazdych 5 minut na citananie. Takze select tak kazdych 30 sekund. Select zistuje, ktore zaznami pribudli od posledneho vyhladavanie. Indexy pozriem.

Pocet riadkov pri 50 zariadeniach v tabulke moze dosiahnut tak 500 000, 600 000 riadkov. Potom sa zacina zacina zapisovat do dalsej tabulky.

17. 12. 2010 18:06:05

https://webtrh.cz/diskuse/inserty-do-databazy#reply592424

(20 hodnocení)

17. 12. 2010 18:33:15

strop velmi zavisi na indexech, velikostech tabulek a vykonu stroje, v tvem pripade bych problem nevidel i pri vysokem poctu dotazu (lze jich posilat skutecne hodne, pokud netrva kazdy 2 sekundy ;) )

17. 12. 2010 18:33:15

https://webtrh.cz/diskuse/inserty-do-databazy#reply592423

Martin Schlemmer

(36 hodnocení)

17. 12. 2010 18:50:41

Použijte storage engine InnoDB, aby se při zápisu zamykaly řádky, ne celá tabulka.

Nastavte innodb-buffer-pool-size na dostatečnou velikost, aby se tabulka vlezla celá do paměti (kvůli těm periodickým SELECTům).

innodb-flush-log-at-trx-commit nastavte na 0 nebo 2 pro rychlejší zápisy (výměnou za to, že při pádu systému můžete ztratit poslední sekundu nezapsaných dat).

Jako primární klíč použijte sloupec INT, NOT NULL s AUTO_INCREMENT.

Dotaz na přibyvší řádky napište pokud možno tak, aby četl, porovnával a řadil jen primární klíč, nebo jiný index.

17. 12. 2010 18:50:41

https://webtrh.cz/diskuse/inserty-do-databazy#reply592422

(20 hodnocení)

17. 12. 2010 19:00:10

pekne shrnuti martine :)

17. 12. 2010 19:00:10

https://webtrh.cz/diskuse/inserty-do-databazy#reply592421

Martin Schlemmer

(36 hodnocení)

17. 12. 2010 19:12:00