Jednoduchý SELECT * WHERE na 60 milonech záznamů

28. 11. 2017 18:05:07

Ahoj,

nejsem velký odborník na databáze a rád bych získal radu. Dostal jsem se k projektu kde potřebuji provést select, který ověřují platnost odkazu směřující na detail produktu na eshopu. Zkrátka zda se ukáže stránka s detailem produktu, nebo vyskočí stránka typu 404. Tabulka má asi 60 mil. záznamů a má 5 sloupců. Tabulka reprezentuje přeložitelné údaje k produktům. Tedy titulek, popisky a URL.

id | item_id (FK) | locale (FK) | type_id (FK) | value

hodnoty např.:

3 | 3 | cs | 1 | Název třetího produktu

3 | 3 | cs | 2 | odkaz-produkt-3

3 | 3 | cs | 3 | Popisek třetího produktu

7 | 7 | cs | 1 | Název sedmého produktu

7 | 7 | cs | 2 | odkaz-produkt-7

7 | 7 | cs | 3 | Popisek sedmého produktu

Dotaz tedy vypadá třeba takto. Ovšem dvě minuty na proces vyhledávání je přecijen hodně.

Formát MySQL InnoDB. Je to VPSka, dva procesory 8GB RAM na Wedosu. Ale nevěřím, že by to byl pouze technický problém kvůli HW.

locale: char(2) (proveden add index)

type_id: tinyint(3) (proveden add index)

value: text (proveden add fulltext)

Díky všem za rady.

28. 11. 2017 18:05:07

https://webtrh.cz/diskuse/jednoduchy-select-where-na-60-milonech-zaznamu/#reply1314640

Jersák Martin

(23 hodnocení)

28. 11. 2017 18:07:26

Index tam je?

28. 11. 2017 18:07:26

https://webtrh.cz/diskuse/jednoduchy-select-where-na-60-milonech-zaznamu/#reply1314639

(20 hodnocení)

28. 11. 2017 18:07:45

co tam mas za indexy, co pise explain?

28. 11. 2017 18:07:45

https://webtrh.cz/diskuse/jednoduchy-select-where-na-60-milonech-zaznamu/#reply1314638

vlnk

(4 hodnocení)

28. 11. 2017 18:49:34

cs ani type_id nepřinesou zrychlení, protože dělí data na málo skupin.

Fulltext není vhodný pro rychlé vyhledávání a nenachází nutně všechny položky.

Vytvořte indexovaný sloupec varchar, který naplníte hledanou hodnotou. (Moc se nehodí kilometrové hezké odkazy.) Bylo by dobré, kdyby šlo použít např. 20-30 znaků ze začátku textu.

28. 11. 2017 18:49:34

https://webtrh.cz/diskuse/jednoduchy-select-where-na-60-milonech-zaznamu/#reply1314637

David Musil

(69 hodnocení)

28. 11. 2017 19:02:33

Explain nyni nemam moznost vyzkouset, nejsem u PC. Kazdopadne je pravda, ze indexy tam nyni nebudou. Napada me unikatni, ale to myslim, ze nepujde kvuli tomu, ze url pro jazykove mutace jsou stejne.

28. 11. 2017 19:02:33

https://webtrh.cz/diskuse/jednoduchy-select-where-na-60-milonech-zaznamu/#reply1314636

Webtrh obecný účet

(1 hodnocení)

28. 11. 2017 20:14:08

Začni optimalizaci tím, že budeš používat názvy sloupců a cache.

28. 11. 2017 20:14:08

https://webtrh.cz/diskuse/jednoduchy-select-where-na-60-milonech-zaznamu/#reply1314635

_Antik_

(22 hodnocení)

28. 11. 2017 20:31:32

Vytvor index na vsechny sloupce v dotazu tzn. jeden klic (locale, type_id, value), rozdelene klice jako mas ted jsou u tohoto dotazu k nicemu.