Jak filtrovat velké množství dat

Zdravím,mám teoretický dotaz, nějaké postupy v hlavě mám, ale chci se zeptat i jiných, jak by situaci (nejen v PHP) řešili.Každých 60 sekund dostanu feed s daty, který obsahuje max. 400 položek a toto číslo se nepřekročí. Feed vypadá nějak takto., ... (up to 400)]Zároveň mám dejme tomu 100 uživatelů, kteří v tomto feedu chtějí v reálném čase filtrovat (spoždění v podobě pár sekund samozřejmě nevadí). - Každý uživatel si bude moct vytvořit více těchto filtrů, dejme tomu, že každý uživatel bude mít vytvořeno 5 filtrů, při 100 uživatelích to bude tedy 500 filtrů, které budu muset feedy projet, jestli nějaký položka daný filtr splňuje.Ve filtrech budou mít uživatele naprostou volnost a filtr tedy může vypadat nějak takto: item1 musí být X && item2 je číslo a musí být větší než X && item3 je číslo a musí být menší než X && item4 + item5 jsou čísla a musí být větší, než X atd.. Podmínky v jednom filtru teoreticky omezím na max. 10, aby jich uživatel v jednom filtru nevytvořil stovky různými kombinacemi.Chci se zeptat, jak by jste k tomuto přistupovali. Momentálně mám VPS 4 jádra i5, 12GB ramky.. takový průměr, zajímá mě tedy i dopad na HW a čas.Díky moc za návrhy.

400 řádků a 100 filtrů nejsou žádná velká data. Velká data se pohybují v milionech.Na tvůj use-case stačí asi 400 řádků v pravidelném intervalu aktualizovat v DB a každý uživatel bude mít svůj "select" na svůj seskládaný filtr. I při horším návrhu řešení to nebude mít žádný vliv na výkon.

Ak sa bojis dopadu na vykon tak pouzi Generatory

Čau,Dokážu si představit přenášení všech položek vždycky a filtrování na straně klienta, v JavaScriptu.Nevýhody:- přenáší se (při každém požadavku) o několik set bajtů až několik kilobajtů více dat- trocha času a úsilí na napsání filtrovacího kódu (jednorázově)Výhody:- změna filtru neznamená znovunačtení- klientům se přenáší (v rámci těch 60 sekund) stejná data - možnost cacheování na serveru (nový požadavek vygeneruju a zapíšu do JSONu, každý další odkážu na tento soubor)- přenos zátěže z jednoho kritického místa