Cómo consultamos 1,2 mil millones de filas en menos de 50 ms: particionamiento, almacenamiento de columnas y lectura de modelos a escala

Cada carga del panel ejecutó una SUMA y un CONTEO en una tabla de 1,2 mil millones de filas, y cada uno tomó poco más de dos segundos. Con 110.000 usuarios activos mensuales trabajando en esos paneles, nuestro Azure SQL tenía un 78% de CPU y cada vista de campaña parecía caminar en el barro. La solución no fue un nivel de base de datos más grande. Fue darse cuenta de que nunca se hace un agregado de mil millones de filas rápidamente; uno se asegura de no ejecutarlo nunca. Esta es la historia de la arquitectura de datos detrás de uno de los números de los que estamos más orgullosos en Mattrx, nuestro multidiez

Lea el artículo completo: https://dev.to/kirandeepjassalcrypto/how-we-query-12-billion-rows-in-under-50ms-partitioning-columnstore-and-read-models-at-scale-44jk

Fuente: DEV Community