Como consultamos 1,2 bilhão de linhas em menos de 50 ms – particionamento, armazenamento de colunas e modelos de leitura em escala

Cada carregamento do painel executou um SUM e um COUNT em uma tabela de 1,2 bilhão de linhas, e cada um demorou pouco mais de dois segundos. Com 110.000 usuários ativos mensais martelando esses painéis, nosso SQL do Azure atingiu 78% da CPU e cada visualização de campanha parecia estar andando na lama. A correção não foi uma camada de banco de dados maior. Foi perceber que você nunca cria um agregado de um bilhão de linhas rapidamente – você nunca o executa. Esta é a história da arquitetura de dados por trás de um dos números dos quais mais nos orgulhamos na Mattrx, nosso multi-dez

Leia o artigo completo: https://dev.to/kirandeepjassalcrypto/how-we-query-12-billion-rows-in-under-50ms-partitioning-columnstore-and-read-models-at-scale-44jk

Fonte: DEV Community