Sobre os Ombros dos Dashboards: O que Aconteceu com a Observabilidade dos Dados?

Introdução

A cada dia que passa, fica mais fácil admitir uma verdade: vivemos num mundo onde os dados tomaram conta de tudo! Eles estão em toda parte, impulsionando decisões, produtos, experiências e negócios. Não é à toa que a área de dados é uma das mais promissoras dentro da indústria tech.

Nesse cenário data-driven, grandes oportunidades surgem como água cristalina das nascentes dos rios e, assim como tal, vão escoando pelos caminhos naturalmente traçados, até alcançarem um mar de possibilidades de aproveitamento. O ponto de maior destaque em todo esse processo é o dashboard – o mapa de navegação pelo qual líderes se orientam para a tomada de decisões nas organizações. 

Mas – e aqui vem o ponto crucial – como podemos garantir uma navegação segura nesse oceano se a bússola estiver descalibrada? 

Sou Diego Cunha, estudante do terceiro período do curso de Análise e Desenvolvimento de Sistemas (ADS) na Faculdade Esuda. Atualmente, atuo como Data Analytics Strategist Intern na Monks onde, diariamente, ponho em prática diversos conceitos de controle e gestão de dados para analisar as informações dos nossos clientes. Se o seu cenário atual é semelhante ao meu, esse artigo será de grande importância para você. Venha conferir!

Mas afinal, o que é a Observabilidade dos Dados?

De maneira simples e geral, observabilidade de dados diz respeito à habilidade de acompanhar, em tempo real, se os dados estão corretos, completos, atualizados e funcionando como deveriam, desde o início da cadeia de dados (criação ou coleta) até o momento em que serão consumidos pela organização.

Numa visão mais técnica, baseada na teoria do controle, a observabilidade é a capacidade de avaliar a saúde de um sistema através das informações que ele produz. Ou seja, é possível entender o que está acontecendo por dentro apenas observando suas saídas.

Diferente do monitoramento, que funciona como um check-up do sistema – se utilizando de métricas predefinidas para identificar problemas e alertas – a observabilidade vai mais além, investigando a causa raiz de cada situação. Ela olha para o comportamento dos dados em si:

• Eles – os dados – chegaram no horário esperado?
• A quantidade está dentro do padrão?
• O esquema (schema) mudou sem aviso?
• Existem valores nulos, duplicados ou fora do intervalo aceitável?

Para facilitar o entendimento, aqui vai uma analogia bem simples (e 100% brasileira): se os dados são o leite, então conhecer cada vaquinha da fazenda – saber quando está saudável, o quanto produz, se a produção segue o padrão ou apresenta algum problema, como o leite de cada uma pode ser utilizado na produção – é o que chamamos de observabilidade dos dados.

De nada vai adiantar o leite chegar todo dia, se ninguém perceber que ele está estragado, diluído ou veio da vaca errada, né?!

Se apegue a essa analogia, pois eu vou utilizá-la durante todo o texto pra ajudar na compreensão (logo eu, que sou intolerante à lactose rsrs).

Os 5 pilares da Observabilidade de Dados

Os conceitos de observabilidade se sustentam em 5 pilares bem distintos, que juntos formam a base para garantir a confiabilidade, a rastreabilidade e a qualidade dos dados dentro de uma organização. São eles: frescor, distribuição, volume, esquema e linhagem.

Cada um desses pilares atua como uma lente específica, pelas quais os organizações conseguem enxergar possíveis falhas no fluxo dos dados, antes que elas comprometam a qualidade dos dados.

Vamos analisar cada um desses pilares de forma mais detalhada abaixo.

• Frescor (Freshness )

O conceito de freshness se refere à atualização dos dados ao longo do tempo. Em outras palavras, os dados precisam estar sempre renovados – “fresquinhos”– durante todo o ciclo de vida. Garantir que esse pilar esteja ativo significa impedir o uso de informações obsoletas, que podem distorcer as análises e levar a interpretações tortas, disléxicas ou completamente fora do ponto. Manter a chegada dos dados no tempo certo, com a frequência correta e dentro da janela esperada é o primeiro sinal de que sua base está respirando bem.

Traduzindo: é aquela história de ter o leite bem fresquinho todo dia.

• Distribuição (Distribution)

Como o próprio nome já diz, esse pilar garante que os dados estejam bem distribuídos e sob controle ao longo de todo o fluxo. Isso significa verificar se as amostras de dados estão vindo de todas as fontes esperadas, se não há interrupções no envio das informações, e se tudo está sendo armazenado corretamente em cada etapa do pipeline. É através da distribuição que conseguimos detectar desvios ou lacunas nos dados – sinais de que algo não está saindo como o planejado.

Se a fazenda inteira deveria estar entregando leite, mas só metade aparece no galpão, é aqui que esse perrengue vai ser identificado.

• Volume

‘Hoje eu percebi que veio menos leite da vaquinha Mimosa… O que será que tá rolando com ela, hein?’

Entender o padrão volumétrico dos dados é essencial — e é exatamente aí que o pilar de volume entra. Ele ajuda a monitorar se a quantidade de dados que está chegando segue o comportamento esperado. Um volume abaixo do normal pode indicar falha no carregamento, perda de pacotes ou problemas de processamento na origem. Já um volume acima do padrão pode significar duplicação, erros de classificação ou bugs na coleta inicial.

Garantir o equilíbrio permite agir rápido diante de qualquer anomalia – afinal, ninguém quer leite de menos… nem de mais!

• Esquema (Schema)

Todos os dados devem ser estruturados seguindo um modelo, uma estrutura padrão – é o que chamamos de esquema. Esse pilar é responsável por garantir que os dados estejam organizados de forma coerente, seguindo o modelo padrão, facilitando a identificação de qualquer mudança inesperada na estrutura. Uma nova coluna que apareceu do nada? Um campo obrigatório que veio vazio? Um tipo de dado trocado (string – texto – onde deveria ser número)? Tudo isso pode ser detectado aqui.

Até o formato dos dados pode dar pistas: se o leite chegou mais ralinho – ou mais denso – que o normal, talvez tenha algo de errado com a saúde da vaquinha.

• Linhagem (Lineage )

Aqui está um mapa geral dos caminhos que o leite percorre durante todo o processo, desde a sua coleta até a utilização na produção dos seus derivados. Definir esse caminho padrão é essencial para que qualquer desvio seja detectado e corrigido rapidamente. Se um relatório apresenta números estranhos, é o pilar da linhagem que ajuda a investigar a trilha dos dados, desde a origem até o resultado.

E além de ser muito importante no diagnóstico de problemas, a linhagem também é fundamental para auditorias, demonstrando conformidade e confiança nas decisões.

Por que a Observabilidade é Essencial em Ambientes Data-Driven?

Depois de tudo que a gente já viu até aqui, responder a essa pergunta ficou até bem fácil, né? Mas vale a pena contextualizar direitinho.

Antes de mais nada, o termo Data-Driven se refere a algo – ou alguém – que é, literalmente, guiado por dados. Melhorando esse conceito, podemos dizer que uma organização é classificada como Data-Driven quando baseia o seu funcionamento nos dados que ela mesma produz e consome.

Agora a importância da observabilidade fica ainda mais clara. Imagine uma empresa tomando decisões estratégicas baseadas em dados incorretos… O caos está formado!

Dados inconsistentes comprometem toda a cadeia operacional: o desenvolvimento de novos produtos pode ser prejudicado por análises distorcidas; a produção pode ser escalada ou reduzida por influência de uma análise de vendas mal elaborada; decisões de expansão para novas regiões podem ser tomadas de forma precipitada por erros na leitura de dados demográficos.

Quer um exemplo real? Aqui vai!

Em 2020, na Inglaterra, uma falha na contabilização de exames de COVID-19 resultou na perda de cerca de 16 mil resultados positivos. Segundo os responsáveis pela operação, o erro ocorreu por conta de uma limitação do Excel (falha de schema): a planilha usada para consolidar os dados tinha um número máximo de linhas, e esse limite foi ultrapassado.

As informações eram enviadas ao órgão competente por meio de arquivos CSV (formato estruturado e ideal para grandes volumes). Mas, ao importar os dados para o Excel, as últimas 15.841 linhas do arquivo foram, simplesmente, ignoradas.

Agora pensa: cada uma dessas pessoas relatou ter tido contato com pelo menos mais três em dias anteriores ao teste. Ou seja, o número estimado de possíveis contaminados que não foram rastreados chegou perto de 50.000 (você leu certo, cinquenta mil pessoas), todos circulando por aí, possivelmente espalhando ainda mais o vírus.

É, acho que não temos mais o que discutir sobre a importância da observabilidade.

Ferramentas de observabilidade e boas práticas do mercado

Bom, até aqui, já deu pra perceber que a observabilidade de dados não é só um “extra”, mas sim um pilar essencial em qualquer ambiente data-driven. E pra garantir essa visibilidade toda, eu trago uma boa notícia: existem diversas ferramentas – inclusive algumas delas gratuitas – que ajudam (e muito!) nessa missão.

Entre as mais populares, que podem ser encontradas com uma rápida pesquisa, podemos destacar as seguintes: Monte Carlo, Datadog, Datafold, OpenLineage, Marquez, Great Expectations, Grafana (geralmente combinada com o Prometheus) e ElasticSearch (em conjunto com o Kibana).

Cada uma dessas soluções atua de forma distinta, mas todas compartilham um objetivo comum: oferecer visibilidade, rastreabilidade e segurança aos dados, embasadas nos pilares que já exploramos mais acima.

Em paralelo a essas ferramentas, é importante definir um conjunto de boas práticas, que servirão como um "guia padrão” dentro da organização. Esse conjunto pode ser composto por vários processos, como por exemplo:

• Criação de alertas automatizados: configurar alertas para identificar problemas de forma otimizada – se algo sair do controle, o time fica sabendo de imediato e já segue com a correção;
• Definição de SLAs/SLOs de dados (em outras palavras, são acordos de tempo de disponibilidade dos dados): estabelecer esses acordos garante disponibilidade, frequência e atualização dos dados;
• Testes de qualidade: adotar testes automatizados que verifiquem a natureza e a qualidade dos dados em todas as etapas do pipeline;
• Documentação e versionamento: é importante manter os fluxos e processos de dados bem documentados, guardando o histórico de alterações (caso alguma mudança não gere o efeito esperado, é só voltar ao modelo anterior);
• Definição clara de ownership (‘quem manda nisso aqui?’): cada fase do processo precisa ter um "dono", responsável por garantir o bom funcionamento de sua etapa, e essa informação tem que ser clara e objetiva;
• Auditorias periódicas: realizar revisões periódicas em todo o fluxo para garantir que tudo está funcionando como foi planejado é essencial.

Esse conjunto de ações garante que o time trabalhe de forma mais previsível e organizada, trazendo mais confiança e tornando o processo de observabilidade ainda mais eficiente.

Observabilidade como uma cultura – não apenas uma ferramenta

Diante de todos os conceitos e analogias que trouxemos até aqui, fica claro que a observabilidade não deve ser tratada apenas como uma ferramenta técnica, mas sim como uma cultura viva dentro da organização.

Imagina só como as vaquinhas ficariam felizes se todo mundo cuidasse bem delas, mantendo um ambiente agradável para que elas pudessem produzir o melhor leite possível… E isso nem é uma utopia, é só uma questão de mentalidade.

Promover uma cultura de observabilidade significa envolver todos os times que fazem parte da cadeia de dados – da ingestão à análise – em um esforço coletivo de cuidado, atenção e melhoria contínua.

E pra isso acontecer de verdade, algumas atitudes podem fazer toda a diferença:

• Criar espaços de troca entre as equipes (nada de guardar o conhecimento pra si);
• Incentivar a colaboração entre áreas técnicas e de negócio (todo mundo precisa remar pro mesmo lado);
• Deixar bem claro que a qualidade dos dados é responsabilidade de todos (não tem essa de ‘isso é problema do time X’);
• Garantir que as ferramentas e os alertas estejam compreensíveis e acessíveis a todos os envolvidos;
• Promover treinamentos, dinâmicas, conversas e tudo mais que ajude a manter esse assunto vivo na rotina.

No fim das contas, quando a observabilidade virar parte da cultura, ela deixará de ser só mais um processo técnico e passará a fluir naturalmente. É nesse ponto que se alcança a clareza dos dados.

Conclusão

O verdadeiro poder dos dados está muito além daquele dashboard bonito, cheio de gráficos coloridos e métricas que parecem gritar: ‘olha só como eu tô performando!’.

Nada contra os dashboards – eles têm a sua importância sim! Mas é necessário ir além, olhar por cima dos seus ombros. É por trás de cada número, de cada gráfico, que mora a verdadeira chave da confiabilidade dos dados: a observabilidade.

Como vimos, é ela que vai garantir que os dados estejam corretos, que o leite chegue fresquinho, e que ninguém tome decisões baseadas em incertezas. Quando essa ferramenta entra em cena, os dados passam a ser melhor aproveitados e a gerar valores reais para a organização.

A observabilidade dos dados não deve ser só um termo chique do mundo tech. Ela deve ser um hábito, uma cultura. E quando isso acontecer, os dados fluirão, os resultados vão saltar aos olhos e os times poderão respirar aliviados.

Agora me diz: como anda a saúde das vaquinhas por aí?

Referências

O que é observabilidade de dados?. IBM. Disponível em: https://www.ibm.com/br-pt/topics/data-observability. Acesso em: 06/05/2025

Qual é a diferença entre observabilidade e monitoramento?. AWS. Disponível em: https://aws.amazon.com/pt/compare/the-difference-between-monitoring-and-observability. Acesso em: 08/05/2025

Observabilidade de dados: o que é, principais pilares e benefícios. Engineering Brasil, 2025. Disponível em: https://blog.engdb.com.br/observabilidade-de-dados/. Acesso em: 09/05/2025.

Data Driven: o que é e sua importância na tomada de decisões. SPC Brasil, 2025. Disponível em: https://www.spcbrasil.org.br/blog/data-driven. Acesso em: 10/05/2025.

England Covid cases error means 50,000 contacts may not have been traced. Josh Halliday, Denis Campbell, Peter Walker and Ian Sample, 2020. Disponível em: https://www.theguardian.com/world/2020/oct/05/england-covid-cases-error-unknown-how-many-contacts-not-traced-says-minister. Acesso em 10/05/2025.

O que é Observabilidade?. Pedro César Tebaldi, 2019. Disponível em: https://www.opservices.com.br/o-que-e-observabilidade/. Acesso em: 15/05/2025