Arquitetura de dados | Comece por aqui
Muito se fala sobre dados, mas você sabe realmente como funciona a jornada do dado | do bruto ao insight?
Quando falamos em arquitetura de dados, estamos falando justamente do caminho que o dado percorre desde a sua origem até virar informação útil para tomada de decisão.
Se você, assim como eu, está aprendendo cada vez mais aqui na DIO, vamos construir esse aprendizado juntos.
A jornada do dado passa pelas seguintes etapas:
- Fontes: de onde os dados nascem (sistemas, APIs, planilhas, sensores etc.).
- Ingestão (Ingestion): como esses dados são coletados e levados para o ambiente de dados.
- Armazenamento: onde os dados ficam guardados (data lake, data warehouse, banco de dados).
- Transformação: limpeza, padronização e enriquecimento dos dados.
- Modelagem: criação de relações, métricas e estruturas que facilitam a análise.
- Consumo: uso dos dados em relatórios, dashboards e produtos analíticos.
- Governança: regras de segurança, qualidade, acesso e conformidade (presente em toda a jornada).
Todo esse processo pode ser englobado pelos conceitos de ETL (Extract, Transform, Load) ou ELT (Extract, Load, Transform). A escolha entre um ou outro depende de diversos fatores, como volume de dados, complexidade do ambiente e tipo de banco utilizado.
Dentro dessa arquitetura, lidamos com diferentes tipos de dados:
- Dados estruturados: organizados em linhas e colunas, comuns em bancos relacionais (SQL).
- Dados semiestruturados: possuem organização flexível por meio de tags ou chaves, como JSON e XML.
- Dados não estruturados: não seguem um modelo definido, como textos livres, imagens, áudios e vídeos.
Entender essa jornada é o primeiro passo para compreender como os dados se transformam em insights de negócio. Então, vamos pro a mão na massa!
