Do Zero ao Cloud: Minha Jornada Criando um Sentinel de Data Quality com Terraform e AWS

Introdução

Todo desenvolvedor backend chega em um momento onde o código local não é mais suficiente. Recentemente, me aventurei no desafio de construir o DataGuard Sentinel, um projeto que não apenas processa dados, mas garante a integridade deles utilizando uma infraestrutura real na nuvem.

A Ideia e o Desafio

O objetivo era claro: criar um pipeline de ETL em Python que fosse capaz de identificar anomalias em transações financeiras e reportar esses incidentes em tempo real para um banco de dados PostgreSQL RDS na AWS. Mas eu não queria criar o banco manualmente pelo console; eu queria automação.

A Experiência com Infraestrutura como Código (Terraform)

A primeira grande aventura foi com o Terraform. Provisionar um banco de dados, configurar VPCs e definir Security Groups via código é uma experiência transformadora. O aprendizado: Entender que a infraestrutura deve ser reprodutível. Se eu der um terraform destroy agora e um terraform apply daqui a cinco minutos, meu ambiente renasce exatamente igual.

O Sentinel em Ação (Python & Psycopg 3)

No coração do projeto, desenvolvi o script de ingestão. O "Sentinel" atua como um guardião: ao ler um arquivo CSV, ele valida cada linha. Durante os testes, me deparei com o erro clássico: “relation data_quality_logs does not exist”. Foi o momento de alinhar o banco com a aplicação. Configurei o SQLTools no VS Code para gerenciar o esquema e vi, pela primeira vez, o Python gravando um incidente de "Invalid Value" diretamente na nuvem via SSL.

Superando Obstáculos Técnicos

Não foi um caminho sem percalços. Lidar com certificados SSL para conexões seguras no RDS e ajustar as permissões de acesso (Security Groups) exigiu paciência e muita leitura de documentação. Mas ver o log: Sentinel: Incidente registrado com sucesso no RDS faz tudo valer a pena.

O Resultado

Hoje, o projeto está documentado e versionado no meu GitHub. Ele demonstra habilidades que vão além do "escrever código":

1. Cloud Computing: Gestão de RDS e S3.
2. IaC: Automação com Terraform.
3. Data Engineering: Validação e tratamento de anomalias em fluxos ETL.

Conclusão

Essa jornada me mostrou que ser um desenvolvedor backend moderno exige entender como o seu código "mora" na nuvem. O DataGuard Sentinel foi meu primeiro passo sólido nessa direção.

Confira o projeto completo no meu repositório:

https://github.com/viniciushoffmanndev/dataguard-sentinel-aws