Projeto: ETL Inteligente de Dados Municipais
- #PostgreSQL
- #Python
- #API Rest
Depois de uma consultoria com um tech recruiter, tive um daqueles momentos de “virada de chave”. Ele apontou algo que eu já sentia, mas ainda não tinha encarado de forma clara: meu portfólio não estava refletindo a prática do que eu vinha estudando. Havia um desalinhamento entre os cursos teóricos e a aplicação real.
Isso me incomodou positivamente. Em vez de só revisar currículo, decidi ir além e colocar a mão no código de verdade.
Voltei aos bootcamps da DIO, revisitei aulas, fiz muita leitura, testes e pesquisas — e comecei a transformar aprendizado em prática. Foi nesse processo que construí um projeto que, para mim, marcou uma virada importante: um pipeline de dados completo rodando com sucesso.
Ver a mensagem “pipeline executado com sucesso!” no terminal foi mais do que um retorno técnico. Foi uma confirmação de que tudo estava, enfim, se conectando.
🚀 Apresento o ETL-MUNICIPIOS, um projeto de Data Engineering que desenvolvi com foco em prática real de engenharia de dados.
O pipeline funciona assim:
- Consulta municípios via API do IBGE
- Enriquecimento de dados com CEPs da ViaCEP
- Integração e tratamento das informações
- Armazenamento em PostgreSQL
- Geração de relatórios em CSV
- Execução totalmente containerizada com Docker
📊 Arquitetura do pipeline:
Extract → consumo de APIs públicas (IBGE, ViaCEP, OpenWeather) com requests
Transform → limpeza, padronização e enriquecimento dos dados com pandas
Load → persistência em PostgreSQL e exportação de dados estruturados
🔧 Stack utilizada:
Python 3.13+, Pandas, Requests, PostgreSQL (psycopg2), Virtualenv e Docker.
📂 Estrutura do projeto:
extract.py→ coleta de dadostransform.py→ processamento e enriquecimentoload.py→ carga no bancodatabase.py→ conexão com PostgreSQLmain.py→ orquestração do pipeline
✅ Resultado:
Um fluxo completo de dados saindo de APIs públicas, sendo tratado e persistido com consistência, pronto para análise. Mais do que isso: um projeto que representa a transição entre estudar conceitos e realmente construir algo funcional.
