Processamento e Limpeza de Dados em Python com Pandas

Na jornada de análise de dados e engenharia, existe um ditado clássico: "Garbage in, garbage out" (Entra lixo, sai lixo). Não importa quão avançado seja o seu modelo de Machine Learning ou quão complexa seja sua consulta SQL; se os dados de entrada estiverem sujos, inconsistentes ou corrompidos, os resultados serão imprevisíveis.

O ecossistema Python, liderado principalmente pela biblioteca Pandas, tornou-se o padrão da indústria para resolver esse problema. Este artigo detalha as etapas essenciais para transformar dados brutos e ruidosos em estruturas limpas, confiáveis e prontas para análise.

1. Inspeção Inicial: O Diagnóstico do Dataset (EDA)

Antes de modificar qualquer dado, é preciso entender o estado atual da base. O processo de Análise Exploratória de Dados (EDA) começa com comandos rápidos que revelam o panorama geral:

• df.head() e df.tail(): Permitem inspecionar visualmente amostras do início e do fim do dataset.
• df.info(): Essencial para verificar o número total de linhas, colunas, tipos de dados (dtypes) e a contagem de valores não nulos por coluna.
• df.describe(): Fornece estatísticas descritivas (média, desvio padrão, mínimo, máximo e quartis) para colunas numéricas, ajudando a identificar valores discrepantes (outliers).

2. Identificação e Tratamento de Valores Ausentes (NaN)

Dados faltantes são inevitáveis na coleta do mundo real. Eles podem surgir por falhas de sensores, omissões em formulários ou erros de junção de tabelas.

• Identificando nulos: O método df.isna().sum() retorna uma contagem exata de quantos valores ausentes existem em cada coluna.
• Estratégia de Exclusão (dropna): Quando o volume de dados ausentes é massivo e a coluna não é crítica para o negócio (como a clássica coluna Cabin no Titanic), o descarte é viável.
• Estratégia de Imputação (fillna): Quando não podemos perder registros, preenchemos as lacunas com métricas estatísticas (como a média ou mediana) ou valores constantes:

---

# Preenchendo valores ausentes de uma coluna numérica com a média

df['idade'] = df['idade'].fillna(df['idade'].mean())

---

3. Padronização de Tipos de Dados e Limpeza de Ruídos

Muitas vezes, dados numéricos vêm formatados como strings (por exemplo, contendo símbolos monetários ou vírgulas no lugar de pontos decimais).

• Conversão de tipos: O uso de pd.to_numeric(errors='coerce') converte colunas de texto em números, transformando valores inválidos automaticamente em NaN para posterior tratamento.
• Remoção de duplicatas: Registros duplicados distorcem análises estatísticas e contagens. O método df.drop_duplicates() remove linhas redundantes de forma limpa.

4. Engenharia de Atributos e Normalização (Min-Max)

Com os dados limpos, a próxima etapa envolve moldá-los para extrair valor máximo:

• Criação de novas colunas: Derivar informações (como calcular o total a partir de quantidade e preço unitário) enriquece o dataset.
• Normalização Min-Max: Algoritmos sensíveis à escala (como KNN e Redes Neurais) exigem que variáveis numéricas fiquem na mesma faixa (geralmente entre 0 e 1):

---

df['valor_normalizado'] = (df['valor'] - df['valor'].min()) / (

  df['valor'].max() - df['valor'].min()

)

---