Alucinações: XAI ! Onde estão os erros?

Alucinações produzem saídas incorretas ou inconsistentes e os erros podem ser rastreados com a XAI (Explainable Artificial Intelligece) Inteligência Artificial Explicável o que, de forma indireta, ajuda a reduzir as alucinações, pois podemos, como será visto adiante, auditar o comportamento do modelo entendendo o que levou a tomar a decisão abrindo a “caixa-preta” do modelo.

Entendendo o XAI

Interpretabilidade vs Explicabilidade (Com vs Porquê)

• A Interpretabilidade está relacionada ao “como” transforma uma entrada numa saída. É a lógica do problema. É a “caixa de vidro”.
• A Explicabilidade está associada ao “porquê”, explicar por que o modelo chegou a tal decisão.
• As técnicas usadas em Redes Neurais são denominadas de LIME (Local Interpretable Model-Agnostic Expanation) e SHAP (Shapley Additive exPlantions ).

Caixa Branca vs Caixa Preta

Os modelos caixa-branca usam algoritmos fáceis de entender por humanos como Regressão Linear e Árvores de Decisão ao contrário dos modelos de caixa-preta que são complexos e mais precisos como Redes Neurais Profundas, Máquinas de Vetores de Suporte e Modelos de Ensemble, como Random Forest e Gradient Boosting, cuja interpretabilidade deve ser obtida “past-hoc” (depois disso) que são métodos aplicados depois do treino. Um exemplo é a recusa de crédito depois da decisão tomada onde são analisadas as variáveis que mais pesaram na decisão.

O problema da Ética

Modelos de Machine Learning (ML) podem carregar preconceitos e desigualdades o que pode amplificar um problema ao invés de resolvê-lo. O XAI permite saber que variáveis estão sendo usadas como gênero, idade ou etnia que podem desvirtuar (“debiasing”) o modelo e com isso se enquadra na Lei como a Regulação Geral de Proteção aos Dados

Benefícios e Métodos de Interpretabilidade

O XAI ajuda a revelar se um modelo está tomando um atalho equivocado pela depuração, validação e otimização sendo um pilar das práticas MLOps (Machine Learning Operations) integrando qualidade, segurança e eficiência.

Como ressaltado anteriormente a Interpretabilidade leva o modelo a explicar suas decisões

O Modelo de Regressão Linear/Logística interpreta coeficientes do como modelo como pesos das característica, as Árvores de Decisão usa a lógica “se-então” fáceis de entender, o LIME aproxima o modelo de caixa preta a um modelo interpretável localmente, o SHAP utiliza a “Teoria dos Jogos” para dar um valor de importância a uma característica, o modelo de Importância de Permutação avalia o impacto do erro da permutação de uma característica, Mapas de Saliência destaca os pixels mais influentes numa previsão.

LIME

O modelo prega que numa vizinhança pequena em torno de uma única previsão pode ser aproximado por um Modelo Linear Simples.

Ele apresenta três características: é Local (explica previsões individuais ao focar-se do comportamento do modelo em torno de um único ponto de dados em vez de explicar o modelo todo); Interpretável (usa um modelo simples para explicar); Agnóstico ao Modelo (funciona com qualquer modelo de ML sem precisar saber como ele funciona internamente), mas apresenta limitações com o foco local, instabilidade e dependência da representação (como os dados são representados)

SHAP

Explica modelos como Redes Neurais, XGBoost e LightGBM. Baseia-se na Teoria dos Jogos, nos valores SHAPLEY para medir a contribuição de cada jogador (variáveis de entrada) na previsão do modelo (jogo). Apresenta as seguintes características: Consistência Teórica: segue propriedades matemáticas; Explicações Locais e Globais; Versatilidade: pode ser aplicada a diversos modelos como Árvores de Decisão, Regressões, Ensembles e Redes Neurais.

Seus benefícios são: Interpretabilidade: torna transparente modelos de caixa-preta; Justificativa: justifica decisões em áreas críticas como finanças e medicina; Depuração de Modelos: ajuda a identificar vieses, erros ou comportamentos inesperados; Visões Global e Local: explica previsões individuais e globais, mas apesenta limitações como custo computacional e cálculo de valores Shapley exatos.

Modelos de Deep Learning usados em Visão Computacional há técnicas para revelar as decisões tomadas.

1. Mapas de Saliência e Métodos baseados em Gradientes: calculam o gradiente (aponta a direção e o sentido onde deveremos ir para minimizar o erro. Cálculo do erro: Backpropagation) da saída do modelo (probabilidade associada à classe prevista) em relação a cada pixel da imagem de entrada. O resultado é um Mapa de Saliência que destaca os pixels que mais influenciam a previsão, isto é, as partes da imagem mais importantes.
2. Mapas de Ativação de Classe (CAM): produzem mapas de calor (métodos como o Grad-CAM) que indicam as regiões das imagens que a Rede Neural Convolucional “olhou” para chegar à decisão e direcionar a Classificação.

Aplicações e Fragilidades:

• Análise de Risco de Crédito
• Medicina
• Logística (envolvendo Grafos)

Assim como Modelos de ML podem ser enganados por Entradas Adversariais (pequenas perturbações nos dados de entrada que causam Classificação incorreta) os Métodos XAI também podem ser manipulados. Modelos de ML com vieses descriminatórios (como etnia) para obtenção de crédito ao serem submetidos a Métodos como LIME e SHAP levam a decisões incorretas que reafirmam esses vieses.

Além do Horizonte

A limitação fundamental dos Métodos XAI é que eles explicam Correlações e não Causalidade.

Modelos de ML servem para encontrar Padrões Estatísticos e Correlação nos dados, mas não entendem Relações de Causa e Efeito (Causalidade). As explicações obtidas mostram a quais características estão estaticamente associadas à Previsão, mas não por que essa relação existe no mundo real.

Está emergindo a IA Causal que visa ir além da Previsão e modelar Estruturas de Causa e Efeito.

Conclusão

XAI não corrige as alucinação, mas ajuda a entendê-las e mitigá-las.

Teste seu Conhecimento

Algumas questões sobe o texto apresentado.

1-O SHAP é baseado em:

a) Teoria da Informação

b) Teoria dos Jogos

c) Cálculo Tensorial

d) Lógica Fuzzy

2-Qual destes é um modelo caixa-branca?

a) Rede Neural Profunda

b) SVM com kernel não-linear

c) Árvore de Decisão

d) Random Forest

3-Qual é o principal objetivo da IA Explicável (XAI)?

a) Aumentar a complexidade dos modelos de ML

b) Tornar a IA auditável e compreensível

c) Substituir totalmente os modelos de caixa-preta

d) Eliminar a necessidade de validation de modelos

4-Interpretabilidade em XAI está relacionada a:

a) Explicar "porquê" para públicos não técnicos

b) Entender "como" o modelo transforma entrada em saída

c) Justificar decisões éticas

d) Melhorar a precisão do modelo

5-O "direito à explicação" está previsto em:

a) Lei de Patentes

b) Regulamentações como GDPR

c) Normas de segurança cibernética

d) Acordos comerciais internacionais

Respostas

1-b; 2-c; 3-b; 4-b; 5-b