Machine Learning para combater o crime pode não ser uma boa ideia
Por algum tempo nos Estados Unidos se utilizou um programa de computador para prever a possibilidade de um preso ser reincidente. Ele levava em conta parâmetros como raça, sexo, idade, condição social, histórico familiar, profissão, círculo de amizades entre outros. Com o tempo, foram feitos estudos que mostraram que pessoas negras tinham maior probabilidade de serem consideradas reincidentes do que pessoas brancas.
"Nos EUA, por exemplo, há uma discussão importante sobre um programa de computador chamado COMPAS, que analisa a probabilidade de uma pessoa cometer um novo crime. Uma análise de mais de 10 mil casos na Flórida ao longo de dois anos, publicado em 2016 pela ONG ProPublic, demonstrou que a previsão de “alto risco de reincidência” era mais comum para negros do que para brancos, em que pese não haver nenhuma decisão de violação do devido processo legal contra o programa." (from "LGPD : Lei Geral de Proteção de Dados Pessoais comentada" by Viviane Nóbrega Maldonado, Renato Opice Blum) p169
Hoje em dia é considerado crime construir modelos matemáticos que levem em conta a cor de uma pessoa, e por isso ela foi tirada dos modelos. No entanto, esses modelos continuaram a apresentar problemas. Supondo que se utilize por exemplo a variável CEP. Neste caso as pessoas provenientes de bairros mais pobres teriam mais chances de reincidência. Em verdade, qualquer variável pode ser problemática na hora de construir um modelo de reincidência. Idade, sexo, nível de escolaridade, situação familiar, profissão, quantos anos a pessoa passou na cadeia, qual foi o tipo de crime cometido, local de origem. Essas variáveis são consideradas proxys para situações de vulnerabilidade social. E é injusto condenar uma pessoa a mais tempo de prisão somente por estar em uma situação de vulnerabilidade.
Não se pode julgar uma pessoa somente pelo grupo social a que ela pertence. Seria partir do pressuposto que ela teria ações iguais a pessoas que são iguais a elas, e isso é uma forma de preconceito. Seria condenar uma pessoa antecipadamente somente por pertencer a um determinado grupo demográfico.
Cada dia mais as pessoas são julgadas por sistemas automatizados, como na hora de pegar um empréstimo, comprar uma casa ou um carro, um seguro de saúde, fazer uma matrícula na faculdade, para conseguir um emprego ou a possibilidade de cometer um crime. E na grande maioria das vezes nós não temos acesso a este código. Alega-se segredo industrial ou que estes modelos seriam “muito complexos para nós entendermos”.
Muitas pessoas podem achar que a tecnologia é neutra. Que são somente números e que refletem a realidade. Mas os dados com os quais você alimenta este modelo vão interferir diretamente nos resultados que ele vai produzir. E não se pode culpar o modelo por reproduzir estereótipos. Ele não tem culpa de nada, é só um código. A culpa é das pessoas que o projetaram.
O big data e o Machine Learning frequentemente apresentam vieses machistas e racistas. De certa forma eles só refletem a realidade. Mas é preciso muito cuidado na hora de programar esses sistemas para que eles não automatizem vieses sociais e históricos ao invés de combatê-los.
