Sino Esthappan, pesquisador da Northwestern University, realizou um estudo científico com a ideia em mente de produzir um confronto entre decisões humanas e algoritmos, apenas para descobrir quem é o dono da verdade nas questões legais.
O que ele não poderia imaginar é que iria encontrar um cenário onde as tecnologias algorítmicas acabam evidenciando as lacunas do sistema de justiça ao invés de resolvê-las.
Dessa forma, juízes estão utilizando a Inteligência Artificial para validar decisões que não necessariamente estão alinhadas com a lei, mas sim com suas convicções pessoais.
Explicando as avaliações algorítmicas de risco
As ferramentas analisam o histórico criminal dos réus para calcular riscos de fuga ou reincidência. Baseadas em dados de centenas de milhares de casos, as IAs fornecem uma classificação de risco como “baixo”, “médio” ou “alto”, apoiando o juiz na decisão de conceder ou negar a fiança para um réu.
Contrariando a suposição de uso automatizado, o estudo revela que juízes utilizam os algoritmos de forma seletiva, influenciados por motivações pessoais, como suas convicções morais ou receio de impacto em suas reputações.
Até porque os algoritmos são ferramentas de aprendizagem de máquina, que sempre acabam absorvendo o que é determinado ou ensinado pelo usuário humano.
Enquanto defendidos por oferecerem “neutralidade” e dados impessoais, esses sistemas sofrem com potenciais vieses, refletindo desproporcionalmente o histórico criminal já racialmente codificado, e provocando um risco de perpetuação das discriminações anteriores.
Ou seja, existem enormes chances de os algoritmos se tornarem sistemicamente racistas ou estereotipados na hora de realizar julgamentos sobre determinados crimes.
As falhas dos algoritmos nos julgamentos
Um exemplo é o algoritmo de Broward, Flórida, que se mostrou falho na previsão de crimes violentos, com uma taxa de acerto de apenas 20%.
O estudo mostra que o algoritmo testado já tinha a tendência de determinar os réus negros como mais propensos a serem considerados de alto risco em comparação com réus brancos.
Acreditava-se que os juízes utilizavam os algoritmos de maneira consistente, ou apenas para eliminar determinadas dúvidas mais técnicas sobre as sentenças a serem aplicadas.
Porém, Esthappan aponta que muitos apenas recorrem a eles para casos específicos ou quando suas próprias interpretações encontram respaldo na pontuação.
Os juízes entrevistados mencionam que, em certos casos, as pontuações são usadas para justificar decisões impopulares. Uma pontuação baixa, por exemplo, poderia aliviar a pressão sobre uma liberação polêmica.
Juízes frequentemente estabelecem seus próprios critérios sobre quando uma pontuação de risco é válida, especialmente em casos com acusações graves como violência doméstica, onde podem desconsiderar a pontuação por acharem que os algoritmos negligenciam fatores importantes.
Em audiências curtas, as pontuações fornecem um “atalho” informativo, ajudando a formular uma decisão quando o tempo e os dados são insuficientes para uma análise completa.
O medo de que uma decisão leve a consequências violentas é constante para os juízes, que preferem manter certos réus detidos, mesmo com uma pontuação de risco baixa, para evitar comprometimentos em suas reputações e riscos à segurança pública.
Defensores públicos questionam se a prisão preventiva deveria existir na forma atual, destacando que os algoritmos apenas amplificam um problema maior: a concessão ou não de liberdade de alguém antes do julgamento, com base em previsões incertas.
É óbvio que este é um tema delicado, e que deveria ser discutido de forma mais ampla entre a sociedade e pelos especialistas.
Por outro lado, me apavora pensar que a Inteligência Artificial pode ser mais um elemento para a perpetuação do racismo sistêmico em nossa sociedade.
Não é de hoje que sabemos que as IAs podem sim ser treinadas para considerarem os traços raciais como fatores de aceitação ou discriminação de um indivíduo.
E se tem juízes utilizando essa tecnologia com esse viés, é sinal que o perigo é maior do que imaginamos.