A ideia dos pesquisadores é evitar situações nas quais algoritmos tomem decisões que prejudiquem de maneira desproporcional determinados grupos da população. Um caso citado como exemplo é o de algoritmos usados por bancos para decidir quais pessoas devem ou não receber empréstimos: nesses casos, dependendo do algoritmo, ele pode ter uma taxa muito maior de erro com certos grupos da população, como mulheres ou pessoas negras.

Oportunidades iguais

Segundo o Guardian, o método envolve olhar para os dados que são usados para treinar o algoritmo e para os resultados que ele produz. O objetivo do teste é garantir que sempre que o algoritmo fizer uma decisão sobre um indivíduo - desde mostrar ou não uma propaganda a ele, até conceder ou não um empréstimo -, essa decisão não pode dizer nada sobre o gênero ou etnia além do que estava nos dados de entrada do algoritmo.

Por exemplo: imagine que um banco descobre que mulheres têm o dobro de probabilidade de pagar empréstimos do que homens. Seria razoável, portanto, imaginar que uma pessoa que não tivesse pagado um empréstimo tinha maior probabilidade de ser homem que mulher. No entanto, caso o algoritmo calculasse que a melhor estratégia para o banco era só conceder empréstimos a mulheres, ele se revelaria preconceituoso - já que alguns homens também pagariam empréstimos, e algumas mulheres, não.

Cegueira não resolve

Conforme os pesquisadores explicam, essa estratégia é melhor do que a de eliminar quaisquer dados demográficos desse tipo das informações usadas para treinar o sistema. Isso porque, em alguns casos, essas informações são cruciais. Por exemplo: homens têm maior probablidade de ter problemas cardíacos do que mulheres. Por isso, um sistema que quisesse determinar a chance de uma pessoa ter problemas cardíacos precisaria saber se ela é homem ou mulher.

Outro problema, segundo a explicação de Hardt no blog de pesquisa do Google, é que eliminar determinadas informações não impede que o algoritmo tome decisões preconceituosas. Isso porque ele seria capaz de usar outros dados disponíveis de maneira igualmente "preconceituosa", o que levaria aos mesmos problemas de um algoritmo que tivesse acesso a esses dados.

Será o suficiente?

Racismo e machismo entre algoritmos são casos infelizmente comuns: por causa da maneira como redes neurais funcionam, e por causa dos preconceitos ainda presentes em nossa sociedade, esses sistemas muitas vezes acabam reproduzindo situações desse tipo. O algoritmo de buscas do Google já foi acusado de racismo em mais de uma ocasião - com tanta razão que a empresa se desculpou depois. Também houve um caso de racismo num "concurso de beleza" julgado por inteligência artificial.

Embora a solução apresentada pelos pesquisadores seja interessante, especialistas ouvidos pelo Guardian temem que ela se revele insuficiente. Isso porque a existência de um "teste" desse tipo removeria o foco de como as máquinas chegam às decisões que tomam. Normalmente, sabe-se muito pouco sobre a forma como as redes neurais funcionam, e esse "teste" pode desviar a atenção de problemas sérios que estejam ocorrendo nessa camada do algoritmo.