Como mostra o esquema Robodebt, pode haver consequências graves quando os sistemas automatizados não são geridos adequadamente.
Quando o Robodebt foi anunciado pelo governo federal, foi posicionado como um processo de cobrança de dívidas que resultaria em poupanças líquidas de mais de mil milhões de dólares ao longo de cinco anos.
O programa da Services Australia empregou um sistema de tomada de decisão algorítmica (ADM), que comparou os registros dos beneficiários da assistência social com dados de renda do Australian Tax Office e buscou reembolsos com base em seus cálculos.
Um total de US$ 2 bilhões em avisos de dívida foram emitidos para 700 mil beneficiários atuais ou antigos da assistência social. Mas o facto de o sistema funcionar com base em médias resultou em grandes erros de cálculo relativamente à quantidade de dinheiro que as pessoas deviam ao governo.
De acordo com a Professora Emérita Shirley Gregor, da Universidade Nacional Australiana (ANU), foi principalmente a maneira como a tecnologia foi usada — com falta de supervisão humana responsável — que criou os problemas.
“Robodebt mostrou como até mesmo tecnologias relativamente conhecidas podem levar a efeitos desastrosos quando software inadequado é associado à incapacidade da alta gerência de agir quando os defeitos se tornam óbvios”, diz Gregor.
Através de sua pesquisa, Gregor e colegas descobriram que, embora os ADMs sejam uma forma conveniente de gerenciar dados, minimizar o nível de controle humano tem consequências.
No caso do Robodebt, o controle do sistema era gerenciado por uma máquina central. Isto limitou as verificações de precisão quando o sistema fez uma estimativa da dívida.
O relatório final da Comissão Real sobre Robodebt descobriu que cerca de 443.000 pessoas receberam avisos de dívidas falsas, com muitos beneficiários enfrentando graves dificuldades como resultado.
Além disso, os beneficiários também eram obrigados a provar eles próprios quaisquer imprecisões, adquirindo extratos bancários antigos e recibos de pagamento de empregadores anteriores. Quando as pessoas ligavam para o Centrelink em busca de assistência, os funcionários eram instruídos a redirecioná-las para um portal online, que era difícil de usar.
“A inversão do ónus da prova é especialmente complicada quando os cidadãos estão limitados na sua capacidade de obter informações relevantes”, diz Gregor. “Se o autoatendimento através de portais on-line for incentivado, então deverão ser realizados testes com usuários para garantir que os sistemas sejam acessíveis e fáceis de usar”.
Apesar da má gestão da Robodebt – que levou a uma Comissão Real e a uma ação coletiva – Gregor diz que os ADMs podem ser usados de forma eficaz por agências governamentais.
“Houve um caso relatado na Nova Zelândia com uma agência de proteção à criança que mostrou que, no geral, o uso de um sistema algorítmico deu melhores resultados”, diz Gregor.
“Mas os operadores humanos foram capazes de anular as decisões caso a caso. Não ter ‘seres humanos no circuito’ e depender exclusivamente de uma máquina para tomar decisões pode levar a preconceitos e níveis inaceitáveis de erro.”
Por fim, Gregor diz que, embora os ADMs e outros sistemas de tecnologia da informação possam ser altamente eficazes, isso não deve remover a responsabilidade humana da equação.
“As tecnologias emergentes, como a inteligência artificial generativa, estão agora amplamente disponíveis e os seus pontos fracos muitas vezes não são bem compreendidos”, diz ela.
“Em qualquer uso de TI para tomada de decisões, análises minuciosas de risco, monitoramento e testes de experiência do usuário devem ser realizados continuamente.”