Revista da EMERJ - V.25 - n.1 - Janeiro/Abril - 2023

 R. EMERJ, Rio de Janeiro, v. 25, n. 1, p. 105-129, Jan.-Abr. 2023  118 introduzir no imaginário do público uma certeza de que aquilo que desenvolveram é objetivo na consecução do que se essas se propõem a entregar. Um estudo realizado pelo Pew Research Center (2018) in- dicou que 40% das pessoas nos EUAacreditavam que algoritmos podiam tomar decisões sem preconceito. No entanto, os dados brutos com os quais esses algoritmos trabalham são extraídos do mundo fático, dentro de um contexto, e podem estar enviesados mesmo que originalmente sejam neutros. Conforme explica O’Neil (2017, p. 10): Do you see the paradox? An algorithm processes a slew of statistics and comes up with a probability that a certain per- son might be a bad hire, a risky borrower, a terrorist, or a miserable teacher. That probability is distilled into a score, which can turn someone’s life upside down. 3 Na mesma direção, escreve Eubanks (2018, p.12) sobre como pessoas de alguns grupos deixados à margem pelo Estado são reduzidas e discriminadas pelas características conhecidas, ou construídas, a partir das informações descobertas, levantadas e/ou tratadas pelos algoritmos. No texto da escritora: Automated decision-making shatters the social safety net, criminalizes the poor, intensifies discrimination, and com- promises our deepest national values. It reframes shared so- cial decisions about who we are and who we want to be (...) And while the most sweeping digital decision-making tools are tested (...) where there are few expectations of political accountability and transparency, systems first designed for the poor will eventually be used on everyone. America’s poor and working-class people have long been subject to invasive surveillance, midnight raids, and punitive public policy that increase the stigma and hardship of poverty. 4 3 “Você vê o paradoxo? Um algoritmo processa uma série de estatísticas e apresenta uma probabilidade de que uma determinada pessoa possa ser uma má contratação, um tomador de empréstimo arriscado, um terrorista ou um professor miserável. Essa probabilidade é destilada em uma pontuação, que pode virar a vida de alguém de cabeça para baixo”. (tradução nossa) 4 “A tomada de decisão automatizada destrói a rede de segurança social, criminaliza os pobres, intensifica a discriminação e compromete nossos valores nacionais mais profundos. Ele reformula as decisões sociais compartilhadas sobre quem somos e quem queremos ser (...) E enquanto as ferramentas digitais de tomada