Fiocruz
24/03/2022
O racismo tem muitas frentes, nem todas elas sutis, mas quando se trata de pensá-lo em termos de sociabilidades digitais, a impressão que se tem, ao menos à primeira vista, é que ele não existe. A realidade, no entanto, é bastante mais complexa e vai muito além das manifestações individuais de discursos racistas, sendo o racismo uma dimensão sistêmica da web. “Defino ‘racismo algorítmico’ como o modo pelo qual a atual disposição de tecnologias e imaginários sociotécnicos em um mundo moldado pela supremacia branca fortalece a ordenação racializada de conhecimentos, recursos, espaço e violência em detrimento de grupos não-brancos”, explica o professor e pesquisador Tarcízio Silva, em entrevista por e-mail ao Instituto Humanitas Unisinos – IHU.
“Os modelos algorítmicos poderosos e pervasivos os são hoje por relações de poder que permitem extração e processamento de dados sociais para a construção de ordenações performativas. A ideologia neoliberal da tecnologia traz junto dessa algoritmização seus valores e relações de poder disseminando dispositivos e interfaces que poderiam ser construídos e dispostos de outra forma. Enfim, no discurso público se promove sem pudor valores de inovação e deslumbre antes de quaisquer considerações de bem-estar social”, complementa.
Os efeitos do racismo algorítmico não se reduzem às plataformas digitais. “A necropolítica se materializa nos aparatos tecnológicos digitais de vigilância e encarceramento como reconhecimento facial, policiamento preditivo ou no crescente interesse por modelagem algorítmica de sentenças”, destaca o entrevistado. Enquanto isso, porém, as big techs estão imunes a qualquer responsabilização por fazer circular discursos de ódio. “A inimputabilidade da rede foi expandida para interpretações decorrentes que não deveriam beneficiar gigantescas plataformas de mídias sociais que realizam modulação editorial de discursos extremistas para benefício próprio, mas fogem da responsabilidade social dos meios de comunicação.”
Confira a entrevista.
Antes de falar particularmente do tema do racismo algorítmico, poderia fazer uma breve genealogia do racismo on-line no Brasil? Como se caracteriza essa prática nos ambientes digitais da sociedade brasileira?
O racismo on-line se caracteriza por diferentes camadas discursivas que se adaptam e atualizam de acordo com mudanças no ecossistema das mídias e plataformização da comunicação. A articulação de grupos extremistas para ataques coordenados contra minorias, sobretudo mulheres negras, recorrentemente ganha manchetes. Usando de literacia midiática para explorar as mídias sociais com perfis falsos, canais e fóruns com anonimidade e mesmo recursos de criptografia, grupos racistas buscam ofender e desmotivar a ocupação dos meios de comunicação pelas minorias.
Além dos casos coordenados e concentrados de forma explícita por grupos, para entender o racismo on-line no país precisamos entender como a reprodução do racismo estrutural, através do contrato racial da branquitude, estabelece e atualiza o ambiente digital como favorável para as práticas racistas. A exploração econômico-racial que funda o Brasil se mantém através também da rejeição às intelectualidades e empoderamento negro, que, associada com a criminalização das visualidades afrodiaspóricas, gera terreno fértil para desinformação e discurso de ódio. Os sistemas de crença sobre hierarquias raciais disseminados no país fazem com que parte da população dissemine sem reflexão notícias falsas sobre jovens mortos pela polícia, por exemplo. A lógica das plataformas que privilegia métricas de visibilidade, alcance e engajamento apenas favorece e dá ainda mais escala à violência.
O racismo on-line se caracteriza por diferentes camadas discursivas que se adaptam e atualizam de acordo com mudanças no ecossistema das mídias e plataformização da comunicação
Para quem não está habituado ao tema, o senhor poderia explicar o que é racismo algorítmico?
Defino “racismo algorítmico” como o modo pelo qual a atual disposição de tecnologias e imaginários sociotécnicos em um mundo moldado pela supremacia branca fortalece a ordenação racializada de conhecimentos, recursos, espaço e violência em detrimento de grupos não-brancos. Assim, é essencial entender muito além de minúcias de linhas de programação, mas como a promoção acrítica de implementação de tecnologias digitais para ordenação do mundo favorece a reprodução dos desenhos de poder e opressão que já estão em vigor.
Sobretudo, a capacidade que sistemas algorítmicos têm de aparentemente transformar decisões e processos em “caixas opacas” inescrutáveis é um problema central. Na lógica de otimização contínua baseada em aprendizado de máquina, dispositivos levam como pressuposto que os dados que alimentam o sistema representam um mundo reproduzível, que seria partir do histórico de um determinado tipo de decisão para otimizá-la continuamente em prol de métricas de negócio ou gestão pública. Entretanto, temos inúmeros exemplos de como esta lógica reproduz e intensifica – ao mesmo tempo que esconde – decisões discriminatórias que foram tomadas de forma massiva anteriormente. A falsa ideia de neutralidade da tecnologia cai como uma luva no racismo estrutural ao permitir que apontamentos sobre antirracismo não sejam considerados em fases como ideação, planejamento, coleta de dados, processamento de dados, design, desenvolvimento de modelos e implementação dos sistemas.
Defino “racismo algorítmico” como o modo pelo qual a atual disposição de tecnologias e imaginários sociotécnicos em um mundo moldado pela supremacia branca fortalece a ordenação racializada de conhecimentos, recursos, espaço
O que são protocolos de programação e de que maneira eles constroem um ambiente digital que, em certa medida, favorece uma sociabilidade racista?
Quando se fala do atual panorama de protocolos e padrões para desenvolvimento de negócios digitais e plataformas, o discurso instrumentalista sobre tecnologia faz parecer que a neutralidade é um fato, considerando os códigos, supostamente, apena uma série de instruções. De fato, pode-se defender a definição técnica de que algoritmos são sistematizações de procedimentos encadeados de forma lógica para realizar tarefas em um espaço computacional.
Mas quando falamos de “algoritmização” da sociedade, trata-se de muito mais do que simplesmente a profusão de algoritmos e inteligência artificial para ordenação e classificação de coisas e pessoas. Os modelos algorítmicos poderosos e pervasivos os são hoje por relações de poder que permitem extração e processamento de dados sociais para a construção de ordenações performativas. A ideologia neoliberal da tecnologia traz junto dessa algoritmização seus valores e relações de poder disseminando dispositivos e interfaces que poderiam ser construídos e dispostos de outra forma. Mas são caracterizados pela opacidade de seu funcionamento, pela noção de eficácia como prioridade e pela valorização de escala que permite alguma customização individual, mas sempre enquadrada em possibilidades já restritas a modelos de negócio de cada plataforma ou franquia de dispositivos. Enfim, no discurso público se promove sem pudor valores de inovação e deslumbre antes de quaisquer considerações de bem-estar social.
Este modo algorítmico nos ambientes digitais privados, como as plataformas de publicidade (Facebook, YouTube, TikTok, Twitter e afins), permite, então, a ordenação dos conteúdos, feita através de centenas de sistemas algorítmicos organizados, ao fim e ao cabo, para otimizar métricas automatizadas de venda de anúncios e geração de dados. Quando a moderação de conteúdo racista ou extremista não é feita como deveria, e as plataformas fogem da responsabilidade, a comoção da violência discursiva, enunciados racistas inclusos, se torna padrão para usuários e para algoritmos que aprendem a sua replicação.
A falsa ideia de neutralidade da tecnologia cai como uma luva no racismo estrutural ao permitir que considerações sobre antirracismo não sejam consideradas em fases como ideação, planejamento, coleta de dados, processamento de dados
Neste contexto, qual o papel da inteligência artificial e dos bancos de dados para a “naturalização” dos processos de discriminação racial?
Nos últimos anos, evoluções científicas e tecnológicas permitiram que o aprendizado de máquina se barateasse através de vários modelos que se baseiam no uso de bases de dados cada vez mais massivas. A chamada era de big data forneceu em grande medida os dados para esta evolução através da web colaborativa, buscadores e indexadores, plataformas de mídias sociais e serviços, além de mais e mais sensores no mundo físico. A lógica de aprendizado de máquina aplicada à avaliação ou categorização de pessoas, grupos e comunidades humanas é questionável pela sua limitação sobre a compreensão efetiva da sociedade e suas complexidades, muito mais profundas do que qualquer sistema computacional consegue ou conseguirá modelar.
Apesar disso, a pretensão de neutralidade da tecnologia tem sido operacionalizada por interesses escusos que buscam aplicar aprendizado de máquina nos campos mais diversos. Quanto ao racismo algorítmico mais explicitamente vinculado à necropolítica, esta ideologia da neutralidade permite que o racismo institucional nas polícias e poder judiciário, por exemplo, promova o uso de aplicações como reconhecimento facial, policiamento preditivo, escores preditivos de reincidência ou ainda automatização de sentenças.
A relação entre racismo e tecnologias digitais ainda é, globalmente, marcada pelo que chamo de “dupla opacidade”, o modo pelo qual grupos hegemônicos buscam tanto apresentar a ideia de “neutralidade” na tecnologia quanto dissipar o debate sobre racismo e supremacia branca no ocidente. O uso irresponsável de bases de dados supostamente naturais para treinamento, sem filtragem ou curadoria plena, promove o que há de pior na sociedade ainda na coleta de dados. E as camadas de opacidade na produção de modelos, implementação e ajustes são defendidas por empresas de big tech em termos de custo-benefício e segredo de negócio. Combater discriminações na web não é barato. Não tem como ser barato, considerando a complexidade do mundo, dos discursos e a sedução da supremacia branca. Justo por isso, empresas de tecnologia baseadas em capital financeiro buscam oferecer soluções que individualizam as reações.
A ideologia neoliberal da tecnologia traz junto dessa algoritmização seus valores e relações de poder disseminando dispositivos e interfaces que poderiam ser construídos e dispostos de outra forma
O racismo algorítmico é uma categoria que se soma às dimensões do racismo descritas por Silvio Almeida – Individual, Institucional e Estrutural – ou é uma categoria que reorganiza o modo de funcionamento destes postulados?
O conceito de racismo algorítmico dialoga com obras como a do professor Silvio Almeida para jogar luz sobre algumas práticas que se reproduzem tecnologicamente no atravessamento dos níveis individuais, institucionais e estruturais do racismo. Acho que posso mencionar aqui um dos exemplos descritos no livro que explica bem como isto acontece.
Em pesquisa inovadora publicada na Science em 2019, Ziad Obermeyer e colaboradores estudaram algoritmos comerciais de predição de necessidades de cuidados médicos, para identificar possíveis vieses e resultados discriminatórios em subgrupos demográficos. Descobriu-se que milhões de pacientes negros receberam atribuição a escores de risco que os prejudicava quanto aos cuidados e recursos que receberiam em decorrência.
Em determinados escores de riscos atribuídos aos avaliados em triagens médicas, pacientes negros estavam na verdade muito mais doentes do que os pacientes brancos – e em índices alarmantes. Ao investigar a origem da disparidade na base de dados, os pesquisadores descobriram duas variáveis enviesadas sobre os dados que alimentavam o sistema, baseados no histórico de recursos e gastos a pacientes em mesmas condições: pacientes negros, na média mais pobres, não conseguiam gastar a mesma quantidade de dinheiro em seus próprios tratamentos; e médicos e outros profissionais da saúde tomavam frequentemente decisões de atribuir menos recursos a pacientes negros.
Descobriu-se que milhões de pacientes negros receberam atribuição a escores de risco que os prejudicava quanto aos cuidados e recursos que receberiam em decorrência
O sistema algorítmico considerava que o valor gasto historicamente seria um indicador confiável para representar a gravidade da condição médica. Ao fazer isto, ignorou as variáveis econômicas na esfera dos pacientes – desvantagens em grande medida fruto do racismo; e desconsiderou as variáveis discriminatórias na esfera dos profissionais, brancos em sua maioria, que não deram historicamente atenção igualitária a seus pacientes.
Este tipo de ocorrência é impossível de ser entendida sem levarmos em conta os vários níveis de operação do racismo. Do ponto de vista individual, foram milhares de decisões negligentes de médicos contra pacientes negras e negros. Institucionalmente, associações e conselhos negam a própria existência do racismo, dificultando pesquisas ou descreditando levantamentos. A lente estrutural do racismo, então, faz com que classificações sociais hierarquicamente racializadas componham o centro da alocação diferencial de humanidade que permite a manutenção global do capitalismo. Em alguns casos, a variável “raça” pode até não estar no modelo aplicado, mas a distribuição de dados traz as cargas de históricos de opressões intersecionais – e justamente por não modelar objetivos antirracistas, promove a discriminação.
A lente estrutural do racismo, então, faz com que classificações sociais hierarquicamente racializadas componham o centro da alocação diferencial de humanidade que permite a manutenção global do capitalismo
Em seu livro Racismo algorítmico você chama atenção para a “necropolítica algorítmica”. Como essa dimensão se materializa nos aparatos tecnológicos digitais?
A conceituação de necropolítica a partir do ensaio seminal de Achille Mbembe sublinha a ordenação do mundo com a produção de fronteiras e hierarquias raciais, a classificação de pessoas em categorias, produção e reprodução de imaginários culturais de manutenção e atualização de tal ordenação. Neste sentido, a ideia de “necropolítica algorítmica” se vincula ao fácil uso que a violência estatal faz dos algoritmos para manter suas dinâmicas.
Algumas das crenças no imaginário popular, apesar de dados e fatualidades, dificultam tanto o combate ao racismo quanto a sua própria percepção. Dos grandes jornais e programas televisivos da mídia empresarial que não cobrem violência policial – ou, quando a cobrem, usam dos mais variados eufemismos – ao horror do sistema judiciário que simula isonomia, mas pune e encarcera mais pessoas negras relativamente, temos véus que cobrem a realidade do horror racial no país, por mais que mate, encarcere, empobreça ou tente apagar da nossa historiografia.
A necropolítica se materializa nos aparatos tecnológicos digitais de vigilância e encarceramento como reconhecimento facial, policiamento preditivo ou no crescente interesse por modelagem algorítmica de sentenças
A necropolítica se materializa nos aparatos tecnológicos digitais de vigilância e encarceramento como reconhecimento facial, policiamento preditivo ou no crescente interesse por modelagem algorítmica de sentenças. Necropolítica se refere à capacidade do Estado de definir sujeitos matáveis pela sua própria força ou deixar morrer por atores sociais e privados. Assim, a própria inércia de parte da população ou, pior, apoio frente à implementação de tecnologias de reconhecimento facial em cidades e estados governados e legislados por diferentes espectros políticos é uma condição que estabelece iniquidades.
Em que sentido as tecnologias são políticas e racializadas? O que, na prática social, isso implica?
Tecnologias são políticas e racializadas quando admitimos que, para entendê-las, devemos observar não só a materialidade e desenho superficiais, mas também o que tais características evocam e como suas próprias ideações, existências ou implementações incorporam relações de poder. Ao longo do livro trago exemplos de artefatos e tecnologias “pré-digitais” como fotografia, espirômetro ou a classificação decimal universal do conhecimento para mostrar como as potencialidades de usos de tecnologias e objetos são situadas e reproduzem as próprias condições que as formataram. Práticas de calibragem para fotografia que privilegiavam modelos brancas, por exemplo, fazem parte de opressões raciais estéticas que retroalimentam as próprias ficções de padrões de beleza que, por sua vez, influenciam a demanda por instrumentos de registro e tendências de estilo. Movimentações sociais, políticas e mercadológicas podem quebrar os ciclos viciosos materializados em objetos e dispositivos, mas não apagam o impacto denso em gerações de indivíduos e comunidades.
Com as tecnologias digitais, o caráter fugidio das bases de dados, modelos e acúmulo de dependências nos padrões de recursos para desenvolvimento ocorre uma dinâmica similar. No campo das visualidades, por exemplo, grandes bases de dados como a ImageNet, que buscava resumir o mundo visual em algumas milhares de categorias, reproduziram categorias e estéticas centradas em um punhado de países seguindo vícios coloniais. Na prática, significa um jogo de gato e rato entre implementações problemáticas e descoberta de impactos intersecionais cada vez mais velozes – e desfavoráveis para grupos não-hegemônicos.
Mudar a chave sobre como vemos a responsabilidade social das big techs é o ponto nevrálgico para refrearmos as ondas extremistas em torno do mundo
Diante de um contexto aparentemente tão bem amarrado tecnologicamente, como podemos pensar resistências a esse estado de coisas que mantém em voga, no ambiente on-line, práticas racistas?
Há diferentes expedientes de reações ao racismo algorítmico que focam em melhorar implementações específicas – filtros de selfies no Instagram, por exemplo – à advocacia legislativa por inclusão de dispositivos antidiscriminatórias em leis sobre inteligência artificial, proteção de dados e afins. Quanto a práticas racistas nos ambientes on-line, me parece que o cerne da questão envolve superarmos a compreensão de que valha para as plataformas de mídias sociais a ideia de “inimputabilidade do intermediário”, um dos pilares de muitas legislações sobre internet.
Instrumentos como o Marco Civil da Internet estabeleceram a inimputabilidade à rede como conceito essencial para uma internet livre, de modo a não sobrecarregar provedores, serviços digitais ou websites. Partindo da ideia de que um comentário ou mensagem on-line em um website é responsabilidade apenas do seu autor, o provedor só seria responsabilizado caso descumpra ordem judicial de retirada.
Mas o que acontece quando a própria visualização dos conteúdos nocivos é promovida através de decisões editoriais algoritmicamente codificadas para gerar métricas de negócio? A inimputabilidade da rede foi expandida para interpretações decorrentes que não deveriam beneficiar gigantescas plataformas de mídias sociais que realizam modulação editorial de discursos extremistas para benefício próprio, mas fogem da responsabilidade social dos meios de comunicação.
Mudar a chave sobre como vemos a responsabilidade social das big techs é o ponto nevrálgico para refrearmos as ondas extremistas em torno do mundo.
Combater discriminações na web não é barato. Justo por isso, empresas de tecnologia baseadas em capital financeiro buscam oferecer soluções que individualizam as reações
A última seção de seu livro se chama “Regular para além dos princípios éticos”. O que isso significa?
Com o avanço da algoritmização das relações econômicas e políticas, a crescente consciência pública sobre os problemas que a ordenação da sociedade pelos sistemas digitais pode oferecer gerou uma reação das grandes corporações e fóruns do setor privado. A tentativa de autorregulação na seara da inteligência artificial em escala busca constringir o debate a noções tecnicistas de “vieses” para estabelecer auditorias apenas técnicas e apenas a quem possui acesso aos dados internos das empresas.
Entretanto, um sistema algorítmico não se trata apenas de linhas de código, mas deve ser compreendido também em termos de entrada de dados, saídas de dados e resultados, modelo de negócio, impactos, redes de atores impactados e quais decisões são incorporadas. Subscrevo então no livro as propostas que buscam entender “quem e o que é fixado no mesmo lugar – classificado, encurralado e/ou coagido” para a inovação tecnológica, nas palavras de Ruha Benjamin. O texto busca então abarcar conceitos que dialogam com os legados de organização coletiva, ativismo feminista interseccional e contracolonial, rejeitando a ideia de que seriam necessários princípios “éticos” radicalmente novos – e, por isso, em produção, postergados entre consensos e dissensos – para processos e artefatos baseados em big data e inteligência artificial.
*Tarcízio Silva atualmente é Tech + Society Fellow pela Fundação Mozilla e curador na Desvelar, promovendo conhecimento sobre tecnologia e sociedade, em especial abordagens antirracistas e afrocentradas. É pesquisador, mestre em Comunicação e Cultura Contemporâneas pela UFBA e realiza doutorado em Ciências Humanas e Sociais na UFABC, onde estuda racismo algorítmico e imaginários sociotécnicos de resistência. Autor do livro Racismo Algorítmico: mídia, inteligência artificial e discriminação nas redes digitais (2022). [2]
[1] Foto: geralt / Pixabay
[2] CEE-FIOCRUZ. Publicado no site IHU Online
Como citar esta notícia: Fiocruz. Da necropolítica social à necropolítica digital: as mil faces do racismo algorítmico. Saense. https://saense.com.br/2022/03/da-necropolitica-social-a-necropolitica-digital-as-mil-faces-do-racismo-algoritmico/. Publicado em 24 de março (2022).
