A revelação de que o TikTok manteve milhões de usuários sem um recurso de segurança criado para reduzir a exposição a conteúdos potencialmente nocivos amplia os questionamentos sobre as decisões internas que orientam o funcionamento de seus algoritmos.
Um documento interno confidencial, obtido pela Bloomberg Businessweek, indica que a empresa decidiu preservar cerca de 10% dos usuários norte-americanos em uma versão antiga do sistema como parte de um experimento destinado a medir o impacto da atualização sobre o engajamento e o número de usuários ativos.
Entre as pessoas incluídas nesse grupo de controle estava o adolescente norte-americano Chase Nasca, de 16 anos.
Segundo o documento, o algoritmo continuou recomendando repetidamente vídeos relacionados a suicídio, tristeza, desesperança e automutilação, criando o que a própria empresa classificou como uma “bolha de filtro”.
Chase morreu por suicídio em fevereiro de 2022, após semanas consumindo esse tipo de conteúdo.
O relatório afirma que o recurso criado para interromper padrões repetitivos de conteúdos sensíveis não foi aplicado deliberadamente aos integrantes do grupo de teste.
A decisão buscava medir se a mudança afetaria indicadores considerados estratégicos para a plataforma, como o número de usuários ativos diariamente (DAU).
O documento registra que o equilíbrio analisado internamente envolvia “segurança” e “a capacidade de mensurar o impacto” da alteração nas métricas de engajamento.
Documento interno detalha como funcionava o experimento do TikTok
A análise apontou que, nas duas semanas anteriores à morte do jovem, o algoritmo exibiu 7.563 vídeos, dos quais 73% continham conteúdos ligados à tristeza, saúde mental, desesperança e relatos sobre suicídio.
Além disso, quase 10% das recomendações violavam as próprias diretrizes da plataforma por promoverem ou normalizarem o suicídio e a automutilação.
O relatório ainda conclui que Chase permaneceu exposto a esse fluxo porque sua conta havia sido selecionada aleatoriamente para integrar um experimento de “backtesting”, utilizado para medir o impacto das mudanças implementadas no algoritmo.
Conforme o documento, “as estratégias de prevenção de bolhas de filtro do TikTok não surtiram efeito nesse usuário, conforme o planejado”.
Como mostrou O Brasilianista, grandes empresas de tecnologia vêm enfrentando crescente pressão judicial por decisões envolvendo algoritmos, proteção de dados e segurança digital.
O caso do TikTok amplia esse cenário ao colocar sob questionamento a forma como testes internos podem afetar diretamente a experiência e, segundo os autores das ações judiciais, até mesmo a segurança de milhões de usuários.
Como destacou O Brasilianista, episódios envolvendo inteligência artificial e redes sociais passaram a expor riscos relacionados à proteção de dados, à transparência dos sistemas e à segurança de milhões de usuários.
Congresso e Justiça passaram a pressionar a plataforma
A investigação também chama atenção pela forma como o TikTok respondeu às autoridades norte-americanas.
Em março de 2023, poucas semanas depois da conclusão do relatório interno sobre a conta de Chase Nasca, o CEO da empresa, Shou Chew, participou de uma audiência no Congresso dos Estados Unidos e afirmou que a segurança e o bem-estar dos adolescentes eram prioridades da plataforma.
Na ocasião, parlamentares cobraram explicações sobre a atuação dos algoritmos e questionaram a transparência da empresa em relação aos mecanismos de recomendação de conteúdo.
Pouco depois da audiência, o Congresso enviou uma série de perguntas formais ao TikTok, incluindo quantos casos de suicídio a empresa conhecia envolvendo usuários expostos a conteúdos relacionados ao tema.
A resposta oficial sustentou que a plataforma “não acredita que o uso do TikTok tenha levado usuários a cometer suicídio”, sem mencionar o experimento descrito no documento confidencial.
Como informou O Brasilianista, o aumento da autonomia dos sistemas digitais tem ampliado a preocupação com os mecanismos de supervisão e controle utilizados pelas empresas de tecnologia.
Processos e mudanças no algoritmo aumentam a pressão sobre o TikTok
Mais de 4 mil processos por danos pessoais foram apresentados nos Estados Unidos contra empresas do setor de redes, alegando que mecanismos desenvolvidos para ampliar o tempo de permanência dos usuários também podem favorecer o consumo repetitivo de conteúdos prejudiciais.
O caso de Chase tornou-se um dos exemplos utilizados nesse debate porque o documento interno da própria empresa descreve que o adolescente permaneceu exposto a recomendações relacionadas ao suicídio enquanto integrava um grupo de controle de um experimento algorítmico.
Após a repercussão do caso, o TikTok informou que aperfeiçoou a forma como conduz testes desse tipo e afirmou continuar investindo em mecanismos de proteção para adolescentes.
A empresa também declarou que mantém equipes dedicadas à remoção de conteúdos que violam suas diretrizes e ao desenvolvimento de sistemas capazes de reduzir a repetição de materiais potencialmente nocivos.