Dobras #60 // O lado obscuro do Discord: os riscos às crianças e adolescentes em meio a servidores cada vez mais violentos

 por Juliana Fernandes*

Figura 1: Toxic Discord Servers @bossome (Youtube)

Em abril e junho deste ano, o Fantástico exibiu reportagens sobre como a plataforma Discord se tornou um ambiente descontrolado de abuso, exploração, chantagem e crimes com violência excessiva. A maioria das vítimas são meninas e adolescentes; e seus algozes, homens maiores de idade que se utilizam da possibilidade de criar comunidades ocultas e salas de bate-papo para aliciar jovens. 

Lançado em 2015, o Discord rapidamente se tornou um hub para jogadores online por permitir tanto conversas de texto, quanto de áudio e vídeo para grandes grupos em seus servidores. Servidores é como são chamadas as salas de bate-papo baseadas em um interesse ou atividade específica, que vai de música, literatura, cinema, até estudo. Estes espaços são privados e, para acessá-los, é necessário ter um convite. Cada servidor tem em média 10 membros e apenas canais com mais de 200 membros podem ser descobertos via ferramenta de busca, caso o administrador torne o canal público. É uma ferramenta bem menos conhecida entre quem usa a internet no dia a dia, mesmo tendo subido para 150 milhões de pessoas usuárias ativas mensais em todo o mundo durante a pandemia. Com isso, também mães, pais e responsáveis por menores de idade acabam não conhecendo a fundo sua usabilidade e riscos.  

Seus servidores, além de privados por padrão, não são moderados pelo software, mas sim por quem usa e recebe a função de moderação dentro daquele chat específico. Em outras palavras, infrações só são verificadas caso sejam realizadas denúncias. Também não existe obrigatoriedade de criar uma conta vinculada às informações de uma identidade real, as ferramentas de controle parental são altamente ineficazes e as conversas de áudio não deixam registro por escrito e podem ser mais difíceis de moderar.  

Dessa forma, proliferam-se no aplicativo conteúdos com pedofilia, automutilação, racismo, apologia ao nazismo, maus-tratos a animais, incitação ao assassinato, pornografia, além do compartilhamento de deepfakes e outras formas de abuso sexual baseado em imagens. Deepfakes são todos os tipos de mídias criadas com o auxílio da inteligência artificial (áudios, imagens, vídeos) a partir de uma grande quantidade de arquivos reais disponíveis de determinada pessoa com uso de um algoritmo de aprendizado de máquina — o machine learning. 

No caso dessas adolescentes e mulheres anônimas ou famosas, de diferentes setores, a deepfake é produzida com seus rostos sendo colocados sobre os de atrizes pornô para criar pornografia simulada e não consensual. Pornografia está sendo fabricada artificialmente com mulheres, sem que elas consintam ou saibam. É revoltante, é predatório, é inadmissível. 

Figura 2: Mirror Thailand. <https://mirrorthailand.com/life/100269>

Nas suas duas reportagens, o programa exibido aos domingos pela TV Globo mostrou como os criminosos exigiam que as vítimas cumprissem desafios, como se automutilarem ou praticarem violências contra animais, caso contrário, imagens eram vazadas. Um deles tinha vários aparelhos com dezenas de pastas de meninas friamente catalogadas para serem chantageadas, expostas e violadas. “Backup das vagabundas estupráveis” era o nome de um desses arquivos^[1]Fantástico. Criminoso que agia no Discord tinha pasta de arquivos com vítimas catalogadas: ‘Backup das vagabundas estupráveis’. G1, 26 de junho, 2023. Acessível em: … Continue reading. 

O Fantástico ilustrou o que pesquisadoras e ativistas já vêm alertando nos últimos anos sobre a experiência violenta de mulheres no ambiente online, que sofrem com ofensas, ameaças de violência física, perseguição, roubo de dados pessoais, divulgação não consentida de imagens, extorsão, e muitas outras. No entanto, agora, estamos desvelando um mundo de atrocidades direcionadas às meninas e adolescentes. Tudo potencializado pelos preconceitos racial, de classe, sexual, com jovens com deficiência e às outras minorias de gênero com altas doses de misoginia — para eles, não basta que essas garotas sejam tratadas como inferiores, elas merecem ser agredidas, difamadas, assediadas e até estupradas. 

Uma constante de crueldade e sadismo que chocaram até quem investiga crimes desse nível há um tempo, inclusive no âmbito online, principalmente porque se tratando do Discord a maioria dos usuários são homens na faixa dos 18 aos 24 anos, representando 79% dos visitantes, enquanto as mulheres representam 21%^[2]Williams, James. 62 Discord Demographics: 64 User Facts & Numbers [2023]. Tech Penny, Social Media. Acessível em: … Continue reading. Rapazes cada vez mais jovens estão sendo radicalizados e cooptados por homens que manifestam discursos extremistas como chave para aceitação e validação social dentro desses pequenos círculos que eles criam online. O segredo para o sucesso? A violência que perpetram contra as suas colegas. 

O Discord também permite, ou falha em controlar, que menores de idade se conectem com pessoas desconhecidas. Uma vez que tenha um convite ou link de acesso, qualquer pessoa pode acessar esses chats privados se passando por uma criança ou adolescente, facilitando seu aliciamento. Eles se utilizam da conexão emocional para se aproximarem e ganharem a confiança das menores, em seguida, conseguem convencê-las a fugirem de casa para, sem saberem, se depararem com um destino de estupro, drogas, cárcere privado e agressões físicas e psicológicas. No exterior, esta prática recebeu o nome de grooming, quando adultos aliciam menores através da internet, por vezes mentindo sua idade, com o intuito de se aproveitarem sexualmente delas.  

No caso da reportagem exibida no Fantástico, após aliciadas, as jovens foram submetidas a diversas violências gravadas que mais tarde viraram postagens nos grupos dos quais os agressores faziam parte dentro do próprio aplicativo. Uma das vítimas foi uma menina de Joinville de apenas 13 anos, que em agosto de 2022 deixou um bilhete e fugiu de casa, atraída por Carlos Eduardo Custódio, conhecido como DPE, de 19 anos, preso em junho deste ano graças às denúncias trazidas pelo programa jornalístico. 

De acordo com o Discord, tudo isso fere suas políticas de uso. Porém, o que está descrito em suas diretrizes, é “Não use os serviços para se prejudicar ou para atacar os outros” e “Não use os serviços para atividades ilícitas”, sem elaborar nenhuma delas explicitamente contra divulgação e compartilhamento de materiais pornográficos, violentos ou de abuso. As diretrizes só estão explicitadas na área de “orientações para a comunidade” onde é possível ver com mais detalhes recomendações que listam não se envolver em situações de assédio, de discurso de ódio, de extremismo violento, e de divulgação de conteúdo sexual, de abuso e pornografia não consentida e de menores.  

O fato é que recomendações, sem moderação da própria empresa e maneiras eficazes de fazer cumprir regras de uso, são quase inúteis. Não surpreende, portanto, que a plataforma entrasse para o The Dirty Dozen List (algo como “As Doze Sujas”) pelo terceiro ano consecutivo em 2023, uma campanha anual que repreende doze entidades por facilitar, permitir e até mesmo lucrar com o abuso e a exploração sexual. 

Figura 3: End Sexual Exploitation. <https://endsexualexploitation.org/dirtydozenlist-2022/>.

No Brasil, o Discord tem ignorado a repercussão destes episódios. Além da já mencionada transferência de responsabilidade da moderação, os algoritmos e a maioria dos controles são feitos em língua inglesa, tendo pouquíssimo desenvolvimento na moderação desse conteúdo em português. Mas, mesmo assim, em 2022, o Discord foi notificado pelo Núcleo de Combate aos Crimes Cibernéticos (NUCCIBER) do Ministério Público Federal^[3]Brasil. Ministério Público Federal. 2ª Câmara de Coordenação e Revisão. 2022. Acessível em: … Continue reading sobre casos de racismo, e respondeu que “oferece seus serviços nos Estados Unidos da América” e que “os dados dos usuários são armazenados exclusivamente nos Estados Unidos”^[4]Scofield, Lara. Discord desobedece às próprias regras e permite conteúdo violento e extremista. Agência Pública, 17 de abril de 2023. Acessível em: … Continue reading. O público brasileiro é o segundo maior na plataforma e a empresa não possui representante legal no país, o que evidencia a negligência com milhares de jovens que usam o aplicativo. 

John Redgrave, Vice-Presidente de Confiança e Segurança da empresa, disse à CNN Business que esses casos representam uma pequena porcentagem de tudo que ocorre na plataforma, mas isso vai na contramão do que as investigações têm demonstrado. Na verdade, isso seria só a ponta do iceberg porque são os casos dos quais a justiça toma ciência. Em 2022, a capacidade de resposta do software às reclamações diminuiu de uma média de cerca de três dias, do que era em 2021, para quase cinco dias^[5]Kelly, Samantha M. The dark side of Discord for teens. CNN Business, 22 de março, 2022. Acessível em: <https://edition.cnn.com/2022/03/22/tech/discord-teens/index.html> . Em uma tentativa de reforçar que não compactua com os crimes que têm ocorrido dentro da sua plataforma, foram publicados no fim do ano passado três novas páginas no site institucional chamadas “Lidando com situações difíceis como administrador”^[6]https://discord.com/community/handling-difficult-scenarios-as-an-admin-discord, “Código de conduta do moderador para o seu servidor do Discord”^[7]https://discord.com/community/moderator-etiquette-for-your-discord-server e “Suas responsabilidades como moderador do Discord”^[8]https://discord.com/community/your-responsibilities-as-a-discord-moderator-discord.  

Ademais, eles passaram a contar com a parceria com a ConnectSafely, uma organização sem fins lucrativos dedicada à segurança na Internet, para criar um guia para responsáveis sobre configurações de segurança recomendadas para adolescentes, além de sessões de conscientização sobre uso dos recursos de segurança do Discord^[9] Kelly, Samantha M. The dark side of Discord for teens. CNN Business, 22 de março, 2022. Acessível em: <https://edition.cnn.com/2022/03/22/tech/discord-teens/index.html>  — nos Estados Unidos, é claro. Todas estas ações são, como podemos ver, indicações a quem faz a moderação interna dos servidores, ou aos responsáveis, sobre como podem navegar e o que fazer no aplicativo. Entretanto, elas não indicam como a empresa pretende abordar o problema no nível do design da tecnologia e ativamente moderar os conteúdos. 

Diante da repercussão continuamente negativa e das críticas, em junho desse ano o Discord confirmou que está testando ferramentas de controle parental — algo que especialistas têm pressionado desde 2021. Esses controles alegadamente vão permitir maior supervisão das pessoas responsáveis por meio de um “Centro da Família”, onde lá vão ter acesso aos nomes e avatares de quem foi adicionado recentemente à lista de amizades, quais usuários enviaram mensagens diretamente ou interagiram em chats de grupo e quais servidores suas filhas e filhos aderiram ou participaram recentemente. Fato é que mesmo após implementação, esses instrumentos vão precisar de contínuos testes e adaptações de acordo com os desafios que têm se colocado na convivência do espaço online. 

Na hipótese de ativadas as ferramentas de controle parental que incluam uma proibição de um menor de receber um pedido de amizade ou uma mensagem direta de alguém que ele não conhece, por exemplo, poderemos começar a vislumbrar uma maior tranquilidade, tanto às pessoas responsáveis em deixar que suas filhas e filhos permaneçam no aplicativo, quanto às próprias e próprios adolescentes de a utilizarem. Outras medidas importantes seriam implementar mecanismos que impeçam crianças abaixo dos 13 anos de conseguir livre acesso ao software e permitir que os áudios enviados fossem salvos para que pudessem fundamentar denúncias contra usuários e servidores. Se algo nesse sentido já estivesse em funcionamento, muitos destes incidentes poderiam ter sido evitados. 

Resta à sociedade datificada continuar cobrando esses prometidos protocolos de segurança e métodos mais reativos de detecção e remoção desses conteúdos, bem como seguir denunciando os estragos que a demora em agir têm causado.  

Figura 4: Web Foundation <https://webfoundation.org/2021/03/how-online-gender-based-violence-affects-the-safety-of-young-women-and-girls/>

Mais urgente ainda é nos capacitarmos para identificar sinais de radicalização misógina em rapazes e homens jovens e criar mecanismos de resposta a esse ódio. Estamos vivenciando um momento de massificação e disseminação deste fenômeno graças ao território da internet, que hoje, para muitos jovens, principalmente da periferia, é mais acessível do que atividades culturais. Postagens cada vez mais chocantes e inflamatórias se intensificam em alcance e estímulo, dessensibilizando pessoas cada vez mais novas ao racismo, ao sexismo e à retórica radical. 

Uma oposição à autoridade e ao “politicamente correto” se apresenta em comportamentos de zombaria, ironia e humor, principalmente na direção de quem se ofende ou sinaliza preocupações. A propaganda radical não é mais um chamado, um manifesto, uma convocação ao agir, é uma comunidade que conduz suas próprias pesquisas, espalha sua própria propaganda, cria um clima hostil a pessoas de fora do sistema que alimentam, na mesma intensidade que fortalece seus laços internos e solidificam suas conexões, mesmo que em lados opostos do globo. E não é por acaso que grupos extremistas, muitos neonazistas, estejam direcionando sua propaganda online para atingir estes grupos mais jovens, porque é justamente neste período que eles começam o processo de formação da sua identidade. 

É essencial um maior investimento na educação e competências especializadas em violência com base no gênero, em paralelo com a sensibilização, manuais com informações práticas de uso, ferramentas de segurança online e mobilização da sociedade. Condutas que precisam ser acompanhadas pela indústria tecnológica para que se dediquem em elaborar políticas, tecnologias e ferramentas que combatam o extremismo violento. Precisamos reconhecer que existe um problema e apostar na promoção de soluções formais que transformem essa sociedade em rede, atravessada por assimetrias e injustiças, em uma cuja proteção de direitos promova um ambiente online com mais dignidade, justiça, igualdade e segurança. 

*Juliana é mestra em Relações Internacionais pela PUC-Rio e assistente de pesquisa do MediaLab.UFRJ.