Imaginez un garçon de 14 ans assis dans sa chambre, regardant son écran d’ordinateur, le cœur battant. Il vient de recevoir un message de quelqu’un qu’il pensait être un ami – maintenant, ils menacent de partager une photo sexuelle de lui s’il ne leur paie pas d’argent. Paniqué, il quitte le chat. Mais les alertes sonnent sur son téléphone. À mesure qu’il essaie de comprendre ce qui se passe, les demandes arrivent plus vite. On lui dit que sa vie sera ruinée si l’image est partagée.
Il est tellement confus. Il se dit : «Je n’ai jamais pris cette photo.
Il s’avère que l’image est un deepfake – une image très réaliste mais fausse créée à l’aide de l’IA générative. Cela semble si réel qu’il craint que ses parents ne le croient jamais. Alors, il décide de payer pour faire disparaître les menaces. Pourtant, cela ne fait que susciter des demandes plus larges. Pris au piège et effrayé, il ne sait pas vers qui se tourner pour obtenir de l’aide.
Les deepfakes sont utilisés à des fins de sextorsion financière
L’expérience du garçon fait partie d’un recrudescence de la sextorsion financière en ligne — une forme de chantage où les victimes sont contraintes de payer de l’argent pour empêcher la diffusion d’images ou de vidéos intimes. Ciblant principalement les garçons âgés de 14 à 17 ans, il s’agit d’un crime qui laisse les victimes isolées et impuissantes.
Les mauvais acteurs déguisés en filles coquettes contraignent souvent les adolescents à envoyer des images nues d’eux-mêmes. Pourtant, avec l’émergence de l’IA générative, ils n’ont plus besoin de franchir cette étape. Au lieu de cela, en quelques minutes, ils peuvent fabriquer une image explicite qui semble être celle de la victime.
Les recherches de Thornen collaboration avec le Centre national pour les enfants disparus et exploités (NCMEC), a découvert qu’environ 10 % des rapports de sextorsion financière de l’année dernière impliquaient des images qui n’étaient pas authentiques.
De nombreux mineurs ne révèlent pas leur expérience
Les deepfakes compliquent un problème existant : déjà, de nombreux enfants ne divulguent pas ce type d’expériences. L’épine recherche avec les jeunes a constaté qu’un mineur sur six qui subit une interaction sexuelle en ligne ne la divulgue jamais à personne.
Les garçons, en particulier, peuvent être moins susceptible de divulguer être victimes de crimes sexuels, souvent en raison d’attentes sociétales et de normes de genre qui les découragent de s’exprimer.
Lorsque des deepfakes sont impliqués, la peur de ne pas être cru peut s’intensifier, créant un obstacle encore plus grand à la recherche d’aide.
Comment pouvons-nous atténuer ce risque?
Il n’incombe pas uniquement aux jeunes de se protéger de ces menaces ou de faire valoir qu’ils ont subi un préjudice. Atténuer les risques de sextorsion financière et encourager les jeunes à demander de l’aide s’ils en sont victimes nécessitent une approche à plusieurs niveaux combinant sensibilisation, ressources de soutien et technologie :
Sensibiliser
Les enfants et leurs tuteurs doivent être conscients de ces risques et de toute la gamme de tactiques possibles utilisées par les mauvais acteurs pour sextorquer les jeunes. Notre guide de ressources sur la navigation dans les deepfake nudes aide les parents à entretenir un dialogue continu avec leurs enfants sur ce risque pour la sécurité en ligne.
Comprendre les expériences réelles des enfantsainsi que tendances des menaces numériques est la première étape pour les soignants et l’écosystème de la sécurité des enfants.
Épine pour les parents fournit des ressources sur les risques en ligne ainsi que sur la conversationn des éléments de base pour avoir des dialogues ouverts et sans jugement avec les enfants.
Diversifier les ressources de support
Des conversations ouvertes et continues sur la sécurité en ligne sont essentielles, mais nous devons également reconnaître que les enfants ne se tournent pas toujours d’abord vers leurs parents et leurs tuteurs. Nous devons donc réduire les obstacles à la divulgation.
En tant que famille, il est important de créer une stratégie qui inclut d’autres adultes de confiance, le soutien des pairs et la familiarisation avec les outils de sécurité disponibles sur les plateformes utilisées par les jeunes. L’épine Programme de prévention pour les jeunes NoFiltr permet aux jeunes de dialoguer avec leurs pairs sur ces sujets importants.
Déployer des technologies
Même si la sensibilisation et les ressources sont essentielles en tant que mesures, elles imposent toujours aux jeunes le fardeau d’éviter, de repousser et d’endurer ces risques. Il faut faire davantage au niveau technologique pour atténuer ces menaces plus en amont. Les plateformes numériques doivent créer des environnements en ligne plus sûrs en déployant des technologies évolutives qui identifient les menaces de manière proactive. C’est pourquoi Thorn a développé des solutions comme Prédiction plus sûrequi permet aux équipes de détecter de nouveaux matériels d’abus sexuels sur enfants (CSAM), ainsi que des conversations pouvant indiquer une exploitation sexuelle d’enfants.
La détection de comportements et de signaux suspects peut avoir des effets exponentiels. Prenons, par exemple, un compte qui a été bloqué par 100 profils d’adolescents différents au cours des deux dernières semaines. En analysant les réseaux associés à ce compte problématique, les plateformes peuvent potentiellement démanteler des réseaux entiers de délinquants et réduire la menace qui pèse sur des communautés entières, et pas seulement sur des utilisateurs individuels.
En conséquence, les forces de l’ordre peuvent être mieux équipées pour lancer des enquêtes et des poursuites efficaces contre les réseaux organisés – plutôt que de jouer à un jeu de frappe à chaque fois qu’un nouveau délinquant est identifié.
Néanmoins, des outils de sécurité tels que le blocage et le signalement restent nécessaires. Chez Thorn, nous savons que les jeunes sont deux fois plus probable divulguer une interaction sexuelle non désirée au moyen d’un outil de sécurité plutôt que d’en parler à un parent ou un tuteur. Pourtant, les environnements en ligne devraient mieux garantir que les enfants ne se retrouvent pas dans ces situations à risque.
« Ne partagez pas de nus » n’est pas un conseil suffisant
L’augmentation des deepfakes dans les affaires de sextorsion financière souligne l’urgence de cette approche à plusieurs niveaux. Les mauvais acteurs peuvent prendre des images inoffensives sur les réseaux sociaux d’une victime et utiliser l’IA pour créer de faux nus. Le conseil aux jeunes de « Ne partagez pas de nus » peut s’avérer insuffisant, car les enfants peuvent partager des nus par curiosité ou sous la pression de leurs pairs, et un ton négatif peut isoler un enfant et lui faire ressentir un sentiment de honte. Désormais, les deepfakes ne font qu’amplifier les lacunes de ce message. Les enfants qui n’ont jamais pris et partagé une image explicite d’eux-mêmes peuvent désormais être facilement ciblés par les sextorsionnistes grâce à la création d’images génératives par l’IA.
La sextorsion financière se produit chaque jour en ligne. Ses effets ont entraîné de graves conséquences chez les jeunes victimes, notamment l’automutilation. Comprendre pourquoi un enfant peut hésiter à demander de l’aide et prendre des mesures pour réduire ces obstacles peut véritablement sauver des vies. Plus puissant, c’est détecter et traiter la menace avant qu’un enfant ne soit en mesure de se poser la question, « Vais-je être cru ?
