Depuis quelques mois, je travaille sur un sujet qui me tient particulièrement à cœur : la manière dont les algorithmes de recommandation interagissent avec la santé mentale de leurs utilisateurs, et plus précisément la façon dont TikTok modère (ou peine à modérer) les contenus promouvant les troubles du comportement alimentaire, dit contenus pro-TCA. Ces publications, sous couvert de partager des routines ou des transformations physiques, valorisent et normalisent les troubles du comportement alimentaire comme étant un mode de vie. C’est le sujet de ma thèse de fin de MBA, et avant de m’attaquer à la question de la modération elle-même, j’ai dû comprendre un préalable : comment fonctionne, concrètement, la machine qui distribue ces contenus à des millions d’utilisateurs chaque jour ?
Ce qui ressort de ce travail de recherche est un paradoxe assez inconfortable car l’architecture qui a fait le succès de TikTok est la même qui complique sa modération.
Un système pensé pour l’engagement
TikTok a opéré une rupture que peu de plateformes avaient osée avant lui : abandonner le « graphe social », où vous voyez ce que publient vos amis, au profit du « graphe d’intérêt », où vous voyez ce qui est susceptible de vous intéresser, peu importe qui l’a publié. Concrètement, une vidéo postée par un compte à cent abonnés peut concourir, en quelques heures, avec celle d’une célébrité suivie par un million de personnes. Ce qui détermine sa diffusion n’est pas le statut du créateur, mais un score comportemental calculé sur un échantillon initial de spectateurs. Parmi les facteurs analysés, nous retrouvons notamment le taux de revisionnage, le taux d’achèvement, les partages et les commentaires.
C’est cette mécanique qui a permis l’explosion de créateurs inconnus et la viralité démocratisée que tout le monde associe à TikTok. Mais c’est aussi cette mécanique qui, prise sous un autre angle, pose un vrai problème de modération.
L’algorithme confond intensité et qualité ?
Voici le cœur du problème, et l’angle que je creuse dans mon mémoire : l’algorithme de TikTok est conçu pour repérer ce qui capte durablement l’attention, donc une vidéo qu’on regarde en boucle, qu’on interrompt puis reprend, sur laquelle on s’arrête plusieurs secondes avant de faire défiler. Ces signaux fonctionnent bien pour identifier un contenu divertissant et de qualité. Le problème, c’est qu’ils fonctionnent tout aussi bien pour des contenus qui suscitent une attention compulsive pour des raisons beaucoup moins réjouissantes telle que l’anxiété, la comparaison, le mal-être, etc.
Techniquement, le système ne fait pas de différence entre « cette vidéo me plaît » et « je n’arrive pas à en détacher mon regard ». La signature comportementale est identique, même si sa signification est radicalement opposée. Or un algorithme optimisé pour maximiser le temps passé sur l’application n’a, par construction, aucune raison de privilégier la première interprétation plutôt que la seconde. C’est précisément ce qui rend les contenus liés à l’image du corps et à l’alimentation particulièrement délicats à traiter. En effet, ils touchent à des sujets sur lesquels certains publics, déjà fragiles, développent une attention prolongée et répétée.
Une modération en perpétuel retard
Dans les faits, deux obstacles concrets viennent considérablement complexifier l’application de la modération aux contenus pro-TCA.
L’ambiguïté des contenus
Le premier est celui de l’ambiguïté. L’algorithme doit faire la distinction entre un contenu qui valorise les troubles des comportements alimentaires, et un contenu de recovery qui témoigne, au contraire, d’un parcours de guérison. Le problème, c’est que ces deux types de publications partagent souvent le même vocabulaire, les mêmes hashtags, parfois les mêmes visuels avant/après. Seule l’intention, le contexte et la tonalité réelle permettent de les différencier. Ce sont des éléments qu’un système entraîné à repérer des motifs reste statistiquement mauvais à interpréter. La conséquence est double et tout aussi problématique dans les deux sens : des comptes de sensibilisation ou de témoignage de rétablissement, pourtant utiles, se retrouvent parfois exclus de la recommandation par excès de prudence, tandis que des contenus réellement nocifs parviennent à se maintenir en se parant des codes esthétiques du recovery pour passer les filtres.
L’algospeak
Le second obstacle est celui de l’algospeak. Ce terme désigne les stratégies linguistiques développées par les créateurs pour contourner les filtres de modération automatisés. Le principe général est de remplacer un mot susceptible d’être détecté par une orthographe alternative, un symbole ou un terme codé. Par exemple, on écrit « dépre$$ion » plutôt que « dépression », ou « unalive » plutôt que « death » en anglais pour parler de la mort. Ce même réflexe existe dans les espaces liés à l’alimentation et à l’image du corps avec un vocabulaire détourné, des variantes orthographiques, voire des musiques utilisés comme signe de ralliement plutôt que des mots-clés écrits. Ça permet à certaines communautés de continuer à se retrouver et à échanger sans déclencher les filtres. Je ne détaillerai volontairement pas ici les termes concrets employés, mais le mécanisme en lui-même illustre bien la limite structurelle d’une modération fondée sur la détection de mots-clés.
On se retrouve ainsi dans un système de distribution conçu pour repérer l’intensité comportementale, accompagné d’un système de modération qui doit, lui, interpréter le sens et l’intention derrière cette intensité. Il s’agit là d’une tâche infiniment plus lente, plus incertaine, et qui plus est en perpétuelle adaptation face à la créativité des communautés qu’elle cherche à encadrer.
Ce que cela change pour penser la responsabilité des plateformes
C’est là, je crois, que se situe l’enjeu le plus intéressant pour quiconque travaille dans le digital : on ne peut plus aborder la modération de contenu comme un simple problème de règles communautaires à faire appliquer. C’est un problème de design. Si le signal « temps d’attention prolongé » est traité de façon strictement neutre par le système de scoring, alors la modération sera toujours en retard d’un cycle.
Les pistes qui émergent, et que développe la suite de ma thèse, vont dans le sens d’une modération pensée en amont plutôt qu’en aval en pondérant différemment certains signaux comportementaux sur des catégories de contenu sensibles, en introduisant de la friction volontaire (messages d’alerte, redirection vers des ressources) plutôt que de la pure suppression, et en s’appuyant sur le cadre réglementaire européen, notamment le Digital Services Act, qui pousse les plateformes vers davantage de transparence sur le fonctionnement de leurs systèmes de recommandation.
Si vous ou quelqu’un de votre entourage êtes concerné par ces questions, la ligne d’écoute Anorexie Boulimie Info Écoute (09 69 325 900, gratuite et anonyme, ouverte de 16h à 18h les lundis, mardis, jeudis et vendredis) propose un accompagnement par des professionnels.
Pour aller plus loin
Algorithme TikTok : Content graph vs social graph
TikTok comme nouveau média : quand la modération redéfinit l’information
Modération de contenu, réseaux sociaux et brand safety : analyse du livre de Sarah T. Roberts