« Modération » semble désigner une seule chose. Dans les applications de compagnon, ce sont au moins quatre mécanismes, qui travaillent à des vitesses différentes et mobilisent des personnes différentes.
Les quatre couches
Chaque couche voit moins de contenu, mais le voit plus en détail.
1. Les filtres en temps réel. Chaque message que vous envoyez, et chaque réponse écrite par le modèle, peut être vérifié par des classificateurs automatiques avant d'apparaître. Ils interceptent les catégories interdites - tout ce qui touche à des mineurs, certains contenus violents, les signaux d'automutilation - et bloquent le message, adoucissent la réponse ou affichent un avertissement. C'est de là que viennent les refus et les cartes d'aide en cas de crise ; notre article sur les filtres de contenu explique pourquoi ils se déclenchent parfois en pleine scène.
2. Le repérage au niveau de la conversation. Séparément, des systèmes peuvent noter des conversations ou des comptes entiers selon des schémas : tentatives répétées de contourner un filtre, harcèlement, signes qu'un mineur utilise une application pour adultes. Un signalement n'est pas une sanction ; c'est une note indiquant qu'un humain pourra regarder.
3. La relecture humaine. Des équipes de confiance et sécurité, souvent chez des sous-traitants, examinent une fraction des conversations signalées, des signalements d'utilisateurs et des recours. Certaines entreprises prélèvent aussi des conversations ordinaires pour contrôler la qualité ou entraîner des modèles. C'est la couche que les politiques de confidentialité décrivent par des formules comme « pour améliorer nos services » ou « pour faire respecter nos conditions ».
4. Les demandes légales. Les tribunaux, la police et les autorités peuvent exiger des données par des actes légaux. Les entreprises répondent selon leur politique et le droit local.
Ce qui déclenche en général un regard humain
| Déclencheur | Pourquoi |
|---|---|
| Contenu impliquant des mineurs | Obligation légale dans la plupart des pays ; souvent transmis plus loin |
| Signaux d'automutilation ou de suicide | Protocoles de crise désormais imposés par la loi dans plusieurs États américains |
| Menaces envers de vraies personnes | Risque de préjudice réel |
| Votre propre signalement ou demande d'assistance | Vous avez demandé à quelqu'un de regarder |
| Tentatives répétées de contournement des filtres | Application des conditions d'utilisation |
| Échantillonnage qualité aléatoire | Amélioration du produit, si la politique l'autorise |
Ce que les nouvelles lois ajoutent
Aux États-Unis, les lois sur les chatbots de compagnie, à commencer par celle de New York en 2025 et celle de la Californie en 2026, obligent les applications à détecter les expressions de pensées suicidaires et d'automutilation et à orienter les utilisateurs vers des services d'aide. La Californie impose aussi aux entreprises de rendre compte de leurs protocoles. En pratique, cela signifie plus de surveillance automatisée des conversations les plus sensibles, et non moins. Le détail se trouve dans la situation juridique des compagnons IA en France et dans l'UE.
Lire la politique avec ce regard
Cherchez dans la politique de confidentialité et les conditions d'utilisation :
- « relecture », « modération », « humain » - si des personnes lisent les conversations, et pourquoi.
- « sous-traitants » ou « prestataires » - si les relecteurs travaillent pour quelqu'un d'autre.
- « améliorer », « entraîner » - si des conversations ordinaires sont prélevées par échantillonnage.
- « forces de l'ordre », « procédure judiciaire », « décision de justice » - quand les données sont remises, et si une décision de justice est exigée.
Une politique soignée nomme les déclencheurs et précise que les relecteurs ne voient les conversations qu'en cas de besoin. Une politique floue, qui autorise le personnel à accéder à « tout le contenu à toute fin commerciale », vous apprend aussi quelque chose. Nos quatre vérifications de confidentialité couvrent le reste du document.
Conclusions pratiques
- Écrivez comme si un relecteur pouvait vous lire, car dans un petit nombre de cas, il le fera.
- Gardez hors des conversations les détails identifiants d'autres personnes, surtout dans les scènes explicites : un relecteur qui lit une conversation signalée les voit aussi.
- Si un filtre se déclenche à tort dans une fiction, une remarque hors personnage règle généralement le problème ; discuter en restant dans le rôle peut générer davantage de signalements.
- Si ce qui compte avant tout pour vous est de savoir qui peut lire vos conversations, la seule configuration où personne d'autre ne le peut est un compagnon qui tourne sur votre propre ordinateur - voir faire tourner un compagnon IA en local.
Modération ne veut pas dire surveillance. Pour l'immense majorité des conversations, ni rien ni personne ne regarde au-delà du filtre automatique. Mais c'est la politique, et non la chaleur de l'application, qui décide des exceptions - et mieux vaut les connaître avant d'en avoir besoin.