Système de sanctions automatisées et application des règles en cas d’infraction

Introduction

Le système de sanctions automatisées constitue le moteur d’application des règles qui transforme la détection des infractions en actions concrètes de modération, en prévoyant des conséquences cohérentes, proportionnées et progressives pour les violations des règles, sans nécessiter l’intervention manuelle constante des administrateurs. Ce système avancé analyse la gravité de chaque infraction, suit l’historique cumulé des sanctions, calcule les durées de restriction appropriées et applique automatiquement des mises en sourdine temporaires qui empêchent les récidivistes de poursuivre leurs comportements perturbateurs.

Contrairement aux approches de modération binaires qui se contentent soit de bannir définitivement les utilisateurs, soit de ne rien faire, le système de sanctions automatisées met en œuvre une application graduée des règles, qui distingue les niveaux de gravité, identifie les récidivistes et applique des restrictions proportionnées à l’infraction. Un utilisateur qui publie une seule fois du contenu limite reçoit une conséquence minimale, tandis que les utilisateurs qui enfreignent à plusieurs reprises des règles importantes font face à des restrictions de plus en plus strictes, offrant des signaux clairs de correction du comportement sans recourir immédiatement à des bannissements définitifs.

Une fois les règles configurées, le système fonctionne de manière entièrement automatique et exécute les actions d’application des règles en quelques millisecondes après la détection des infractions. Chaque sanction est consignée avec une transparence totale, ce qui permet aux administrateurs d’auditer les décisions, d’examiner les schémas d’infraction et de vérifier que l’application des règles est conforme aux standards de la communauté. La combinaison de l’automatisation (qui traite les infractions courantes de façon cohérente) et de la transparence (qui permet une supervision humaine des cas limites) crée une modération à la fois efficace et responsable.

Fonctionnement

Détection et classification des infractions

Lorsqu’un système d’analyse de contenu (détection NSFW, analyse de sentiment, détection de spam, application des règles de langue, filtre de mots interdits, règles relatives aux contenus prohibés) identifie une infraction, il génère un rapport d’infraction contenant le type d’infraction, le score de confiance, la raison détaillée et l’horodatage. Ce rapport est immédiatement envoyé au moteur de décision (microservice telegram_decision), qui détermine la mesure d’application appropriée.

Le moteur de décision commence par classer l’infraction dans des catégories de gravité en fonction de son type :

Gravité élevée (restriction de base de 30 minutes) :

• Contenu pornographique (confiance de détection NSFW ≥ seuil)

Gravité moyenne-élevée (restriction de base de 15 minutes) :

• Contenu sexuel/osé (détection NSFW sous le seuil pornographique, mais au-dessus du seuil osé)

Gravité moyenne (restriction de base de 5 minutes) :

• Langage toxique (analyse de sentiment - toxicité)
• Menaces (analyse de sentiment - détection de menaces)
• Contenu indésirable (détection de schémas de spam)
• Publication de liens d’invitation (contenu prohibé - liens d’invitation)
• Ajouts de bots non autorisés (contenu prohibé - autres bots)

Faible gravité (restriction de base de 1 minute) :

• Grossièretés (analyse de sentiment - détection de grossièretés)
• Insultes (analyse de sentiment - détection d’insultes)
• Infractions aux règles de langue (application des règles de langue)
• Correspondances du filtre de mots interdits (liste personnalisée de mots interdits)
• Messages transférés (contenu prohibé - transferts)
• Types de médias interdits (vidéos, GIFs, audio, fichiers, texte)

Cette classification garantit que la durée de la sanction reflète la gravité de l’infraction : publier de la pornographie entraîne une restriction 30 fois plus longue que l’utilisation de grossièretés, ce qui représente fidèlement la gravité relative des infractions.

Calcul des sanctions cumulées

Le système ne se contente pas d’appliquer les durées de base de manière isolée. Il suit plutôt l’historique cumulé des sanctions de chaque utilisateur et renforce les restrictions pour les récidivistes. Lorsqu’une nouvelle infraction se produit, le moteur de décision :

1. Récupère le temps total de sanction de l’utilisateur sur l’ensemble de ses infractions précédentes
2. Calcule la nouvelle durée de sanction ainsi : new_duration = base_duration + (cumulative_past_duration * escalation_factor)
3. Ajoute la nouvelle infraction à l’historique permanent de l’utilisateur
4. Applique la restriction calculée

Par exemple, la première infraction d’un utilisateur pour grossièretés peut entraîner une restriction de 1 minute (durée de base). S’il enfreint à nouveau les règles alors qu’il a déjà 1 minute de sanction cumulée, la deuxième infraction entraîne une restriction d’environ 1,5 minute. Une troisième infraction avec 2,5 minutes cumulées entraîne une restriction d’environ 2 minutes. La durée de la sanction augmente à chaque infraction, fournissant des signaux de correction comportementale de plus en plus forts.

Cette approche cumulative reconnaît que les erreurs isolées méritent un traitement indulgent, tandis que les violations répétées des règles nécessitent une intervention plus ferme. Les utilisateurs qui enfreignent largement les règles finissent par subir des restrictions de 15 à 30 minutes même pour des infractions de faible gravité, rendant la poursuite des infractions de plus en plus coûteuse en termes de capacité à participer.

Application automatique des restrictions

Une fois la durée de la sanction calculée, le système applique immédiatement une restriction Telegram à l’utilisateur dans le groupe concerné. La restriction empêche l’utilisateur de :

• Envoyer des messages
• Envoyer des fichiers multimédias
• Envoyer des stickers et des GIFs
• Envoyer des sondages
• Ajouter des aperçus de pages web
• Modifier les informations du chat

L’utilisateur reste dans le groupe et peut voir les messages, mais il ne peut pas participer tant que la restriction n’a pas expiré. Cette approche de « mise en pause » permet une correction comportementale sans le caractère définitif d’un bannissement : les utilisateurs reçoivent un signal clair indiquant que leur comportement était inacceptable, tout en conservant la possibilité de revenir et de participer de manière appropriée.

La restriction est limitée dans le temps et expire automatiquement, sans nécessiter d’action de la part d’un administrateur. Lorsque la durée de la sanction est écoulée, Telegram lève automatiquement la restriction de l’utilisateur, lui permettant de reprendre une participation normale. Cette automatisation évite aux administrateurs d’avoir à suivre et lever manuellement les restrictions.

Suppression des messages

En même temps qu’il applique les restrictions, le système supprime le message fautif du chat. Cette suppression immédiate remplit plusieurs objectifs :

• Empêcher les autres membres de voir du contenu inapproprié
• Arrêter la diffusion de spam ou de liens malveillants
• Préserver l’ambiance de la communauté en retirant les contenus perturbateurs
• Fournir un retour clair à l’auteur de l’infraction sur ce qui était inacceptable

La suppression intervient en quelques millisecondes après la détection de l’infraction, ce qui minimise l’exposition au contenu problématique. Dans les groupes très actifs, les autres membres ne voient souvent jamais les messages enfreignant les règles, car leur retrait se produit plus vite que le cycle d’actualisation des messages de la plupart des utilisateurs.

Exemption des administrateurs

Le système de sanctions inclut une protection essentielle des administrateurs, garantissant que les administrateurs de groupe ne sont jamais restreints, quel que soit le contenu qu’ils publient. Avant d’appliquer une restriction, le moteur de décision vérifie si l’utilisateur dispose du statut d’administrateur dans le groupe.

Si l’utilisateur est un administrateur, le système :

• Enregistre l’infraction dans les statistiques (par souci de transparence)
• Supprime le message (si la suppression est configurée)
• N’applique AUCUNE restriction ni sanction
• Consigne l’exemption administrateur dans les enregistrements d’infraction

Cette protection est absolue : les administrateurs ne peuvent pas se mettre en sourdine accidentellement, ni mettre en sourdine leurs coadministrateurs, via le système automatisé. L’exemption tient compte du fait que les administrateurs doivent conserver la capacité de gérer leurs groupes, même s’ils publient occasionnellement du contenu qui enfreindrait les règles pour des membres ordinaires (par exemple, publier un exemple de spam pour montrer ce qu’il faut éviter, partager des captures d’écran d’infractions en cours de discussion, etc.).

Journalisation des infractions et transparence

Chaque infraction et chaque sanction sont consignées de manière permanente dans des enregistrements détaillés, visibles dans les tableaux de bord User Intelligence et Group Statistics. Les journaux incluent :

• Horodatage exact de l’infraction
• Type et catégorie de l’infraction
• Score de confiance (pour les infractions basées sur la détection)
• Raison détaillée expliquant ce qui a déclenché la détection
• Durée de sanction appliquée
• Temps de sanction cumulé après cette infraction
• Indication précisant si l’utilisateur a effectivement été restreint (ou exempté en tant qu’administrateur)

Cette journalisation complète garantit une transparence et une responsabilité totales. Les administrateurs peuvent examiner précisément pourquoi chaque restriction a eu lieu, vérifier que les sanctions correspondent à la gravité des infractions et identifier des schémas dans le comportement des membres susceptibles d’orienter les ajustements de la stratégie de modération.

Configuration

Activer les sanctions automatisées

Le système de sanctions fonctionne automatiquement pour toute infraction détectée par les fonctionnalités activées. Il n’existe pas de boutons distincts pour « activer les sanctions » : les sanctions font partie intégrante de l’application des règles. Cependant, la sévérité et le comportement des sanctions dépendent de vos paramètres de détection configurés :

1. Accédez à la page de gestion de votre groupe
2. Allez dans les onglets Paramètres > Modération AI et Protection de base
3. Activez les fonctionnalités de détection que vous souhaitez appliquer :
   • Détection de contenu NSFW → Sanctionne le contenu pornographique/sexuel
   • Analyse des sentiments → Sanctionne les propos toxiques, les grossièretés, les insultes et les menaces
   • Détection de schémas de spam → Sanctionne les messages de spam
   • Application de la langue → Sanctionne les messages rédigés dans la mauvaise langue
   • Filtre de mots interdits → Sanctionne les mots interdits personnalisés
   • Règles de contenu interdit → Sanctionne les types de médias, les transferts et les liens d’invitation

Chaque fonctionnalité activée transmet les infractions au système de sanctions, qui applique automatiquement les restrictions appropriées.

Ajuster la sévérité des sanctions via les seuils

Bien que les durées de sanction de base soient fixes selon le type d’infraction, vous pouvez influencer indirectement la fréquence et la sévérité des sanctions en ajustant les seuils de détection :

Application plus stricte (plus de sanctions) :

• Un seuil de détection NSFW plus bas (0.60-0.70) repère davantage de contenu
• Un seuil d’analyse des sentiments plus bas (0.60-0.70) repère davantage de toxicité
• Un seuil de détection du spam plus bas (0.60-0.70) repère davantage de spam

Application plus souple (moins de sanctions) :

• Un seuil NSFW plus élevé (0.80-0.90) ne repère que les infractions évidentes
• Un seuil d’analyse des sentiments plus élevé (0.80-0.90) ne repère que la toxicité manifeste
• Un seuil de spam plus élevé (0.80-0.90) ne repère que le spam flagrant

L’ajustement des seuils ne modifie pas la durée des sanctions, mais il détermine la fréquence à laquelle elles se déclenchent. Des seuils plus stricts entraînent des restrictions plus fréquentes (y compris pour les contenus limites), tandis que des seuils plus souples réservent les sanctions aux infractions sans ambiguïté.

Modes de suppression uniquement

Certaines fonctionnalités proposent des modes « suppression uniquement », qui retirent le contenu en infraction sans appliquer de restrictions punitives :

Application de la langue :

• Le bouton « Mode suppression uniquement » supprime les messages rédigés dans la mauvaise langue sans sanctionner les utilisateurs
• Utile lorsque les membres oublient réellement les exigences linguistiques ou commettent des erreurs involontaires

Filtre de mots interdits :

• L’option « Suppression uniquement (sans sanction) » supprime les messages contenant des mots interdits sans appliquer de restrictions
• Appropriée lorsque le filtre risque de produire des faux positifs ou lorsque la communauté préfère une application plus douce des règles

Ces modes maintiennent la suppression du contenu (préservant l’ambiance de la communauté) tout en évitant des restrictions potentiellement sévères pour des infractions de faible gravité.

Surveiller l’activité des sanctions

Pour examiner le fonctionnement du système de sanctions :

1. Allez dans l’onglet Statistiques de votre groupe
2. Sélectionnez le sous-onglet « Statistiques du groupe »
3. Consultez les indicateurs, notamment :
   • Nombre total de sanctions appliquées
   • Durée totale des sanctions (en minutes)
   • Durée moyenne des sanctions
   • Taux de sanctions pour 1 000 messages
   • Répartition par type d’infraction

Ces statistiques indiquent si la fréquence des sanctions correspond à vos attentes et si certains types d’infractions dominent l’activité d’application des règles.

Scénarios concrets

Scénario 1 : application progressive des sanctions pour un récidiviste

Un utilisateur rejoint une communauté et publie immédiatement un commentaire légèrement toxique. L’analyse de sentiment détecte une toxicité avec un niveau de confiance de 0,73 (au-dessus du seuil de 0,70), ce qui déclenche une restriction de 5 minutes. Le message est supprimé et l’utilisateur est rendu muet pendant 5 minutes.

Une fois la restriction expirée, l’utilisateur publie un autre commentaire toxique. Son temps de sanction cumulé est désormais de 5 minutes. La nouvelle infraction entraîne une restriction d’environ 7 minutes (5 minutes de base + une majoration calculée à partir des 5 minutes cumulées). Le temps cumulé total passe à 12 minutes.

L’utilisateur continue avec un troisième commentaire toxique. Avec 12 minutes cumulées, la troisième infraction entraîne une restriction d’environ 10 minutes. Le total cumulé atteint 22 minutes.

À la quatrième infraction, l’utilisateur s’expose à des restrictions de plus de 15 minutes pour des comportements qui entraînaient au départ des sanctions de 5 minutes. Ces conséquences progressives rendent les infractions répétées de plus en plus coûteuses, ce qui crée une forte incitation à corriger son comportement. À terme, soit l’utilisateur adapte son comportement, soit son score de spam augmente jusqu’au point où AI Spam Intelligence le supprime automatiquement.

Scénario 2 : réponse proportionnée à la gravité

Deux utilisateurs enfreignent les règles : l’utilisateur A publie un message contenant une grossièreté limite (faible gravité), l’utilisateur B publie du contenu pornographique (forte gravité). Aucun des deux n’a d’antécédents.

L’utilisateur A reçoit une restriction d’une minute pour grossièreté : une brève mise en pause qui permet de corriger le comportement sans être excessivement punitive pour une première infraction impliquant un langage modérément inapproprié.

L’utilisateur B reçoit une restriction de 30 minutes pour pornographie : une mise en pause importante, qui reflète la nature sérieuse de la publication de contenu sexuellement explicite.

Les sanctions très différentes (1 minute contre 30 minutes) reflètent des niveaux de gravité très différents. Le système reconnaît correctement que toutes les infractions ne se valent pas et ajuste l’application des règles de manière proportionnée.

Scénario 3 : protection des administrateurs

Un administrateur de groupe explique les règles de la communauté aux membres et publie un exemple de message contenant une grossièreté pour montrer ce qui n’est pas autorisé : "Don't post messages like 'this is f***ing stupid' - keep discussions respectful."

Le système d’analyse de sentiment détecte la grossièreté dans le message d’exemple et génère un rapport d’infraction. Toutefois, le moteur de décision vérifie que l’expéditeur a le statut d’administrateur et l’exempte de restriction.

L’infraction apparaît dans les statistiques (ce qui montre que le système de détection fonctionne), mais aucune restriction n’est appliquée. L’administrateur peut continuer à expliquer les règles sans se rendre muet accidentellement, tandis que la journalisation garantit la transparence de l’exemption.

Scénario 4 : historique cumulé entre types d’infractions

Un utilisateur présente l’historique d’infractions suivant :

• Jour 1 : grossièreté (1 min) - cumul : 1 min
• Jour 3 : image NSFW (30 min) - cumul : 31 min
• Jour 5 : message de spam (5 min + majoration) - cumul : 37 min
• Jour 7 : infraction linguistique (1 min + majoration) - cumul : 40 min

Au jour 7, même une infraction linguistique de faible gravité reçoit une sanction majorée, car l’historique cumulé de l’utilisateur, tous types d’infractions confondus, atteint 40 minutes. Le système reconnaît qu’un utilisateur qui enfreint plusieurs règles différentes à répétition constitue un problème persistant, quel que soit le type précis d’infraction.

Ce cumul entre types d’infractions empêche les utilisateurs de contourner la majoration en diversifiant leurs infractions (publier du contenu toxique, puis du spam, puis du contenu NSFW, etc. pour remettre la majoration à zéro). Le système de sanctions suit le schéma global d’infractions, et non les schémas propres à chaque catégorie.

Scénario 5 : mode suppression uniquement pour l’adaptation culturelle

Une communauté internationale souhaite conserver l’anglais comme langue principale, mais compte de nombreux locuteurs non natifs qui publient parfois accidentellement dans leur langue maternelle. Les administrateurs veulent faire respecter la règle linguistique sans sanctionner les membres pour des erreurs de bonne foi.

Ils activent l’application de la règle linguistique avec le "mode suppression uniquement". Lorsque des utilisateurs publient des messages dans une langue autre que l’anglais, le contenu est immédiatement supprimé (ce qui maintient l’environnement anglophone), mais aucune restriction punitive n’est appliquée (car il s’agit probablement d’erreurs plutôt que d’infractions malveillantes).

Les membres reçoivent un retour indiquant que leurs messages ont été supprimés (ce qui leur rappelle la règle linguistique), mais ils peuvent immédiatement réessayer en anglais sans attendre la fin d’un délai de restriction. Cette application douce des règles permet de maintenir les standards tout en tenant compte de la courbe d’apprentissage.

Bonnes pratiques

Faites confiance au système d’escalade

Résistez à la tentation d’intervenir manuellement dans l’escalade des sanctions pour les utilisateurs ayant un long historique d’infractions. L’escalade cumulative du système est conçue pour envoyer des signaux de correction de plus en plus forts : les utilisateurs qui continuent à enfreindre les règles après plusieurs sanctions aggravées montrent qu’ils ne changeront pas de comportement avec des mesures douces.

Si un utilisateur accumule plus de 100 minutes de sanction cumulée et continue à enfreindre les règles, ce schéma indique qu’il n’a pas l’intention de respecter les règles de la communauté. À ce stade, envisagez un bannissement permanent plutôt que de continuer avec des restrictions automatisées.

Vérifiez les exemptions des administrateurs

Consultez périodiquement les statistiques d’infractions pour voir si les administrateurs en génèrent. Bien que les administrateurs soient exemptés de sanction, des infractions fréquentes de leur part peuvent indiquer que :

• L’administrateur teste les systèmes de détection (attendu et acceptable)
• L’administrateur publie des exemples d’infractions à des fins pédagogiques (attendu et acceptable)
• L’administrateur enfreint réellement les règles fréquemment (problématique : les administrateurs doivent donner l’exemple)

Utilisez les données d’exemption pour vous assurer que les administrateurs maintiennent des standards de comportement, même s’ils sont protégés contre les sanctions.

Calibrez à l’aide des statistiques

Utilisez votre tableau de bord Statistiques du groupe pour vérifier que la fréquence des sanctions correspond à vos intentions :

• Si le taux de sanction est très élevé (10+ pour 1 000 messages), demandez-vous si les seuils ne sont pas trop stricts
• Si le taux de sanction est très faible (<1 pour 1 000 messages), demandez-vous si les seuils ne sont pas trop permissifs
• Si certains types d’infractions dominent (90 % ou plus d’un seul type), cela peut indiquer un mauvais calibrage des seuils

Un calibrage fondé sur les données garantit que votre application des règles correspond aux besoins réels de la communauté.

Informez les membres des sanctions

Incluez des informations sur le système de sanction automatisé dans votre message de bienvenue et la description du groupe :

"Ce groupe utilise une modération automatisée. Les infractions aux règles de la communauté entraînent des restrictions temporaires. Les infractions répétées entraînent des restrictions de plus en plus longues. Les administrateurs peuvent examiner toutes les sanctions en cas de litige."

La transparence concernant l’application automatisée des règles aide les membres à comprendre que les restrictions ne sont pas des attaques personnelles de la part des administrateurs : ce sont des conséquences automatiques des infractions aux règles.

Utilisez les modes suppression seule de façon stratégique

Les modes suppression seule sont pertinents pour :

• Les règles qui relèvent de préférences culturelles plutôt que de limites critiques (exigences linguistiques)
• Les communautés comptant de nombreux nouveaux membres ou membres en apprentissage (application douce)
• Les infractions susceptibles d’avoir un taux élevé de faux positifs (mots interdits qui recoupent de l’argot)

N’utilisez pas la suppression seule pour les infractions graves (contenu NSFW, menaces, spam) : celles-ci nécessitent des restrictions punitives afin de produire une correction comportementale significative.

Surveillez les abus du système

Surveillez les utilisateurs qui tentent de contourner le système de sanction :

• Publier des infractions juste avant l’expiration des restrictions afin d’éviter le délai d’attente de l’escalade
• Utiliser plusieurs comptes pour éviter l’historique cumulatif des sanctions
• Publier du contenu limite qui échappe de justesse aux seuils de détection

Traitez les tentatives systématiques de contournement de l’application des règles par des bannissements permanents plutôt que de poursuivre les cycles de restrictions automatisées.

Intégration avec les autres fonctionnalités

Base pour l’AI Spam Intelligence

Chaque sanction contribue à l’historique des infractions de l’utilisateur, qui alimente l’évaluation du risque par l’AI Spam Intelligence. Les utilisateurs ayant un historique de sanctions important reçoivent une note de spam plus élevée et, dès que cette note dépasse 0,75, l’AI Spam Intelligence les retire automatiquement du groupe.

Cela crée une progression : les sanctions automatisées gèrent les infractions courantes → les récidivistes accumulent un historique de sanctions → l’AI reconnaît le schéma → le retrait automatique empêche la perturbation de se poursuivre.

Mécanisme d’application pour tous les systèmes de détection

Le système de sanctions sert de mécanisme d’application commun à toutes les fonctionnalités de détection. Plutôt que chaque fonctionnalité implémente sa propre logique de sanction, elles alimentent toutes le moteur de décision centralisé, qui garantit une application cohérente pour tous les types d’infractions.

Cette centralisation évite les conflits (plusieurs restrictions simultanées), garantit que l’escalade fonctionne entre les différentes catégories d’infractions, et maintient une journalisation et une transparence cohérentes.

Effet dissuasif contre les contenus interdits

La combinaison suppression immédiate + restriction rend la violation des règles sur les contenus interdits suffisamment coûteuse pour dissuader les infractions occasionnelles. Les utilisateurs comprennent rapidement que publier des types de médias restreints entraîne une suppression immédiate et une mise en pause, ce qui crée un conditionnement comportemental contre les futures infractions.

L’effet dissuasif est particulièrement fort pour les infractions de faible gravité (restrictions d’une minute), qui ne sont pas assez sévères pour susciter du ressentiment, mais suffisamment agaçantes pour décourager la répétition.

Source de données pour les statistiques de groupe

Les historiques de sanctions constituent les données brutes qui alimentent les analyses des statistiques de groupe. Les administrateurs peuvent voir :

• Quels types d’infractions surviennent le plus souvent
• Comment les taux de sanctions évoluent au fil du temps
• Si certains membres sont responsables d’un nombre disproportionné d’infractions
• Dans quelle mesure l’application des règles réduit les récidives

Ces informations éclairent la stratégie de modération et aident à identifier les domaines où la culture de la communauté pourrait nécessiter une attention allant au-delà de l’application automatisée des règles.

Utilisation avancée

Comprendre les calculs d’escalade

La formule d’escalade suit approximativement : new_duration ≈ base_duration * (1 + (cumulative_minutes / 10))

Cela signifie :

• 0 en cumul → 1x la durée de base
• 10 en cumul → ~2x la durée de base
• 20 en cumul → ~3x la durée de base
• 50 en cumul → ~6x la durée de base
• 100 en cumul → ~11x la durée de base

Les utilisateurs ayant un historique d’infractions extrême (plus de 100 minutes) subissent une escalade massive, au point que même des infractions mineures entraînent des restrictions de 20 à 30 minutes. Cette progression garantit que les contrevenants persistants finissent par faire face à des conséquences suffisamment sévères pour les amener soit à corriger leur comportement, soit à déclencher la suppression de spam par AI.

Identifier les anomalies dans les schémas de sanction

Surveillez les schémas inhabituels dans les données de sanction :

• Toutes les infractions proviennent d’un seul utilisateur : peut indiquer un harcèlement ciblé ou un utilisateur qui ne comprend réellement pas les règles
• Infractions concentrées à des moments précis : peut indiquer des vagues d’attaque de spam ou des problèmes propres à certains fuseaux horaires
• Pic soudain d’un type d’infraction spécifique : peut indiquer une mauvaise configuration du seuil de détection ou une nouvelle tactique de spam

Utilisez ces schémas pour ajuster les paramètres ou enquêter sur les causes plus profondes, plutôt que de vous contenter d’accepter les chiffres bruts des sanctions.

Ajustement temporaire des seuils pendant les événements

Envisagez de durcir temporairement les seuils (en abaissant les valeurs) pendant les périodes vulnérables :

• Après l’ajout du bot à un nouveau grand groupe (risque de spam plus élevé au départ)
• Pendant les vagues de campagnes de spam connues
• Pendant des événements controversés susceptibles d’exacerber les tensions

Assouplissez ensuite les seuils pour revenir à la normale une fois la période à haut risque passée. Cet ajustement dynamique offre une protection supplémentaire quand elle est nécessaire, sans application trop stricte permanente.

Examen manuel des longues restrictions

Lorsqu’un utilisateur reçoit une restriction très longue (20 minutes ou plus), envisagez d’examiner manuellement son historique d’infractions afin de vérifier que l’escalade est appropriée :

• Vérifiez si la sanction cumulée provient de nombreuses infractions mineures ou de quelques infractions graves
• Vérifiez que les infractions sont bien réelles et ne sont pas des faux positifs
• Demandez-vous si l’utilisateur mérite un nouveau départ (s’il avait commis des infractions il y a plusieurs mois, mais que son comportement récent était irréprochable)

Même si l’automatisation gère correctement la plupart des cas, les restrictions extrêmement longues peuvent justifier une vérification humaine.

Implémentation technique

Le système de sanctions fonctionne via le microservice telegram_decision, qui reçoit les signalements d’infractions de tous les services de détection et détermine les mesures d’exécution appropriées.

Lorsqu’une infraction arrive, le service de décision :

1. Interroge la base de données pour récupérer l’historique des sanctions de l’utilisateur
2. Additionne la durée totale cumulée des sanctions sur l’ensemble des infractions précédentes
3. Calcule la nouvelle durée de sanction à partir d’une durée de base fondée sur la gravité + une formule d’escalade
4. Vérifie que l’utilisateur n’est pas un administrateur du groupe
5. Appelle Telegram API pour restreindre l’utilisateur pendant la durée calculée
6. Appelle Telegram API pour supprimer le message incriminé
7. Enregistre l’infraction dans la base de données avec tous les détails

La restriction est mise en œuvre via la méthode API restrictChatMember de Telegram, avec un paramètre de délai d’expiration. Telegram lève automatiquement la restriction de l’utilisateur lorsque ce délai expire, sans qu’aucune action de suivi ne soit nécessaire de la part du bot.

Tous les enregistrements d’infractions sont stockés avec des champs de détails JSONB qui conservent le contexte complet de chaque infraction, notamment les scores de confiance, les raisons de détection, l’horodatage, la durée de la sanction et le fait que la restriction ait réellement été appliquée ou non. Cette journalisation complète permet une analyse historique détaillée ainsi que des audits.

Le moteur de décision met en œuvre une limitation du débit afin d’éviter le spam de sanctions : si un utilisateur génère plusieurs infractions en quelques secondes (par exemple en publiant un flot de spam), le système regroupe les infractions pour éviter d’appliquer des dizaines de restrictions simultanées.

Confidentialité et gestion des données

Le système de sanctions traite et consigne :

• Identifiants utilisateur : ID utilisateur Telegram et ID du groupe
• Détails des infractions : Type, niveau de confiance, raison, horodatage
• Actions de sanction : Durée, application ou non, totaux cumulés
• Métadonnées des messages : Pas le contenu complet, uniquement les indicateurs d’infraction

Les journaux d’infractions ne stockent pas le texte complet des messages : uniquement les infractions spécifiques détectées (par exemple, « l’analyse de sentiment a détecté un caractère toxique avec un niveau de confiance de 0,85 » plutôt que de stocker l’intégralité du message toxique). Cela réduit l’impact sur la confidentialité tout en préservant la transparence de l’application des règles.

Les enregistrements de sanctions sont visibles par les administrateurs du groupe via les tableaux de bord Statistiques et User Intelligence. Ces enregistrements ne sont pas accessibles publiquement et ne sont pas partagés en dehors de l’interface d’administration.

Les utilisateurs ne sont pas directement informés de leurs totaux cumulés de sanctions (afin d’éviter qu’ils ne contournent le système), mais ils peuvent déduire une escalade lorsqu’ils subissent des restrictions plus longues en cas d’infractions répétées.

Toutes les données de sanction sont conservées de façon permanente à des fins d’analyse et d’audit. Les schémas historiques d’infractions contribuent aux évaluations du risque de spam et aident les administrateurs à comprendre les tendances de comportement des membres sur le long terme.

Dépannage

"Des utilisateurs sont soumis à des restrictions alors qu’ils ne semblent pas avoir enfreint les règles"

Causes possibles :

• Seuil de détection réglé trop bas (ce qui détecte du contenu limite)
• Faux positif du système de détection
• Infraction valide, mais que vous avez interprétée différemment

Solution : Consultez l’infraction précise dans le rapport User Intelligence pour voir le score de confiance et la raison détaillée. Si le niveau de confiance est limite (0.50-0.70), envisagez d’augmenter le seuil de détection. S’il s’agit clairement d’un faux positif, c’est rare mais possible : vérifiez que les paramètres de détection sont adaptés au type de votre communauté.

"Des utilisateurs se plaignent que les restrictions sont trop sévères"

Causes possibles :

• L’escalade fonctionne comme prévu pour les récidivistes
• Les durées de base ne correspondent peut-être pas aux attentes de la communauté
• Les utilisateurs ne comprennent pas le système d’application progressive des sanctions

Solution : Expliquez aux utilisateurs que les restrictions augmentent en cas de récidive : ce qui commence par 1 minute passe à 5 minutes ou plus pour les contrevenants persistants. Consultez l’historique des infractions de l’utilisateur pour vérifier que l’escalade est appropriée. Demandez-vous si votre communauté préférerait, pour certains types d’infractions, une application limitée à la suppression du contenu.

"Un administrateur s’est accidentellement mis lui-même en sourdine"

Causes possibles :

• L’utilisateur n’a en réalité pas le statut d’administrateur dans le groupe Telegram (seulement dans le panneau du bot)
• Bug dans la détection des administrateurs (extrêmement rare)

Solution : Vérifiez que l’utilisateur dispose bien de droits d’administrateur dans les paramètres du groupe Telegram (et pas seulement dans le tableau de bord du bot). L’exemption ne s’applique qu’aux administrateurs au niveau de Telegram. S’il est réellement administrateur et a tout de même été soumis à une restriction, il s’agit d’un bug : signalez-le pour investigation.

"Les sanctions ne s’aggravent pas pour les récidivistes"

Causes possibles :

• Les infractions sont réparties sur plusieurs groupes (chaque groupe est suivi séparément)
• Vous consultez le mauvais utilisateur (nom d’utilisateur similaire)
• Problème de base de données empêchant le calcul cumulatif

Solution : L’escalade des sanctions est appliquée par utilisateur et par groupe : les infractions dans le Groupe A n’aggravent pas les sanctions dans le Groupe B. Vérifiez que vous consultez le bon utilisateur et le bon groupe. Si un utilisateur a réellement plusieurs infractions dans un même groupe sans escalade, cela indique un dysfonctionnement du système qui doit être signalé.

"Les restrictions très longues (30 minutes et plus) semblent excessives"

Causes possibles :

• L’utilisateur a un long historique d’infractions (fonctionnement prévu)
• Plusieurs infractions se sont produites très rapidement (calcul cumulatif)
• Type d’infraction grave (la pornographie a une durée de base de 30 minutes)

Solution : Consultez l’historique complet des infractions de l’utilisateur pour comprendre la durée cumulée de sa sanction. Les utilisateurs ayant plus de 100 minutes d’historique font l’objet d’une escalade extrême par conception. Si cela vous semble inapproprié, demandez-vous si l’utilisateur mérite un nouveau départ ou si son comportement indique plutôt qu’il devrait être banni définitivement.

Conclusion

Le système de sanctions automatisées transforme la détection des infractions en une application efficace des règles grâce à une escalade intelligente, des conséquences proportionnelles à la gravité et une transparence complète. En appliquant automatiquement des restrictions qui augmentent en cas de récidive, le système fournit un retour clair qui guide les membres vers un comportement conforme aux règles, sans nécessiter d’intervention manuelle constante de la part des administrateurs.

L’équilibre entre automatisation (pour gérer de manière cohérente l’application courante des règles) et transparence (pour permettre aux administrateurs d’examiner toutes les décisions) crée une modération à la fois efficace et responsable. Les utilisateurs subissent des conséquences immédiates en cas d’infraction, les administrateurs conservent une visibilité complète sur les mesures appliquées, et les récidivistes font face à des restrictions progressives qui créent de fortes incitations à corriger leur comportement.

Associé à AI Spam Intelligence (qui supprime automatiquement les contrevenants persistants) et à une journalisation complète des infractions (qui permet une stratégie de modération fondée sur les données), le système de sanctions crée un écosystème complet d’application des règles qui protège les communautés tout en réduisant la charge administrative. Activez dès aujourd’hui les fonctionnalités de détection pour déclencher l’application automatisée des sanctions et bénéficier d’une modération cohérente, proportionnée et transparente, capable de s’adapter à la taille et à la complexité de votre communauté.