Анализ тональности и выявление токсичности

Современные онлайн-сообщества сталкиваются не только с очевидным спамом и неподобающими изображениями. Завуалированное токсичное поведение — агрессивная лексика, личные нападки, нецензурные выражения и угрозы — способно отравлять атмосферу сообщества не хуже, чем явные нарушения правил. Бот Discuse использует сложную обработку естественного языка через свой микросервис discuse_sentiment, чтобы автоматически выявлять токсичные модели общения и реагировать на них до того, как они перерастут в серьезные конфликты.

Что такое обработка естественного языка для модерации

В основе анализа тональности лежит обработка естественного языка (NLP) — область искусственного интеллекта, которая учит компьютеры понимать человеческую речь в контексте. В отличие от простого поиска по ключевым словам, когда помечаются сообщения с определёнными словами, NLP-системы распознают языковые нюансы: сарказм, значение, зависящее от контекста, а также разницу между обсуждением проблемного поведения и непосредственным участием в нём.

Микросервис discuse_sentiment обрабатывает каждое текстовое сообщение, отправленное в защищённых группах, одновременно анализируя несколько аспектов коммуникации. Анализ выполняется в реальном времени и обычно занимает 50–100 миллисекунд — достаточно быстро, чтобы пользователи не замечали задержки при доставке сообщений. Микросервисная архитектура позволяет обрабатывать тысячи одновременных запросов на анализ, не влияя на работу других функций бота.

Главное отличие продвинутого анализа тональности от базовых фильтров нецензурной лексики — способность AI понимать контекст. Система распознаёт, что слово "kill" имеет разные значения в фразах "this traffic is killing me" и "I'm going to kill you." Медицинские обсуждения, техническая терминология и разговорные выражения, которые могут содержать слова из списка срабатывания, получают корректную контекстную оценку, а не удаляются автоматически только из-за употреблённой лексики.

Четыре столпа выявления токсичности

Механизм анализа тональности оценивает сообщения по четырём отдельным измерениям, каждое из которых отражает свой аспект токсичной коммуникации. Эти категории работают совместно, формируя целостное представление о токсичности сообщения и обеспечивая корректную обработку разных форм вредного общения.

Выявление токсичности

Классификатор токсичности представляет самую широкую категорию: он определяет в целом враждебную, грубую или неуважительную коммуникацию. Сюда относятся сообщения, которые создают недоброжелательную атмосферу, не обязательно попадая в более конкретные категории нарушений. Пассивно-агрессивные комментарии, пренебрежительные ответы и просто недоброжелательное общение — всё это отражается на шкале токсичности.

AI оценивает тон, выбор слов и структуру предложений, чтобы определить общий уровень токсичности. Сообщение вроде "nobody asked for your stupid opinion" явно демонстрирует токсичность за счёт пренебрежительной формулировки и оскорбления, даже если в нём нет традиционной ненормативной лексики. Система присваивает оценку уверенности от 0.0 до 1.0: чем выше значение, тем выше уверенность в наличии токсичного содержания.

Сообщества могут настраивать допустимый уровень резкости в общении, меняя пороги токсичности. Некоторые группы, ориентированные на дебаты, допускают более конфронтационный стиль дискуссии и устанавливают порог на уровне 0.85, чтобы отлавливать только крайне токсичные сообщения. Сообщества семейной направленности могут предпочесть порог 0.60, создавая более мягкую атмосферу общения, где даже умеренно враждебные комментарии вызывают предупреждения.

Ненормативная и непристойная лексика

Детектор ненормативной лексики специально выявляет грубые, вульгарные или сексуально откровенные выражения. Эта категория не ограничивается простым поиском ругательств — AI понимает эвфемизмы, креативное написание (например, "f*ck") и контекстное употребление, при котором обычные слова превращаются в неуместную коммуникацию.

В разных сообществах действуют разные стандарты в отношении ненормативной лексики. Профессиональные группы обычно строго ограничивают её использование, тогда как неформальные социальные сообщества могут воспринимать лёгкую брань как обычный способ самовыражения. Система порогов учитывает эти различия и позволяет администраторам определить, какой уровень непристойной лексики считается недопустимым именно в контексте их сообщества.

Система различает ненормативную лексику, использованную в разговоре вскользь, и брань, направленную на других участников. Пользовательское восклицание "that's fcking amazing!" по поводу общего достижения может получить более низкую оценку уверенности по категории ненормативной лексики, чем сообщение, в котором одному участнику говорят "fck off." Такое понимание контекста снижает число ложных срабатываний, сохраняя при этом защиту от действительно вредных высказываний.

Распознавание оскорблений

Классификатор оскорблений фокусируется на личных нападках, обзывательствах и уничижительных выражениях, направленных на отдельных людей или группы. В отличие от общей токсичности, оскорбления адресованы конкретным людям, поэтому они особенно вредят сплочённости сообщества. AI распознаёт как очевидные оскорбления ("you're an idiot"), так и более тонкие унизительные замечания, которые подрывают достоинство других участников сообщества или принижают их.

Эта категория особенно полезна для предотвращения постепенного разрушения культуры уважительного общения. Если оскорбления остаются без реакции, они усиливаются. То, что начинается как лёгкая поддразнивающая реплика, может перерасти в серьёзную травлю, если не вмешаться на раннем этапе. Система анализа тональности выявляет такие оскорбления на ранней стадии, прежде чем они запускают цепочки ответной агрессии, разрушающие отношения внутри сообщества.

Система распознавания учитывает контекст оскорблений, связанных с идентичностью, включая слуры и уничижительные выражения, направленные на защищаемые характеристики. Такие случаи получают особенно высокие оценки уверенности, поскольку они представляют собой не просто межличностные конфликты, а потенциальную дискриминацию, нарушающую правила платформ и правовые нормы во многих юрисдикциях.

Оценка угроз

Компонент выявления угроз определяет формулировки, указывающие на насилие, причинение вреда или опасные намерения. Эта категория охватывает как прямые угрозы ("I'm going to hurt you"), так и завуалированные ("you better watch your back"), а также фантазии о насилии, создающие пугающую атмосферу.

Выявление угроз требует исключительной точности, поскольку ложные срабатывания в этой категории могут без необходимости встревожить пользователей и администраторов. AI тщательно оценивает контекст, различая реальные угрозы, гиперболизированное выражение раздражения и обсуждение угроз в третьем лице. Оценка уверенности отражает эти нюансы: ясные и непосредственные угрозы получают более высокие значения, чем неоднозначные или зависящие от контекста формулировки.

Юридические соображения и вопросы безопасности делают выявление угроз особенно важным. Во многих юрисдикциях операторы платформ обязаны сообщать о достоверных угрозах властям. Подробная система журналирования сохраняет записи о выявленных угрозах, предоставляя документацию, которая помогает администраторам и юридическим консультантам оценить, требуют ли зафиксированные угрозы внешнего вмешательства.

Настройка порогов и чувствительности

Эффективный анализ тональности требует тщательной калибровки порогов с учетом стандартов сообщества и особенностей общения в нем. Бот предоставляет гибкое управление каждой категорией токсичности, позволяя администраторам создавать профили фильтрации, которые соответствуют уникальным особенностям их сообщества и допустимому уровню терпимости.

В интерфейсе настройки порогов для каждой категории обнаружения — токсичности, ненормативной лексики, оскорблений и угроз — доступны ползунки. Порог 0.70 означает, что настроенные действия будут срабатывать для сообщений, в которых AI как минимум на 70% уверен в наличии соответствующего типа контента. Более низкие пороги (0.50-0.65) создают строгую среду с низкой терпимостью к пограничному поведению, тогда как более высокие пороги (0.80-0.95) позволяют сосредоточиться на явных нарушениях, допуская при этом более эмоциональные обсуждения.

Разным сообществам нужны разные настройки в зависимости от их целей и культуры. Группа поддержки для людей, переживающих сложные ситуации, может установить строгие пороги: токсичность — 0.60, ненормативная лексика — 0.70, оскорбления — 0.55, угрозы — 0.50. Это создает бережную, поддерживающую атмосферу, где даже слегка негативная коммуникация вызывает вмешательство, чтобы сохранить безопасное пространство, которое предоставляет группа.

Игровое сообщество может использовать более мягкие настройки: токсичность — 0.80, ненормативная лексика — 0.85, оскорбления — 0.70, угрозы — 0.60. Такая конфигурация учитывает, что в соревновательных играх бывают поддевки и выплеск раздражения, но при этом по-прежнему выявляет действительно вредоносное поведение, выходящее за рамки правил сообщества.

Политическим или дискуссионным сообществам часто требуются специализированные настройки: токсичность — 0.85, ненормативная лексика — 0.75, оскорбления — 0.70, угрозы — 0.55. Это позволяет вести эмоциональные споры и использовать резкие выражения, одновременно предотвращая личные нападки и обеспечивая безопасность участников. Повышенный порог токсичности учитывает конфронтационный стиль дебатов, а более строгие пороги для оскорблений и угроз не дают обсуждениям перерасти в травлю.

Интеграция с обнаружением спама

Система анализа тональности работает совместно с другими инструментами модерации, особенно с механизмом обнаружения спама. Такая интеграция позволяет глубже понимать намерения, стоящие за сообщением, и повышает точность обеих систем благодаря совместному анализу.

Многие спам-сообщения имеют характерные профили тональности. Рекламный спам часто отличается низкой токсичностью, но использует срочные, манипулятивные языковые конструкции, которые помогает выявлять механизм анализа тональности. Мошеннические сообщения нередко задействуют определённые приёмы эмоциональной манипуляции — создают искусственное ощущение срочности, апеллируют к жадности или страху, — формируя характерные сигнатуры тональности.

Интеграция работает в обе стороны. Когда система обнаружения спама присваивает сообщению высокую вероятность спама, анализ тональности получает этот контекст и соответствующим образом корректирует свои пороги. И наоборот, сообщения, сочетающие высокие показатели токсичности с частой отправкой или подозрительным поведением ссылок, получают повышенные оценки спама, поскольку такая комбинация часто указывает на скоординированную травлю или атаки троллей.

Эта синергия снижает количество ложных срабатываний за счёт дополнительных каналов подтверждения. Сообщение, которое срабатывает одновременно в системах обнаружения спама и токсичности, получает оценку с более высоким уровнем уверенности, чем сообщение, сработавшее только в одной системе. Такой многофакторный подход к модерации контента гарантирует, что меры применяются только к действительно проблемному контенту, а пограничные случаи, способные ввести в заблуждение одну систему, корректно обрабатываются за счёт перекрёстной проверки.

Реальные сценарии внедрения

Понимание того, как анализ тональности работает на практике, помогает администраторам эффективно настраивать системы под конкретные потребности и сложности своего сообщества.

Представьте сообщество любителей рукоделия, где участники делятся проектами и техниками. Без модерации энтузиазм иногда выливается в резкую критику, когда кому-то не нравятся определённые подходы или стили. Настройка умеренных порогов тональности (токсичность 0.65, оскорбления 0.60) помогает поддерживать культуру конструктивной обратной связи. Когда кто-то пишет "that's an ugly color choice," система распознаёт оскорбительный оттенок и показывает мягкое предупреждение, предлагая переформулировать мысль, например так: "I prefer different colors, but it's your project!" Это мягко подталкивает участников к конструктивной критике, не подавляя честную обратную связь.

В группе по торговле криптовалютами эмоции вокруг финансовых решений часто накалены. Расстроенные трейдеры после убытков могут срываться, направляя злость на других участников, чьи советы не оправдались. Порог токсичности 0.70 и порог оскорблений 0.65 создают границы, которые позволяют горячо обсуждать рыночную аналитику, но предотвращают перекладывание вины и личные нападки. Система отлавливает сообщения вроде "you're an idiot who cost me money", но пропускает фразы вроде "I disagree with that analysis based on these factors."

Сообщество поддержки в сфере психического здоровья требует особой деликатности. Участники, переживающие кризис, могут выражать мрачные мысли или использовать формулировки, которые ошибочно можно принять за угрозы. В таком случае администраторы устанавливают пороги угроз на уровне 0.75–0.80, фокусируясь на прямых угрозах в адрес других участников и избегая ложных срабатываний на высказывания, направленные на себя. Порог токсичности может быть около 0.55, чтобы сохранять мягкую, поддерживающую атмосферу, крайне важную для уязвимых участников, а пограничные случаи, где контекст имеет огромное значение, передаются на ручную проверку.

Чат координации киберспортивной команды должен сочетать соревновательный накал с необходимостью сохранять сплочённость. Настройки порогов: токсичность 0.85, ненормативная лексика 0.80, оскорбления 0.70 и угрозы 0.60 — позволяют товарищам по команде выпустить пар и дружески подшучивать друг над другом, не допуская настоящих конфликтов, которые вредят командной динамике. Система различает "you played like trash that round" (допустимая критика игры) и "you're a trash player" (личное оскорбление, требующее вмешательства).

Поэтапное реагирование и обучение пользователей

Когда система анализа тональности выявляет токсичный контент, превышающий заданные пороги, система реагирования применяет поэтапную эскалацию, призванную обучать пользователей и одновременно защищать сообщество. Такой подход учитывает, что в большинстве случаев токсичность возникает из-за сиюминутного раздражения, а не злого умысла, и дает пользователям возможность исправить поведение до применения серьезных мер.

Первое нарушение обычно приводит к удалению сообщения и сопровождается личным предупреждением. В нем объясняется, какое именно поведение (токсичность, ненормативная лексика, оскорбление или угроза) вышло за рамки стандартов сообщества, а также даются рекомендации по более корректному общению. Личный формат предотвращает публичное смущение, которое могло бы вызвать защитную реакцию, а конкретная обратная связь помогает пользователю точно понять, какое поведение нужно изменить.

В предупреждении указывается оценка уверенности распознавания, что делает работу автоматизированной системы более прозрачной. Если пользователь считает, что срабатывание было ошибочным, он может подать апелляцию администраторам: они изучат контекст и при необходимости скорректируют пороги, если ложное срабатывание выявит системные проблемы в текущей конфигурации.

Повторное нарушение в течение заданного периода (обычно 24–48 часов) приводит к временным ограничениям. Пользователь может получить короткий мут (1–4 часа), запрещающий ему отправлять сообщения. Этот период «остывания» позволяет эмоциям улечься и одновременно подчеркивает, что дальнейшие нарушения повлекут за собой все более серьезные последствия. Длительность мута и настраиваемый период дают администраторам гибкость, чтобы учитывать стандарты сообщества и типичные модели поведения пользователей.

Третье и последующие нарушения указывают либо на нежелание, либо на неспособность соблюдать стандарты сообщества. На этом этапе система обычно применяет более длительные муты (24–72 часа) или окончательное удаление из сообщества — в зависимости от серьезности нарушения и настроек администратора. Угрозы, даже если они зафиксированы впервые, но превышают крайне высокие пороги уверенности, могут полностью обходить поэтапную эскалацию и сразу приводить к удалению с учетом возможных рисков для безопасности.

Аналитика панели управления и распознавание паттернов

Система анализа тональности формирует подробную аналитику, которая помогает администраторам понимать закономерности общения, выявлять проблемных пользователей и оптимизировать пороговые настройки с учётом динамики конкретного сообщества.

Аналитическая панель показывает графики временных рядов с частотой обнаружения токсичности по часам, дням и неделям. Эти визуализации помогают увидеть, когда токсичное общение достигает пика — например, поздними вечерами, когда контроль ослабевает, или по выходным, когда определённые демографические группы проявляют большую активность. Администраторы могут корректировать расписание модерации или внедрять пороговые значения, зависящие от времени, чтобы реагировать на такие закономерности.

Аналитика на уровне пользователей выявляет как положительные, так и настораживающие паттерны. У некоторых пользователей оценки тональности могут со временем снижаться, что указывает на растущее раздражение или недовольство; в таких случаях администратору стоит связаться с ними до того, как возникнут серьёзные нарушения. Другие могут стабильно держаться на грани допустимого поведения, проверяя пределы, но формально не пересекая пороги, — это может указывать на потенциальный троллинг, требующий более пристального наблюдения.

Анализ ложных срабатываний помогает администраторам оптимизировать пороговые настройки. Если панель показывает высокий процент отмен решений администратором в определённых категориях, это говорит о необходимости скорректировать пороги. Возможно, порог ненормативной лексики захватывает слишком много безобидных употреблений мягких ругательств, а порог токсичности помечает как нарушение нормальную эмоциональную дискуссию. Такие данные помогают итеративно настраивать пороги и со временем повышать точность.

Сравнительная аналитика показывает, как уровни и типы токсичности различаются в разных пространствах сообщества или темах. Сообщество с несколькими каналами может обнаружить, что политические каналы генерируют значительно больше токсичности, чем обсуждения хобби; это помогает решить, стоит ли применять разные пороговые конфигурации к разным каналам или пересмотреть рамки самого сообщества.

Конфиденциальность, этика и прозрачность

Автоматизированный анализ тональности в частной переписке поднимает важные вопросы конфиденциальности и этики, которые учитываются при проектировании и работе системы. Реализация ставит во главу угла приватность пользователей, сохраняя при этом необходимую защиту сообщества.

Анализ содержимого сообщений выполняется в реальном времени автоматизированными системами, без участия человека при проверке обычных сообщений. Логи создаются только для сообщений, которые превышают установленные пороги нарушений и могут быть просмотрены администраторами; при этом такие логи сосредоточены на конкретном проблемном поведении, а не раскрывают всю историю переписки. Это сводит вмешательство в приватность к минимуму, сохраняя возможность контролировать соблюдение правил.

Система работает прозрачно: в документации ясно указано, какой контент проходит анализ и какие категории поведения приводят к мерам реагирования. Пользователи, присоединяющиеся к защищённым сообществам, должны понимать, что меры против токсичности активны, и иметь корректные ожидания относительно стандартов общения. Такая прозрачность соответствует этическим принципам AI, требующим, чтобы люди знали, когда автоматизированные системы оценивают их поведение.

Политики хранения данных ограничивают срок существования логов нарушений: обычно записи сохраняются на период, необходимый для ответственности и разбирательств (30-90 дней), после чего автоматически удаляются. Такое ограниченное по времени хранение позволяет соблюсти баланс между необходимостью апелляций и анализа повторяющихся паттернов, с одной стороны, и опасениями по поводу бессрочного хранения поведенческих данных — с другой.

Модели AI регулярно проходят аудит на предвзятость, чтобы убедиться, что они не помечают непропорционально часто контент определённых демографических групп, диалектных вариантов или культурных стилей общения. Анализ тональности, обученный преимущественно на одном языке или одной культуре, может неверно интерпретировать вполне приемлемое общение в других контекстах, поэтому постоянная оценка и доработка моделей помогают сохранять справедливость для разнообразной аудитории пользователей.

Интеграция с более широкой экосистемой модерации

Анализ тональности работает как один из компонентов комплексной экосистемы модерации: он дополняет другие защитные меры, создавая многоуровневую защиту от вредного поведения и одновременно снижая число ложных срабатываний за счёт подтверждения по нескольким факторам.

Система наказаний отслеживает историю пользователя по всем типам нарушений, а не только по проблемам, связанным с тональностью. Пользователь, у которого уже были нарушения за спам, может столкнуться с более строгими последствиями за токсичное общение, чем участник с в целом хорошей репутацией, у которого просто выдался неудачный день. Такой целостный взгляд на поведение пользователя позволяет применять более справедливые и лучше учитывающие контекст меры.

Ручные решения администраторов и процедуры апелляции обеспечивают человеческий контроль в пограничных случаях, где автоматизированным системам сложно уловить контекст. Когда пользователи оспаривают нарушения, связанные с токсичностью, администраторы просматривают полный контекст переписки, который AI может не до конца понять, и при наличии оснований корректируют пороги срабатывания или записи о пользователе. Такие решения вручную затем возвращаются в процесс улучшения системы через петли обратной связи, помогая обучать более точные модели.

Функция белого списка позволяет администраторам исключать отдельных пользователей из определённых категорий обнаружения. Доверенные модераторы, обсуждая проблемное поведение, могут приводить цитаты с примерами, которые иначе вызвали бы срабатывание. В комедийных сообществах могут делать исключения для профессиональных исполнителей, чей контент включает намеренно оскорбительные материалы, поданные в рамках образа. Такие исключения требуют аккуратного управления, но дают необходимую гибкость сообществам со специализированными потребностями.

Система интегрируется со встроенными функциями жалоб Telegram, позволяя пользователям отмечать подозрительный контент, который автоматизированные механизмы пропустили. Такие жалобы создают возможность для ручной проверки и одновременно формируют обучающие данные, повышающие точность будущего обнаружения. Большое количество ручных жалоб в определённых категориях контента может указывать на необходимость скорректировать пороги или на новые паттерны токсичности, требующие обновления модели.

Постоянное совершенствование с помощью машинного обучения

Модели анализа тональности постоянно улучшаются благодаря автоматическим обновлениям и доработке на основе обратной связи, что позволяет системе адаптироваться к меняющимся языковым моделям и стилям общения, характерным для конкретных сообществ.

Обновления моделей автоматически разворачиваются из серверной инфраструктуры, обычно ежемесячно или ежеквартально — в зависимости от наличия улучшений. Эти обновления включают расширенный словарь, более точное распознавание контекста и повышенную точность классификации на основе анализа миллионов сообщений в самых разных сообществах. Отдельным администраторам не нужно ничего делать, чтобы получить эти улучшения: они автоматически становятся доступны всем пользователям одновременно.

Обучение с учетом специфики сообщества происходит, когда администраторы оставляют обратную связь по срабатываниям через апелляции или ручные проверки. Если в определенных контекстах регулярно отменяются одни и те же срабатывания, это запускает локальную корректировку порогов или исключения, благодаря которым система адаптируется к уникальному стилю общения конкретного сообщества без необходимости вручную менять настройки.

Развитие языка создает постоянные сложности для анализа тональности. Новый сленг, появляющиеся эвфемизмы и меняющиеся модели употребления означают, что обучающие данные вчерашнего дня могут неточно оценивать сегодняшнее общение. Непрерывный конвейер обучения получает новые лингвистические данные, благодаря чему модели остаются актуальными для современного общения, а не становятся все более устаревшими и неэффективными.

Сочетание продвинутых NLP-технологий, гибкой настройки, поэтапных реакций и постоянного совершенствования создает мощный инструмент для поддержания здоровой атмосферы в сообществе. Автоматически выявляя и обрабатывая токсичные модели общения, администраторы могут сосредоточиться на сложных межличностных ситуациях, требующих человеческого суждения, пока AI берет на себя рутинное обеспечение базовых стандартов вежливости, которые помогают делать сообщества открытыми и продуктивными для всех участников.

Часто задаваемые вопросы

В: Чем анализ тональности отличается от фильтра нежелательных слов?

О: Анализ тональности использует AI, чтобы понимать тон и контекст сообщений целиком, выявляя токсичное поведение даже тогда, когда в тексте нет явно запрещённых слов. Он определяет враждебность, агрессию, оскорбления и угрозы на основе общих паттернов общения. Фильтр нежелательных слов (если он настроен) блокирует конкретные запрещённые выражения, которые вы укажете. Вместе они обеспечивают комплексную защиту: анализ тональности улавливает токсичность, зависящую от контекста, а фильтр слов задаёт жёсткие границы для отдельных терминов.

В: Будет ли анализ тональности работать на языках, отличных от английского?

О: Система анализа тональности обучена на многоязычных данных и может выявлять паттерны токсичности во многих языках. Однако точность зависит от языка: наиболее высокая — для английского, испанского, французского, немецкого и других широко используемых языков. Для лучшего результата в неанглоязычных сообществах настройте пороги на основе тестирования и отслеживайте долю ложных срабатываний, чтобы подобрать оптимальные параметры для вашего конкретного языка.

В: Что произойдёт, если анализ тональности ошибочно пометит нормальное сообщение?

О: Администраторы могут просматривать все помеченные сообщения через панель управления и вручную одобрять контент, отмеченный ошибочно. Когда вы отменяете срабатывание, эта обратная связь помогает повысить точность в будущем. Также можно настроить пороги уверенности: например, повышение порога токсичности с 70% до 80% снижает число ложных срабатываний, но может привести к пропуску некоторых менее очевидных нарушений. Важно найти правильный баланс для стиля общения в вашем сообществе.

В: Анализ тональности расходует квоту на каждое сообщение или только на помеченные?

О: Анализ тональности расходует квоту на каждое проанализированное сообщение, а не только на те, которые были помечены как нарушения. Это связано с тем, что AI должен проверить каждое сообщение, чтобы определить, является ли оно токсичным. Месячный лимит анализа тональности в вашем тарифе (1 000 для Basic, 5 000 для Gold и т. д.) означает количество сообщений, которое система может проанализировать. Активным группам стоит выбирать тарифы, соответствующие их объёму сообщений.

В: Можно ли отключить анализ тональности для отдельных каналов или периодов времени?

О: Сейчас анализ тональности применяется ко всем сообщениям, когда функция включена. Однако вы можете динамически менять пороги через панель управления — например, делать настройки мягче во время горячих, но допустимых дискуссий и ужесточать их в обычные периоды. Также можно полностью отключить функцию с помощью переключателя на панели управления, если вы хотите временно приостановить автоматический анализ.

В: Как понять, что мои пороги настроены правильно?

О: Отслеживайте долю ложных срабатываний на панели управления: если администраторы часто отменяют срабатывания, возможно, пороги слишком строгие. И наоборот, если токсичное поведение, на которое жалуются участники, проходит незамеченным, пороги могут быть слишком мягкими. Начните с рекомендованных значений по умолчанию (70% для токсичности, 65% для ненормативной лексики, 60% для оскорблений и угроз) и корректируйте их на основе реального опыта вашего сообщества в течение 2–3 недель.

В: Работает ли анализ тональности с отредактированными сообщениями?

О: Да, когда участники редактируют сообщения после публикации, система повторно анализирует изменённый контент. Если в результате правки появляется токсичный контент, которого не было в исходном сообщении, система обнаруживает его и обрабатывает согласно заданным вами настройкам. Это не позволяет пользователям обходить модерацию, публикуя безобидный текст, а затем редактируя его, добавляя нарушения.