AI модератор

AI модератор

Описание

AI-модератор — компонент для InstantCMS, который автоматически проверяет тексты комментариев и публикаций с помощью LLM (больших языковых моделей) и применяет настроенные действия: скрывает текст, отправляет на модерацию, удаляет или просто логирует.

Компонент работает в двух режимах:

  • Предмодерация — проверяет текст до публикации. Подозрительный контент не появляется на сайте.
  • Постмодерация — публикует контент сразу, а нарушения убирает после проверки в фоновом режиме.

Распознаваемые категории нарушений: спам, реклама, оскорбления, мошенничество, разжигание ненависти, экстремизм, политический спам/пропаганда.

Как работают режимы

Предмодерация

Проверка выполняется до публикации. Подозрительный контент не появляется на сайте.

Комментарии

Если ИИ вернул действие:

    1. moderate
    или
    1. hide
    — комментарий сохраняется с
    1. is_approved = 0
    , то есть уходит на модерацию и не публикуется сразу.
    1. delete
    — комментарий полностью отклоняется и не сохраняется.
  • или текст не спам — комментарий пропускается.

Важно: настройка «Что делать со спамом в комментариях» (

  1. comment_spam_action
) в предмодерации не учитывается. Она работает только в постмодерации, когда комментарий уже опубликован.

Публикации (контент)

    1. moderate
    — запись сохраняется с
    1. is_approved = 0
    и уходит на модерацию.
    1. delete
    — запись не публикуется (
    1. is_approved = 0
    ,
    1. is_pub = 0
    ).
  • / не спам — запись публикуется обычным порядком.

Постмодерация

Контент публикуется сразу, а проверка выполняется в фоновом режиме после сохранения. Только после ответа LLM применяется выбранное в настройках действие (

  1. comment_spam_action
/
  1. content_spam_action
).

Возможности

  • Проверка комментариев и публикаций (статьи, посты и др.).
  • Поддержка нескольких LLM-бэкендов:
    • Ollama — локальные модели, бесплатно и без интернета.
    • YandexGPT — облачная модель от Yandex Cloud.
    • OpenAI / совместимые API — OpenAI, OpenRouter и другие прокси (не тестировалось и не проверялось в реальных условиях).
  • Настраиваемые действия при обнаружении нарушения:
    • отправка на модерацию,
    • удаление / отклонение,
    • замена текста на заглушку,
    • только запись в журнал.
  • Журнал проверок с переходами к страницам нарушений.
  • Список нарушителей с перепроверкой всех их записей.
  • Санкции против авторов: понижение кармы, временный бан, личное предупреждение.
  • Чёрный список слов и жёсткая блокировка по ссылкам.
  • Уведомления администраторов в личных сообщениях.
  • Проверка соединения с LLM прямо в настройках.
  • Автоматическая проверка обновлений с GitHub.

Системные требования

  • InstantCMS 2.x.
  • PHP 8.0+.
  • Расширение PHP curl (для запросов к LLM).
  • Расширение PHP mbstring.
  • Для локальных моделей: установленный Ollama или доступ к нему по сети.
  • Для облачных моделей: действующий API-ключ и баланс в Yandex Cloud / OpenAI / совместимом сервисе.

Установка

  1. Скачайте актуальный архив из Releases.
  2. Установите через панель администратора InstantCMS: Компоненты → Установить пакет.
  3. Перейдите в Компоненты → AI-модератор → Основное и настройте бэкенд LLM.
  4. Нажмите Проверить соединение и сохраните настройки.

Поддерживаемые модели

  • Ollama:
    1. qwen2.5:7b
    ,
    1. qwen2.5:3b
    ,
    1. llama3.1:8b
    и другие.
  • YandexGPT:
    1. yandexgpt/latest
    ,
    1. yandexgpt-lite
    ,
    1. yandexgpt-pro
    .
  • OpenAI:
    1. gpt-4o-mini
    ,
    1. gpt-4o
    и др.

Особенности моделей

YandexGPT: хорошо справляется со спамом, рекламой, оскорблениями и мошенничеством, но при проверке текстов с ненавистью, экстремизмом или политической пропагандой может возвращать отказ вместо результата. Поэтому для категорий

  1. hate
,
  1. extremism
и
  1. political
рекомендуется использовать локальные модели через Ollama (qwen/llama) — у них нет таких жёстких фильтров отказа.

Порог уверенности

В настройках задан порог уверенности (

  1. spam_threshold
, по умолчанию
  1. 0.85
). Это число от до
  1. 1
.

  • Модель возвращает
    1. score
    — насколько она уверена, что текст является нарушением.
  • Если
    1. score
    больше или равен порогу, текст считается нарушением и применяется выбранное действие (модерация / скрытие / удаление).
  • Если
    1. score
    ниже порога, текст пропускается.
  • Помимо
    1. score
    , действие также срабатывает, если модель вернула одну из «плохих» категорий (
    1. ad
    ,
    1. insult
    ,
    1. malicious
    ,
    1. spam
    ,
    1. hate
    ,
    1. extremism
    ,
    1. political
    ), даже при низком
    1. score
    .

Как подобрать порог:

    1. 0.85
    — сбалансированное значение по умолчанию.
  • Уменьшайте (например, до
    1. 0.7
    ), если пропускается слишком много спама.
  • Увеличивайте (например, до
    1. 0.95
    ), если слишком много ложных срабатываний на нормальные тексты.

Лицензия

Распространяется под лицензией MIT.

Релизы • Issues

—
02:42
124
Нет комментариев. Ваш будет первым!
Сайт использует файлы cookie для анализа посещаемости и персонализации. Продолжая пользоваться сайтом, вы соглашаетесь с использованием файлов cookie.