AI модератор

Описание
AI-модератор — компонент для InstantCMS, который автоматически проверяет тексты комментариев и публикаций с помощью LLM (больших языковых моделей) и применяет настроенные действия: скрывает текст, отправляет на модерацию, удаляет или просто логирует.
Компонент работает в двух режимах:
- Предмодерация — проверяет текст до публикации. Подозрительный контент не появляется на сайте.
- Постмодерация — публикует контент сразу, а нарушения убирает после проверки в фоновом режиме.
Распознаваемые категории нарушений: спам, реклама, оскорбления, мошенничество, разжигание ненависти, экстремизм, политический спам/пропаганда.
Как работают режимы
Предмодерация
Проверка выполняется до публикации. Подозрительный контент не появляется на сайте.
Комментарии
Если ИИ вернул действие:
- или
- moderate
— комментарий сохраняется с- hide
, то есть уходит на модерацию и не публикуется сразу.- is_approved = 0
- — комментарий полностью отклоняется и не сохраняется.
- delete
- или текст не спам — комментарий пропускается.
Важно: настройка «Что делать со спамом в комментариях» (
) в предмодерации не учитывается. Она работает только в постмодерации, когда комментарий уже опубликован.
comment_spam_action
Публикации (контент)
- — запись сохраняется с
- moderate
и уходит на модерацию.- is_approved = 0
- — запись не публикуется (
- delete
,- is_approved = 0
).- is_pub = 0
- / не спам — запись публикуется обычным порядком.
Постмодерация
Контент публикуется сразу, а проверка выполняется в фоновом режиме после сохранения. Только после ответа LLM применяется выбранное в настройках действие (
comment_spam_action
content_spam_action
Возможности
- Проверка комментариев и публикаций (статьи, посты и др.).
- Поддержка нескольких LLM-бэкендов:
- Ollama — локальные модели, бесплатно и без интернета.
- YandexGPT — облачная модель от Yandex Cloud.
- OpenAI / совместимые API — OpenAI, OpenRouter и другие прокси (не тестировалось и не проверялось в реальных условиях).
- Настраиваемые действия при обнаружении нарушения:
- отправка на модерацию,
- удаление / отклонение,
- замена текста на заглушку,
- только запись в журнал.
- Журнал проверок с переходами к страницам нарушений.
- Список нарушителей с перепроверкой всех их записей.
- Санкции против авторов: понижение кармы, временный бан, личное предупреждение.
- Чёрный список слов и жёсткая блокировка по ссылкам.
- Уведомления администраторов в личных сообщениях.
- Проверка соединения с LLM прямо в настройках.
- Автоматическая проверка обновлений с GitHub.
Системные требования
- InstantCMS 2.x.
- PHP 8.0+.
- Расширение PHP curl (для запросов к LLM).
- Расширение PHP mbstring.
- Для локальных моделей: установленный Ollama или доступ к нему по сети.
- Для облачных моделей: действующий API-ключ и баланс в Yandex Cloud / OpenAI / совместимом сервисе.
Установка
- Скачайте актуальный архив из Releases.
- Установите через панель администратора InstantCMS: Компоненты → Установить пакет.
- Перейдите в Компоненты → AI-модератор → Основное и настройте бэкенд LLM.
- Нажмите Проверить соединение и сохраните настройки.
Поддерживаемые модели
- Ollama: ,
- qwen2.5:7b
,- qwen2.5:3b
и другие.- llama3.1:8b
- YandexGPT: ,
- yandexgpt/latest
,- yandexgpt-lite
.- yandexgpt-pro
- OpenAI: ,
- gpt-4o-mini
и др.- gpt-4o
Особенности моделей
YandexGPT: хорошо справляется со спамом, рекламой, оскорблениями и мошенничеством, но при проверке текстов с ненавистью, экстремизмом или политической пропагандой может возвращать отказ вместо результата. Поэтому для категорий
,
hateи
extremismрекомендуется использовать локальные модели через Ollama (qwen/llama) — у них нет таких жёстких фильтров отказа.
political
Порог уверенности
В настройках задан порог уверенности (
spam_threshold
0.85
1
- Модель возвращает — насколько она уверена, что текст является нарушением.
- score
- Если больше или равен порогу, текст считается нарушением и применяется выбранное действие (модерация / скрытие / удаление).
- score
- Если ниже порога, текст пропускается.
- score
- Помимо , действие также срабатывает, если модель вернула одну из «плохих» категорий (
- score
,- ad
,- insult
,- malicious
,- spam
,- hate
,- extremism
), даже при низком- political
.- score
Как подобрать порог:
- — сбалансированное значение по умолчанию.
- 0.85
- Уменьшайте (например, до ), если пропускается слишком много спама.
- 0.7
- Увеличивайте (например, до ), если слишком много ложных срабатываний на нормальные тексты.
- 0.95
Лицензия
Распространяется под лицензией MIT.