Автоматическая модерация контента

Платформа жила за счёт пользовательского контента: посты, комментарии, картинки, мемы.

В день публиковалось до 5 000 материалов.

Как это выглядело до проекта:

• каждую публикацию вручную просматривали модераторы,

• среднее время модерации — 45 секунд на единицу контента,

• нарушения (NSFW, спам, оскорбления, разжигание ненависти) обнаруживались с задержкой до 2 часов — за это время пост успевали увидеть тысячи пользователей, его скриншот разлетался по соцсетям.

Риски: репутация бренда, претензии регулятора и постоянный рост штата модераторов.

Собрали многоуровневую систему автоматической модерации на no-code/low-code + ИИ:

• Поток контента через n8n

Все новые публикации (текст + изображения) проходят через сценарии в n8n:

контент подхватывается, обогащается метаданными (пользователь, язык, тип), отправляется на проверку и сохраняется в базу.

• Единое хранилище и журнал решений в Supabase

В PostgreSQL храним сами тексты, ссылки на изображения, результаты проверок и историю апелляций.

SQL-запросы позволяют быстро анализировать типовые нарушения и качество моделей.

• ИИ-модерация текста и изображений

Через обёртку на Node.js / Python подключили несколько внешних моделей (text & image moderation API).

Контент проверяется по нескольким осям: ненависть, токсичность, NSFW, спам, реклама, мошенничество.

Прозрачные пороги: «чисто», «на грани», «жёсткое нарушение».

• Кабинет модератора на Bubble

Сложные и спорные случаи попадают в интерфейс модераторов: очередь, фильтры, горячие клавиши для массовых решений.

HTML/JS-виджеты встроены во внутренние инструменты платформы: редакторы видят статус модерации сразу.

• Обратная связь для обучения

Любое ручное решение модератора помечает кейс как «эталон» — эти данные система использует для дотренировки моделей и корректировки порогов.

• Большинство публикаций проверяется без участия людей, модераторы видят только сложные и спорные кейсы.
• Вместо 45 секунд на человека теперь ИИ принимает решение за несколько секунд, а нарушения блокируются почти мгновенно.
• Токсичный контент почти перестал доходить до аудитории, а команду модераторов удалось сократить примерно вдвое без потери качества контроля.