Медиа, контент-платформы

Выявление запрещенного контента и символики на фото и видео

Система автоматически проверяет изображения и видео на признаки запрещенного контента и символики до публикации или размещения, снижая комплаенс-риски, ускоряя модерацию и убирая ручную выборочную проверку.

prohibited-content-symbol-detection-1.png
prohibited-content-symbol-detection-2.png
prohibited-content-symbol-detection-1.png
NDA
ЗаказчикКрупная интернет-платформа, работающая с большими объемами пользовательского визуального контента.
ЗадачаАвтоматизировать проверку изображений и видео на запрещенный контент и символику, чтобы сократить ручную модерацию и снизить риск пропуска нарушений.

О проекте

В связи с регуляторными ограничениями в РФ публикация визуальных материалов с запрещенной символикой, признаками экстремизма или контентом, связанным с наркотическими веществами, несет для организации не только репутационные, но и прямые юридические риски. 

 

Для юрлиц за публичное демонстрирование символики экстремистских организаций предусмотрены штрафы с конфискацией предмета правонарушения, а за пропаганду или незаконную рекламу наркотических средств в интернете — штраф до 1 млн ₽ либо административное приостановление деятельности до 90 суток.

 

Мы предложили AI-систему, которая автоматически анализирует изображения и видеоматериалы, распознает текст и визуальные объекты, выявляет запрещенную символику, сцены с наркотическими веществами и логотипы запрещенных организаций, а затем передает результат во внешний контур модерации через API. 

 

В основе решения — каталоги определяемых признаков, размеченные датасеты, репозиторий моделей, OCR для текстовых элементов и промышленный контур обработки изображений и видео. 

NDA
ЗаказчикКрупная интернет-платформа, работающая с большими объемами пользовательского визуального контента.
ЗадачаАвтоматизировать проверку изображений и видео на запрещенный контент и символику, чтобы сократить ручную модерацию и снизить риск пропуска нарушений.

160 000

изображений в сутки - производительность ИИ-системы
1
Формирование классификаторов нарушений
Определили перечень целевых нарушений, каталоги символики, сцен и признаков, по которым система должна проводить проверку изображений и видео
2
Подготовка и разметка датасетов
Собрали и разметили обучающие наборы данных по каждому типу нарушений, включая изображения, видеоматериалы, текстовые элементы и символику
3
Сборка системы моделей и репозитория
Реализовали прием файлов и API-запросов, обработку изображений и видео, OCR текстовых элементов и подготовку данных для запуска моделей
4
Развертывание, испытания и ввод в эксплуатацию
Развернули систему на инфраструктуре заказчика, провели предварительные испытания, опытную эксплуатацию и приемочные испытания перед постоянной эксплуатацией

Штраф до 1 млн ₽

установлен для юридических лиц за публичное демонстрирование символики экстремистских организаций или наркотических средств в Интернет

Технологический стек

Frontend

Интерфейс пользователя: отчеты, графики, панели управления

Backend

Логика обработки и базовые компоненты системы

ML

Модели и фреймворки для обучения

Вызовы и решения

Разнородные типы нарушений в одном контуре

Система должна одновременно выявлять символику, логотипы, сцены, текстовые элементы и признаки нарушений как в изображениях, так и в видео
РЕШЕНИЕ

Многомодельный конвейер обработки

В проект заложили вычислительный граф из нескольких моделей и бизнес-правил, где для каждого типа материала и нарушения выбирается свой набор алгоритмов

Проверка видео требует не только детекции, но и подготовки данных

Для анализа видеоматериалов системе нужно извлекать кадры, преобразовывать контейнеры, менять битрейт и разрешение до запуска моделей
РЕШЕНИЕ

Контур предобработки видео

В систему заложили отдельный этап подготовки видеоматериалов: кадрирование, преобразование форматов и нормализацию параметров перед запуском моделей

Промышленная эксплуатация требует не только моделей, но и управляемой системы

Проект должен работать 24/7, хранить версии моделей и датасетов, передавать результаты наружу по API и поддерживать масштабирование без ручной сборки
РЕШЕНИЕ

Микросервисная MLOps-архитектура

Систему спроектировали с подсистемами интеграции, ML-операций, репозиторием моделей, хранилищем данных и контейнерным развертыванием на Kubernetes

<5 секунд

на автоматическую проверку картинок

<20%

пропусков по целевым типам нарушений

<20%

ложных срабатываний при классификации контента

Команда, которая внедрила проект

Константин Порошкин
ML-инженер
Алексей Цибульников
Python backend-разработчик
Роман Фёдоров
Бизнес-аналитик
Дмитрий Соркин
DevOps-инженер
Марк Яговкин
Руководитель разметки данных
Иван Нижниченко
DevSecOps / Security Architect
Никита Латышонок
CV-инженер
Дмитрий Палий
Frontend-разработчик
Владислав Калинин
Data Science Tech Lead

Бесплатный разбор вашей задачи

На экспертной встрече разберем, какие сценарии внедрения ИИ для вашего бизнеса перспективны и возможны на вашем действующем оборудовании. Подготовим экономическое обоснование внедрения ИИ.

Рассмотрим технические ограничения и возможный первый этап проекта.

О вашей задаче (по желанию)

Готовые проекты

Наша команда с 2017 года успешно реализовала 60 проектов с искусственным интеллектом. Тут собраны наши лучшие работы, про которые мы можем рассказать, про некоторые совсем немного, а некоторые мы вообще не можем тут упомянуть из-за NDA. Но готовы применять опыт в разработке нейросетей для ваших задач.

bracket
Разработка крупной системы
ИИ-система для оценки повреждений автомобилей
damage-detection-case.png
Разработка крупной системы
ИИ-контроль операций ко-пакинга
ai-copacking-automation.jpg
Разработка крупной системы
Автоматический подсчет рыбы в сложной производственной среде
fish-sorting-counting-ai.png
Разработка крупной системы
ИИ-контроль качества печатных плат
pcb-quality-control-ai.jpg
Разработка крупной системы
AI-выявление запрещенного контента и символики
prohibited-content-symbol-detection.jpg
Генеративный ИИ
Автоматизации рутинных процессов в рекламном агентстве
advertising-agency-automation-ai.jpg