Распознавание рукописного текста на бланках экзаменов

Помощь в оцифровке сотен тысяч бланков для ускорения процесса проверки со стороны экспертов при помощи оптического распознавания текста (технология OCR)

01. Про заказчика

Эксперт на рынке российского образования, разработчик обучающих платформ и вспомогательных инструментов для достижения высшего качества процесса.

02. Задача проекта

Распознавание символов на бланках учеников

Ценность направлена на сокращение времени оцифровки экзаменационных бланков и минимизации ручного труда в процессе обработки сотен тысяч бланков, заполненных шаблонными символами.

03. Как мы решали задачу

0 1

Сбор изображений каждого из рукописных символов в объеме более 1000 на каждый знак.

0 2

Разметка каждого символа на бланках с разным почерком для максимальной унификации системы.

0 3

Разработка модели распознавания символов, обучение решения на подготовленных данных.

0 4

Интеграция системы с существующими приложениями клиента через API.

0 5

Тестирование и настройка алгоритмов на основе полученных результатов.

0 6

Донастройка алгоритмов на новых бланков по итогам обработки на стороне заказчика.

Интересный факт

Метрика качества точности детекций достигла более 97% для каждого из символов на реальных работах учеников. Особое внимание уделялось похожим символам для снижения ошибок на них.

04. Как это работает

1 Клиент загружает отсканированный бланк с решением ученика.

2 Фото отправляется на сервер, где происходит его предварительная обработка.

3 Нейросеть выделяет слова и предсказывает значение для каждого символа внутри слова.

4 Система анализирует изображение и отправляет обратно json с выявленным текстом на каждом бланке.

5 Клиент получает оцифрованный результат экзаменационных бланков в систему.

05. Наша нейросеть vs ручная проверка

Количество обработанных фото в час
Месяцы после внедрения Системы
Ось Y - Количество обработанных фото в час Ось X - Месяцы после внедрения Системы
Количество обработанных фото в час
Месяцы после внедрения Системы
Ось Y - Количество обработанных фото в час Ось X - Месяцы после внедрения Системы
Количество обработанных фото в час
Месяцы после внедрения Системы
Ось Y - Количество обработанных фото в час Ось X - Месяцы после внедрения Системы

06. Проблемы и их решение

Решение: доп. логика предобработки

Из контекста понятно, что между другими буквами вряд ли окажется цифра. Поэтому в ряде случаев, где есть похожие друг на друга символы из цифр и букв, предпочтение отдается буквам, если это не отдельно стоящий символ (как номер задания, например).

Фотографии

Трудноразборчивый или вовсе неразборчивый почерк

«Как курица лапой» — иногда часть символов вообще оказывается трудноразличимыми, как для искусственного интеллекта, так и для человека: где то сам почерк, а где то шрифт уменьшился из-за желания вместить ответ.

Решение: Улучшение OCR

Подобные случаи отдаются на дополнительную проверку экспертам. Они помогают «расшифровать» происходящее на бланке по символам и этот результат используется для улучшения модели распознавания текста, шаг за шагом сокращая процент ручного участия.

07. Ценность проекта

Универсальность

Нейронная сеть позволяет работать с рукописным текстом, написанным печатными буквами. Открыта возможность переиспользования в иных типах экзаменов и тестов.

Улучшение клиентского опыта

Быстрая оцифровка значительно сокращает затраты на ФОТ и сроки появления итоговых результатов для учеников.

Увеличение точности оценок

Сокращается процент влияния человека на этапе оцифровки и как следствие субъективная оценка тех или иных работ учеников.

Гибкость к доработкам

Система демонстрирует свою эффективность даже в сложных условиях, но также доступна возможность внесения изменений и адаптация под новые вызовы.

08. Команда, которая
внедрила проект

Техлид

Степан Лазарев

Backend-Lead

Алексей Цибульников

Менеджер проекта

Олег Клебан

Аналитик

Федор Головин

Computer Vision инженер

Роман Мазников

DevOps

Дмитрий Соркин

Куратор команды разметки

Марк Яговкин

09. Планы на будущее

Готовые проекты

Наша команда с 2017 года успешно реализовала 54 проекта с искусственным интеллектом. Тут собраны наши лучшие работы, про которые мы можем рассказать, про некоторые совсем немного, а некоторые мы вообще не можем тут упомянуть из-за NDA. Но готовы применять опыт в разработке нейросетей для ваших задач.