Май и июнь для образовательных организаций — горячее время! Это не только экзамены, аудитории и толпы взволнованных молодых людей, а ещё и огромный поток, целая лавина рукописных бланков, который потом нужно быстро просмотреть, оцифровать, сопоставить и передать на проверку без лишних задержек. На практике всё упирается в объём, в скорость и в человеческое внимание. В такой ситуации ручной просмотр становится слабым местом всего процесса.

Эту вполне "земную" работу мы и предлагаем делегировать машинному зрению. Не заменить эксперта, не "оценить знания за учителя", а взять на себя тяжёлую механическую часть: разобрать рукописный бланк на фрагменты, найти нетипичные участки, сопоставить почерк внутри одной работы и между работами одного автора, подсветить места, которые стоит посмотреть внимательнее. Для образования это один из самых небанальных сценариев применения компьютерного зрения. И один из самых полезных.

Почему при проверке работ человеческий фактор является ограничивающим?

Рукописная экзаменационная работа — сложный объект для анализа. Здесь нет чистого печатного текста, нет единообразного шрифта, нет стабильной геометрии строки. 

Есть живой почерк: плотный, разреженный, быстрый, неровный, с разной высотой символов, разным нажимом и разной привычкой писать цифры и буквы. 

Один и тот же человек к концу работы может писать иначе, чем в начале. На соседних бланках встречаются символы, которые визуально почти неотличимы друг от друга. А часть проблем вообще невозможно увидеть без точечного сравнения: дописывания, смену руки, нетипичный фрагмент, подозрительно похожие или, наоборот, странно выбивающиеся участки.

Человек с такой задачей справляется, но ценой времени и концентрации. Если у специалиста перед глазами поток похожих бланков, растёт нагрузка, падает скорость, а самые спорные места начинают зависеть от внимательности конкретного проверяющего. В ситуации высокой нагрузки, когда важно держать стабильный темп и одинаковое качество проверки на большом массиве работ, это плохая зависимость.

Почему здесь недостаточно обычного OCR

Когда говорят об автоматизации рукописных бланков, первое, что приходит в голову, — OCR. 

Формально это так: оптическое распознавание текста действительно помогает оцифровывать экзаменационные материалы. Но в этом проекте задача шире. Нужно не только распознать символ, но и понять, как он написан, насколько он похож на другие символы того же автора, не выбивается ли фрагмент из общей манеры письма, не требует ли конкретный участок дополнительной проверки.

Обычный OCR хорошо работает там, где задача сводится к чтению текста. В экзаменационных работах этого мало. Здесь нужен слой анализа, который смотрит на почерк как на набор визуальных признаков. Поэтому в проекте контроль шёл на уровне отдельных фрагментов. Система сравнивала символы между собой внутри одной работы и между работами одного автора, а результатом становилось не «готовое решение за эксперта», а разметка подозрительных зон для выборочной проверки.

Такой подход намного ближе к реальной логике экзаменационного контроля. Машина не выносит вердикт, а быстро отбирает места, где человеческий взгляд нужен в первую очередь.

Кейс NeuroCore: ИИ-модель для анализа почерка

Приведем в пример один из наших кейсов.

В основе проекта лежала работа с реальными экзаменационными бланками. Для обучения модели использовалось более 1 000 изображений каждого рукописного символа. Такой объём нужен, потому что вариативность почерка в живом массиве данных очень высокая. Один и тот же символ может отличаться по форме, наклону, ширине, нажиму, соединениям с соседними элементами и даже по положению в строке.

Подготовка датасета — серьезный отдельный этап.

Сначала собрали изображения символов с реальных бланков. 

Разметили посимвольно: с координатами, привязкой к строке и к автору. Это дало модели не просто картинку, а контекст. 

На следующем шаге обучили модель анализа почерка и отдельно дорабатывали ее под визуально похожие символы. Для такого проекта этого не избежать: если оставить один только базовый контур распознавания, он будет путать схожие рукописные элементы и накапливать спорные ошибки в самых чувствительных местах.

В итоге получилась система, которая анализирует бланк по фрагментам, находит рукописные символы, оценивает их сходство и помечает участки, которые не вписываются в общую картину. По данным проекта точность детекции поднялась выше 97%. Для задач с рукописным материалом и высокой вариативностью почерка это уже рабочий уровень, на котором систему можно ставить в реальный процесс проверки бланков.

Самый трудный участок — визуально похожие символы

У рукописных экзаменационных работ есть особенность, которую хорошо понимают только те, кто реально смотрел большие массивы таких бланков. Ошибаются здесь не на «сложных словах», а на мелочах. Некоторые символы при рукописном написании становятся слишком похожими друг на друга. Это касается и букв, и цифр. Для человека проблема решается контекстом: он видит строку целиком, понимает логику слова или номера задания и дорисовывает смысл. Для модели это отдельная инженерная задача.

В проекте мы добавили дополнительную логику предобработки. Система не смотрела на символ в вакууме, а учитывала соседние элементы и позицию в строке. Если по контексту в этом месте вероятнее цифра, приоритет смещался в сторону цифровой интерпретации. Если речь идёт о буквенной последовательности, модель выбирала другую гипотезу. Плюс мы исключали отдельные стоящие символы там, где формат бланка диктовал жёсткую структуру ответа — например, в номерах заданий.

Этот слой не делает систему «умнее человека». Он убирает типовую ошибку, которая возникает у любой модели, если оставить её наедине с визуально похожими символами.

Что делать с неразборчивым почерком

Есть фрагменты, которые плохо читаются и для алгоритма, и для эксперта. Ученик пишет плотно, буквы налезают друг на друга, ответ втиснут в ограниченное поле, часть строки заходит на соседний участок. У таких случаев нет честного автоматического решения. Поэтому в проекте мы заложили гибридный контур.

Система не пыталась дожать любой ценой каждую неоднозначную зону до «уверенного ответа». Она выделяла такие фрагменты и отправляла их на экспертную валидацию. Это важная часть архитектуры. Когда проект касается экзаменационных материалов, цена ошибочной автоматической интерпретации выше, чем цена выборочной ручной проверки. Поэтому правильнее быстро отфильтровать чистые участки и передать человеку только спорные.

Такой режим даёт ощутимый операционный эффект. По результатам проекта до 40% работ можно было исключить из полной ручной проверки. Система заранее отобрала массив, где нет признаков аномалий и нет смысла тратить экспертное время на сплошной просмотр каждой строки.

Что под капотом: как устроена система анализа почерка

В этом проекте мы решали не задачу «распознать текст любой ценой», а задачу найти внутри одной работы фрагменты, которые выбиваются из общей манеры письма. Поэтому система не сравнивает бланк с заранее собранным эталоном почерка ученика. Она сравнивает части документа между собой и ищет неоднородность.

Базовая логика работы

Система проходит по бланку в несколько этапов:

Архитектура

Система собрана как отдельный сервисный контур. Под капотом у неё несколько технических компонентов. 

Это не "одна нейросеть, которая всё поняла". Здесь работает связка из нескольких моделей и алгоритмов, где каждый отвечает за свой участок пайплайна.

Предобработка и детекция текста

Экзаменационные бланки сканируются массово, и качество у них нестабильное.
На одних листах всё читается хорошо, на других есть:

• неравномерная яркость,
• серый фон,
• полосы,
• перекос,
• цифровой шум.

Поэтому первым шагом идёт адаптивная бинаризация и нормализация изображения.
После этого подключается детектор рукописного текста.

Почему одной YOLO здесь недостаточно

Экзаменационный бланк — это большое изображение. Его размер может быть больше 4000×5000 пикселей.
Если просто уменьшить такой лист до стандартного входа модели, мелкие слова и символы начнут теряться.

Поэтому мы использовали SAHI:

• система режет большой бланк на перекрывающиеся фрагменты,
• прогоняет каждый фрагмент через детектор,
• потом объединяет результаты обратно.

За счёт этого модель не теряет мелкие рукописные элементы.

Нарезка фрагментов и сравнение почерка

После детекции система получает не «текст», а набор областей с рукописными фрагментами.
Дальше каждая такая область приводится к фиксированному размеру 224×224 пикселя. Это нужно для следующего шага — попарного сравнения.

Как работает сравнение

В основе — сиамская сеть. Она не пытается понять содержание ответа. Её задача — оценить, насколько два фрагмента похожи по манере письма.

Алгоритм работает так:

• выбирается один фрагмент как опорный;
• он сравнивается со всеми остальными;
• на выходе получается вектор сходства от 0 до 1;
• дальше система смотрит, какие участки выбиваются из общей группы.

Что добавлено поверх базового сравнения

Чтобы модель не вела себя слишком прямолинейно, мы добавили ещё несколько уровней логики:

• гауссова модуляция по позиции — соседние строки получают дополнительный вес, потому что рядом стоящие фрагменты с высокой вероятностью написаны одной рукой;
• разделение по квантилям — фрагменты раскладываются на более похожие и менее похожие;
• LocalOutlierFactor — ищет аномальные участки внутри этого распределения.

То есть система не просто говорит «эти два фрагмента похожи», а ищет именно те зоны, которые статистически выбиваются из общей массы.

Ансамбль моделей

Один скоринговый контур для такой задачи недостаточен.
Почерк слишком вариативный, а документы слишком шумные.

Поэтому мы использовали ансамбль из нескольких скоринговых моделей.

Такой подход даёт системе устойчивость. Она не стопорится на одном спорном символе и не делает вывод по одному совпадению.

Тепловые карты сходства

Отдельный модуль в системе — тепловые карты сходства. Они нужны потому, что экзаменационная работа почти никогда не состоит только из ровного рукописного текста.

На листе могут быть:

• формулы,
• схемы,
• графики,
• смешанный контент,
• короткие цифровые ответы,
• отдельные символы.

Если сравнивать всё одинаково, система начнёт давать лишние срабатывания. Поэтому тепловая карта проходит по документу скользящим окном и строит матрицу сходства.

Тепловая карта помогает:

1. понять, где на бланке однородный рукописный текст;
2. отделить текст от формул и схем;=
3. адаптировать выбор опорных фрагментов под тип контента;
4. локализовать подозрительные области точнее.

Дополнительно система выбирает референсные зоны с первой страницы работы. Логика простая: начало работы с высокой вероятностью написано самим учеником, в спокойном режиме, и даёт более стабильную основу для сравнения.

Почему система не требует эталона почерка

Это одно из главных отличий проекта. В классических системах верификации нужно заранее знать, как пишет конкретный человек. В экзаменационном процессе это неудобно:

• нет готовой базы эталонного почерка,
• сложно собирать её заранее,
• процесс становится тяжёлым организационно.

Мы пошли по другой логике:

• не сравнивать с внешним эталоном;
• сравнивать документ с самим собой;
• искать внутреннюю неоднородность.

За счёт этого система может работать на любом новом бланке без предварительной регистрации почерка.

Ключевые особенности подхода NeuroCore в данном проекте:

1. Не нужен эталон почерка
2. Работа идёт внутри одного документа
3. Система показывает координаты спорных зон
4. Формулы и схемы не валят весь анализ
5. Пайплайн устойчив к шуму и плохим сканам
6. Можно встроить в потоковую обработку большого массива работ

Где такие системы нужны кроме государственных экзаменов

Экзаменационные бланки — самый заметный сценарий в мае и июне, но он не единственный. Похожая логика нужна в любом образовательном процессе, где есть большой поток рукописных материалов и где важна точность выборочного контроля.

Например, такой подход полезен:

• при проверке внутренних контрольных и диагностических работ на потоке;
• при оцифровке архивов рукописных бланков;
• при отборе спорных участков для повторной экспертной проверки;
• при поиске аномалий в массивах рукописных документов, где одинаково плохо работают и сплошной ручной просмотр, и «голый» OCR.

Для образовательной организации здесь ценен не сам факт наличия нейросети. Ценен режим работы, в котором машина быстро просеивает поток, а человек включается только там, где нужен его опыт.

Другой сценарий ИИ в образовании: приёмная кампания и документы абитуриентов

Как только разговор про экзамены заканчивается, начинается другой поток — приёмная кампания. И там машинное зрение тоже оказывается полезным, только уже не на рукописных ответах, а на документах абитуриента.

В другом проекте мы прорабатывали систему автоматизации приёма и обработки документов на программы дополнительного образования. 

Логика системы: абитуриент загружает в личный кабинет PDF, JPG или PNG с паспортом, СНИЛС, дипломом, приложением, заявлением, эссе и другими файлами, а система сама приводит изображения к рабочему виду, классифицирует тип документа, извлекает поля и показывает результат сотруднику приёмной комиссии для проверки и корректировки. В проектном описании отдельно были заложены OCR для паспортов и СНИЛС, выделение полей по координатам, обработка дипломов и приложений, а также анализ эссе, мотивационных писем и даже видео-визитки. Данные после проверки должны были уходить в ФИС ФРДО.

Приёмная комиссия каждый сезон разбирает один и тот же набор проблем: абитуриенты загружают документы в разном качестве, страницы бывают перекошены, часть полей плохо читается, кто-то прикладывает не тот файл, кто-то отправляет нечитаемый паспорт, а кто-то — неполный комплект. Пока заявок немного, сотрудники ещё успевают проверять всё вручную. Когда поток доходит до тысяч анкет, команда начинает захлёбываться в рутине: всё больше времени уходит не на решение спорных случаев, а на разбор однотипных ошибок и сверку документов. В одном из таких сценариев мы закладывали нагрузку до 10 000 заявок за кампанию. По предварительной оценке, автоматизация такого процесса могла сократить операционные затраты на 30–40%, ускорить обработку заявок в 5–10 раз и довести точность данных до 99%.

Пакет абитуриента редко ограничивается только базовыми документами. Вместе с документами порой присылают сопроводительные письма, эссе, а иногда и видео-визитки. Обычно такие материалы проверяют вручную: читают, сверяют с критериями, переслушивают, делают пометки. Это отнимает у комиссии много времени, особенно когда заявок много. В одном из проектов мы работали над автоматизацией такого процесса: система должна была разбирать текстовые материалы по заданным критериям, извлекать речь из видео, переводить её в текст и передавать всё это на дальнейший анализ.

Для приёмной комиссии внедрение ИИ и машинного зрения имеет неоспоримые плюсы: сотрудники меньше времени тратят на однотипную подготовительную работу и быстрее переходят к сути. Вместо того чтобы вручную разбирать каждый файл, они получают уже собранный и структурированный пакет, с которым можно работать как специалисты, а не как операторы архива.

Еще один сценарий внедрения ИИ в образование: дистанционный экзамен, где нужно понять, кто отвечает и что именно он сказал

Ещё один запрос, который регулярно приходит из образования, касается дистанционной аттестации. Здесь проблема уже другая. Нужно не просто принять ответ, а убедиться, что экзамен проходит тот человек, который должен его проходить, и что сам ответ можно зафиксировать, сопоставить с критериями и сохранить в проверяемом виде.

В одном из наших проектов для ведомственного вуза мы прорабатывали два связанных сценария.

1. Двойная аутентификация по лицу и паспорту перед дистанционным экзаменом, зачётом или промежуточной аттестацией. В проектном описании система использует камеру, чтобы считать лицо учащегося и сравнить его с базой, отдельно обрабатывает паспорт для проверки его данных и изображения, а затем формирует отчёт по пройденной аутентификации.
2. Голосовой ответ на экзамене: система принимает аудио, переводит речь в текст, сопоставляет ответ с правильным вариантом или с заданными критериями, а также хранит отчёт по результату. Отдельно в этом же проекте рассматривалась идентификация по голосу.

Для дистанционного формата это важный сдвиг. Обычно слабое место удалённого экзамена выглядит так: личность проверяется формально, устный ответ живёт в записи, а дальше начинается ручной разбор, который трудно масштабировать. Если эту часть собрать в нормальную систему, онлайн-аттестация перестаёт быть компромиссом «лишь бы провести». Она становится процессом, в котором можно держать и контроль доступа, и доказуемость результата, и архив материалов.

Другие сценарии, которые уже приходят из образовательных организаций

Если смотреть на реальные запросы, образование давно не ограничивается проверкой тестов и распознаванием бланков. В работу попадают и более прикладные задачи, которые напрямую связаны с повседневной нагрузкой сотрудников.

Например, один из типовых запросов — чат-бот по правилам приёма. Он должен отвечать на вопросы абитуриентов по PDF-документу, находить нужный фрагмент в тексте и сразу показывать, на какой странице находится ответ. Рядом с этим часто возникает другая задача — автоматическое составление расписания с учётом групп, преподавателей, аудиторий, учебных планов и пересечений по времени.

Есть и другой класс задач — уже не про документы, а про территорию и режимные процессы. Это поиск человека по лицу и времени на территории кампуса, контроль въезда автомобилей с распознаванием номеров и водителей, журнал движения транспорта, фиксация пробега по фото одометра и номеру машины. На первый взгляд такие сценарии выглядят отдельными друг от друга, но для учебного центра, института или кампуса они складываются в один управленческий контур: кто находится на территории, кто въехал, кто выехал, где искать нужное событие и как быстро поднять запись или журнал.

Если собрать эти запросы вместе, картина становится понятной. Образовательным организациям нужен не абстрактный "ИИ для образования" и не демонстрация технологий сама по себе. Нужны инструменты под конкретные процессы: разобрать поток бланков, проверить документы, подтвердить личность на дистанционном экзамене, ответить по регламенту приёма, собрать расписание, найти событие в журнале или видеоархиве. Именно в таких задачах технология приносит заметную пользу.

Мы в NeuroCore разрабатываем ИИ-системы под реальные задачи образовательных организаций: от анализа экзаменационных работ и обработки документов до приёмных кампаний, дистанционной аттестации и внутренних сервисов. Если у вас есть процесс, который сегодня держится на ручной проверке, однотипной рутине или постоянной перегрузке сотрудников, разберём его вместе и покажем, где здесь можно подключить машинное зрение, OCR, языковые модели и интеграции так, чтобы это работало в вашей организации, а не только в презентации.

Оставить заявку в форме ниже |  Написать нам в ТГ