Ученые из Югры научили нейросеть распознавать мансийский текст
Учёные Югорского НИИ информационных технологий разработали программу, которая распознаёт мансийский текст на фото и сканах практически без ошибок. Это важный шаг в сохранении языка.
Значительная часть книг, учебников, газет и сборников фольклора на мансийском существует только в бумажном виде. Для перевода в цифровой формат текст приходится набирать вручную - это долго, а свободно владеющих языком людей немного. Стандартные OCR-программы не справлялись с мансийскими буквами: особенно с символами с макронами (чёрточками сверху) и буквой «». Такие знаки либо терялись, либо превращались в бессмысленные символы.
За основу специалисты взяли существующую программу распознавания русского текста и дообучили её на мансийском. Для обучения использовали 1,3 млн синтетических примеров - изображений мансийских слов с соответствующим текстовым написанием. Материалом послужили подлинные мансийские тексты, отрисованные разными шрифтами и кеглями.
Если раньше программа ошибалась в 18,5% случаев, то теперь доля ошибок составляет 0,85% - почти в 20 раз меньше. Слова вроде «Хл» и «варнэ», которые прежде искажались, теперь распознаются без ошибок. Программа доступна всем желающим в интернете, проверить её можно на «Этнопортале» Югры.































