В Югре создают нейросетевые модели для мансийского языка
Часть уже работает, другие пока обучаются. Об этом рассказал руководитель центра развития искусственного интеллекта Югорского НИИ информационных технологий Михаил Русанов.
В проекте – несколько моделей. Одна переводит с русского на мансийский и обратно. Для нее взяли открытую версию и дообучили на корпусе параллельных предложений. Еще две распознают речь и генерируют звучащую мансийскую речь. Интересно, что озвучила модель журналист Галина Кондина. Четвертая – читает текст с картинок, сканов и PDF-файлов. Именно она показывает самый заметный прогресс. Раньше ошибка составляла 18,5 процента, теперь – 0,85 процента.
– Это как раз про модель, которая распознает текст с картинок. Если взять ее в чистом виде, вы получите ошибку примерно в каждом пятом символе, а если взять нашу, уже дообученную модель, то у вас будет ошибка только в 1 из 100 символов, – пояснил Михаил Русанов.
Сейчас специалисты обучают большую языковую модель, которая должна полноценно понимать мансийский. Пока на «Этнопортале» работает облачный инструмент «Аги». Он хорошо понимает и отвечает на мансийском, однако в будущем облачную модель заменят на локальную разработку Югры. Это дешевле и даст независимость от зарубежных решений.
Основная сложность – сбор данных. Корпус параллельных предложений, то есть переводов с одного языка на другой, не дает модели навыка отвечать на вопросы. Нужны пары «вопрос – ответ» на мансийском, а таких текстов почти нет. В 2025 году эксперты перевели около пяти тысяч пар предложений в таком формате. В этом году специалисты перешли к синтетическому формированию данных: с помощью существующих переводчиков и подхода «Аги» создают несколько сотен тысяч пар для обучения большой языковой модели.
