Студент Крымского федерального университета обучил нейросеть распознавать язык жестов

Студент Крымского федерального университета (КФУ) им. Вернадского Денис Щербаков разработал систему распознавания языка жестов с текстовой расшифровкой при помощи нейросети, сообщается в Telegram-канале Министерства внутренней политики, информации и связи Республики Крым.
«Посредством камеры программа распознает жесты и выводит буквы на экран. Система способна распознавать более 30 знаков», — говорится в сообщении.
Как уточнили в университете, для обучения нейросети студент использовал собственную базу данных, в которой на каждую букву приходится от 100 до 200 примеров жестов от разных людей, с разных камер и ракурсов.
«Для разработки использовалась система, состоящая в сравнении координат — костяшек руки. Также использовались специальные функции, дескрипторы многоугольника, который составляла рука. Путем математики и алгоритмов был создан датасет, при помощи которого можно идентифицировать жест», — добавили в вузе.