Системы распознавания жестов человеческих рук прошли долгий путь за последнее десятилетие. Сегодня эта технология пригодна для многих передовых приложений, таких как хирургические роботы в области здравоохранения. Однако точность распознавания жестов может быть снижена из-за низкого качества данных, поступающих от носимых датчиков, часто из-за их размера и плохого контакта с человеком, который их носит.
Теперь ученые из Технологического университета Нангянг в Сингапуре (NTU Singapore) заявляют, что они разработали систему искусственного интеллекта (ИИ), которая способна распознавать жесты рук, комбинируя эластичные датчики деформации кожи с технологией компьютерного зрения.
Чтобы решить эту проблему, команда NTU Singapore создала «биоинспирированную» систему слияния данных, в которой используются растягиваемые датчики деформации, похожие на кожу, в сочетании с системой искусственного интеллекта. Вместе эти технологии напоминают способ, которым человеческий мозг вместе обрабатывает чувства кожи и зрение.
Биоинспирированная система, которая более подробно описана в Nature Electronics, состоит из трех нейросетевых подходов. Сверточная нейронная сеть, которая представляет собой сеть машинного обучения для ранней визуальной обработки, многослойную нейронную сеть для обработки соматосенсорной информации и резервную нейронную сеть, которая объединяет визуальную и соматосенсорную информацию вместе.
В совокупности это создает систему, способную более точно и эффективно распознавать человеческие жесты. Чтобы получить надежные сенсорные данные, команда NTU Singapore изготовила прозрачный растягиваемый датчик деформации, сделанный из однослойных углеродных нанотрубок. Датчик, который является гибким и легко приклеивается к коже, не виден на фотографиях.
По словам исследователей, это серьезное улучшение по сравнению с жесткими носимыми датчиками, которые не могут обеспечить достаточный контакт с кожей для точного сбора данных. Поскольку датчики сингапурской команды плотно прилегают к коже, устройство обеспечивает получение сигнала высокого качества, что жизненно важно для высокоточного распознавания.
В качестве доказательства концепции команда протестировала свою систему искусственного интеллекта, основанную на биоинспекциях, управляя роботом и направляя его через лабиринт с помощью только жестов рук. Эта система распознавания жестов руки вела робота через лабиринт с нулевыми ошибками по сравнению с шестью ошибками распознавания, сделанными системами распознавания, основанными только на зрении.
Точность системы искусственного интеллекта команды сохранялась даже при тестировании в неблагоприятных условиях, таких как высокий уровень фонового шума и плохое освещение. В темноте система достигла точности распознавания почти 97%.
В настоящее время исследовательская группа изучает возможность создания системы виртуальной и дополненной реальности на основе своей системы искусственного интеллекта для различных приложений, охватывающих здравоохранение, развлечения и домашнюю реабилитацию.
© digitrode.ru