Ученые разработали основанное на глубоком обучении программное обеспечение для захвата движения, которое использует несколько видов камеры для моделирования движений мухи в трех измерениях. Конечная цель - использовать эти знания для разработки роботов, похожих на мух.
«Просто подумайте о том, на что способна муха», - говорит профессор Паван Рамдья, чья лаборатория в Институте мозга и разума EPFL совместно с лабораторией профессора Паскаля Фуа в Институте компьютерных наук EPFL руководила исследованием. «Муха может карабкаться по местности, на которую не способен колесный робот."
Мухи не очень нравятся людям. Мы справедливо связываем их с менее чем аппетитными переживаниями в нашей повседневной жизни. Но есть неожиданный путь к искуплению: роботы. Оказывается, у мух есть некоторые особенности и способности, которые могут стать основой для нового дизайна роботизированных систем.
«В отличие от большинства позвоночных, мухи могут взбираться практически по любой местности», - говорит Рамдья. «Они могут прилипать к стенам и потолку, потому что у них есть клейкие подушечки и когти на кончиках ног. Это позволяет им практически ходить куда угодно. в нужный момент действовать."
Именно это видение извлечения принципов, управляющих поведением мух, для информирования о дизайне роботов, привело к разработке DeepFly3D, системы захвата движения для мухи Drosophila melanogaster, модельного организма, который почти повсеместно используется во всем мире. биология.
В экспериментальной установке Ramdya муха ходит по крошечному парящему шарику, подобно миниатюрной беговой дорожке, а семь камер фиксируют каждое ее движение. Верхняя сторона мухи приклеена к неподвижной платформе, чтобы она всегда оставалась на месте при ходьбе по мячу. Тем не менее, муха «считает», что движется свободно.
Собранные изображения с камер затем обрабатываются DeepFly3D, программным обеспечением для глубокого обучения, разработанным Семихом Гюнелем, аспирантом, работающим в лабораториях Рамдии и Фуа. «Это прекрасный пример того, как междисциплинарное сотрудничество было необходимо и приводило к преобразованиям», - говорит Рамдья. «Используя информатику и нейробиологию, мы решили давнюю проблему».
Что особенного в DeepFly3D, так это то, что он может определять трехмерную позу мухи или даже других животных, а это означает, что он может автоматически прогнозировать и проводить поведенческие измерения с беспрецедентным разрешением для различных биологических приложений. Программное обеспечение не нужно калибровать вручную, оно использует изображения с камеры для автоматического обнаружения и исправления любых ошибок, допущенных при расчетах позы мухи. Наконец, он также использует активное обучение для повышения собственной производительности.
DeepFly3D открывает способ эффективного и точного моделирования движений, поз и углов суставов плодовой мушки в трех измерениях. Это может вдохновить на создание стандартного способа автоматического моделирования 3D-позы и у других организмов.
«Муха, как модельный организм, очень хорошо сочетает в себе гибкость и сложность», - говорит Рамдья. «Если мы узнаем, как он делает то, что он делает, мы сможем оказать существенное влияние на робототехнику и медицину и, что, возможно, самое главное, мы сможем получить эти знания за относительно короткий период времени».