Благодаря системе kPAM, разработанной в MIT CSAIL, промышленные манипуляторы могут поднимать и складывать предметы, включая те, которые они видят впервые. 

Тесты проводились с использованием коллаборативного робота KUKA IIWA LBR, захват Schunk WSG 50 и датчик глубины Primesense. 

Система компьютерного зрения на базе AI создает "тепловую карту" объекта на основе наборов точек в трехмерном пространстве. AI анализирует RGB с учетом глубины изображения в качестве "входного сигнала", и затем прогнозирует глубину по каждой координате, выводя вероятностную "тепловую карту" и карту прогнозирования глубины для каждой координаты. Такой подход называют манипуляцией доступностью ключевых точек (kPAM). Работа  с 3D-облаком ключевых точек позволяет приспосабливаться к вариабельности однотипных объектов.  Для  различных объектов используются системы описаний различной полноты, например, для сравнительно однородных объектов, типа кружки, достаточно три координатных точки, а для работы с обувью - 6 координат.

Понимание геометрии объекта расширяет возможности манипуляции им. 

Обнаружив объект, система принимает решение - что с ним можно сделать. Если робот видит, например, кружку с ручкой, он может повесить ее за ручку на крючок. Если робот идентифицирует объект, как обувь, он может поставить ее на полку. В 100 попытках работы с двадцатью ботинками, робот ошибся 2 раза, не сумев поместить ботинок на стойку. С набором из 40 кружек различной формы, размера и объема, роботу удалось захватить все чашки, стоявшие вертикально. Но при работе с этими же чашками, лежащими горизонтально, робот справился только в 19 случаях - исследователи связывают это с ограниченным ходом захвата. Кружки были размещены на полке не далее 5 см от целевого местоположения во всех случаях, кроме двух (поставив кружки вверх ногами).

В тесте, когда требовалось повесить кружки за ручки, робот имел дело с набором из 30 кружек. Пять из них были очень маленькими, с ручками размером менее 2 см в высоту и ширину. Робот справлялся с развешиванием кружек с большими ручками в 100% ситуаций, кружки с маленькими ручками робот сумел развесить только в каждом второй случае. Исследователи объясняют это неточным обнаружением ключевых точек. 

В CSAIL хотели усовершенствовать свою систему до состояния, когда управляемый ею манипулятор не сможет справляться, например, с разгрузкой посудомоечной машины или уборкой кухонного стола. Для этого планируется, в частности, аннотировать учебные данные, необходимые системы. Если дополнить получаемые образцы синтетическими данными, робот будет справляться с распознаванием лучше. Ключевые точки потребуется размечать каждую новую попытку, а также придется переобучать модель, даже если категория объекта не изменяется. 

Разработчики утверждают, что такой подход обеспечивает большую гибкость, нежели чем другие современные методы. Источник: venturebeat.com. 

+

За новостями робототехники и ИИ удобно следить в телеграм-канале prorobots, обсудить эти темы можно в группе R-Chat   

Подборка ссылок на интересные самоделки в области робототехники - в телеграм-канале roboDIY_ru