Над разработкой программного обеспечения, которое позволяет роботу с уверенностью захватывать неподвижные и движущиеся предметы работают сейчас многие. Группа инженеров из Квинслендского Технологического Университета представила алгоритм, позволяющий роботам быстро выделить контуры объекта для захвата из нескольких, даже если группа объектов движется.

Для этого используется сверточная нейросеть, которая получает снимки с камеры, установленной на манипуляторе. Сеть формирует изображение, на котором каждому пикселю присвоено прогнозное качество захвата, что позволяет вычислить угол поворота манипулятора и траекторию движения, необходимую для захвата. Основное достижение - скорость работы алгоритма, который успевает повторять расчет до 50 раз за секунду, что и позволяет роботу работать с движущимися объектами.

 Сеть обучили на созданном инженерами Корнеллского университета наборе данных. Успешность захватов достигает 83% для сложных движущихся предметов. Подробнее.