Речь идет о таких моделях, как Qwen-RobotNav - для навигации, Qwen-RobotManip - для физического взаимодействия с объектами и Qwen-RobotWorld - для прогнозирования развития сцены (см. здесь). По задумке, эти модели должны обеспечить возможность для роботов и ИИ-агентов не только воспринимать текст и изображения, но и действовать в физическом мире. Такие наборы ПО принято называть «полным стеком для физического ИИ или воплощенного ИИ» (от англ. embodied AI): модели переводят команды на естественном языке в конкретные физические действия платформ.

Набор должен решать давние проблемы робототехники – необходимость ухода от жестких алгоритмов и несовместимость разных платформ. Qwen-RobotManip приводит данные, получаемые с роботов разной конструкции, к общему вектору, что позволяет переносить навыки между платформами без полного переобучения. Это открывает путь к масштабированию: один «мозг» сможет управлять множеством роботов, включая роботов различного типа. Кроме того, Alibaba делает акцент на обучении на открытых данных, что повышает доступность решений.

Стоит ли российским компаниям-разработчикам присмотреться к набору: да. По тем же причинам. Сопоставимого открытого решения с таким же уровнем интеграции навигации, манипуляции, моделирования среды – в России нет. Поэтому китайский универсальный инструмент для «выравнивания» данных – полезное решение. Но стоит учитывать тот факт, что хотя модели показывают хорошие результаты в бенчмарках, для массового их внедрения в реальных условиях, еще потребуется немало усилий, поскольку многие тесты проводились в симуляциях. Потребуются дополнительные пилотные испытания. Впрочем, это, наверное, очевидно.

((еще можно на Хабре почитать))