​​ОП, ОП, Teleop - ч.5 UR3, не смотря на отличную поддержку в ROS 2, заставил нас потрудиться в настройке контроллеров оригинального аппаратного интерфейса. Робот иногда двигался очень резко и постоянно вибрировал. Вопрос решили настройкой PD-регулятора - немного понизили отзывчивость системы, после чего робот заработал как часы с оптимальной скоростью реакции. Наладив телеуправление, мы перешли к тестированию модуля записи эпизодов и имитационного обучения. Управление записью эпизодов осуществлялось с помощью клавиатуры; в случае с одной роборукой это не доставляло неудобств, хотя если переходить к двуручному телеуправлению, то неизбежно нужно будет переходить к голосовым командам. Сами эпизоды писались в каноничный rosbag2 (это своеобразная фича библиотеки для сохранения возможности дебага средствами ROS) с последующей конвертацией в формат lerobot. В качестве пробной задачи взяли примитивный pick&place на имевшихся в лаборатории образцах - нужно было захватить синий цилиндр и поставить его на белый кубик. Мы экспериментировали с количеством камер (2-3), с количеством эпизодов (старались уложиться в заявленные Aloha ~50 эпизодов, но потом проводили эксперименты с записью до 250), рандомизацией, обучением своей сетки и дообучением Small VLA. Был испытан первый прототип нашего веб-сервиса, который принимает записанные эпизоды, агрегирует на сервере и запускает обучение. Навык заработал, но стабильного воспроизводства добиться не получилось на 200 эпизодах, однако мы приобрели ценный опыт и знания о многих ньюансах процесса, сделали выводы. Чуть позже я общался с одним из разработчиков робота-пикера от Yandex Robotics (одна из немногих команд в России, которая делает Imitation Learning для производственных задач на пром-роботах), что позволило как-то дополнительно переосмыслить пережитое: 1. Джойстики в целом оправдали себя. Для сбора данных на Пикере применяют VR-контроллеры и, в среднем, на обучение с нуля оператора уходит от 1 месяца, чтобы его навык был сопоставим с производительностью текущей модели. Джойстики-манипуляторы явно выигрывают по этому параметру - обучиться им действительно можно за 2-3 дня. Однако, если вы можете себе позволить постоянного оператора на долгий срок, то VR в целом тоже выглядит привлекательным вариантом. VR позволяет не быть привязанным к конкретному рабочему месту - оператор может находиться в разных позициях. У нас в rbs-teleop есть в этом расширяемость. 2. Данных нужно больше, но при этом точно не так много как у Пикера - там было собрано около 2 млн эпизодов. По моим предположениям такое количество требуется для тренировки относительно универсального навыка (как в случае с Пикером требуется захватывать любые предметы в поле зрения); если номенклатура предметов ограничена, то можно обойтись меньшим количеством данных. То есть, иными, словами грамотная декомпозиция скиллов для конкретную прикладную решает вопрос - специализированный скилл обучить проще и дешевле. 3. Железо имеет значение. У нас был довольно скудный расклад по Computer Vision - три веб-камеры Logitech C920 с постоянно слетающими настройками в условиях непрерывно меняющихся в течение дня условиями освещённости (солнечная сторона), что снижало общее качество данных записей. Да, это был осознанный выбор - мы стремились обеспечить низкий порог по бюджету робототехнического комплекса, однако в будущих проектах мы уже ориентировались на RGBD - как минимум двух - на запястье D405, на штатив для обзора D435. Инференс мы запускали на геймерском лаптопе с GTX 1070 и в целом он справлялся. Для сравнения Пикер запускается на RTX 3090 и выше. В целом вполне может быть работоспособным сценарий с инференсом на сервере (как бы дико для интеграторов это не звучало). Итого подход перешёл в стадию MVP: мы проверили почти все базовые компоненты системы, поняли точки роста, составили дорожную карту по дальнейшей её модернизации. #teleop #ur #yandex