​​Prometheus - устройство для телеуправления с силовой обратной связью Команда из лаборатории Дзмитрия Цецерюкоу (Dzmitry Tsetserukou, Сколтех, Москва) разработала приспособление для телеуправления на базе HTC Vive Trackers 2.0. Устройство включает в себя оригинальные пальцы и контроллер, обрабатывающий данные о силе сжатия в реальном времени, благодаря чему оператор может ощущать силу захвата, прикладываемую к объектам. Все исходники железа, ПО, инструкции по изготовлению и инструкции по настройке и запуску опубликованы в github. В одноимённой статье выделяется два основных метода телеуправления: 1. Копирование кинематики манипулятора (GELLO, AirExo, Aloha, Echo). Обеспечивает максимально быстрое обучения оператора. 2. Применение обратной кинематики для воспроизведения положения end-эффектора (отпадает необходимость в копировании). Наиболее популярные устройства - VR-контроллер, отслеживание движений кистей оператора или устройство с IMU-датчиком. Метод является более универсальным, но и кривая обучения чуть более крутая; есть риски задержек на решение задачи обратной кинематики. Разработанное устройство реализует второй подход b состоит из рамы, рукоятки и крышки с прикрепленным HTC Vive трекером (в самой статье много картинок, проще посмотреть). Электронный блок представляет собой две платы: плата датчика силы на STM32F303CBT6 и плата управления двигателем (она же основной контроллер приспособления, на STM32F401RET6TR). Принцип действия: - плата датчика силы измеряет усилие захвата, линеаризует сигнал и передает его на плату управления мотором по протоколу RS-485; - плата управления мотором вычисляет необходимое усилие для двигателя, обрабатывает данные с энкодера о положении и передает всю релевантную информацию на компьютер через гальванически изолированный USB-интерфейс. Особо следует отметить специально разработанные сило-чувствительные пальцы для механического захвата Robotiq 2F-85, в которые встроены датчики силы RP-C7.6-LT. Пальцы обеспечивают силовую обратную связь со всей поверхности энд-эффектора и защиту датчика силы от повреждения. Мягкая анти-скользящая силиконовая накладка (Soft-Touch Anti-Slip Silicone Pad), отлитая из двухкомпонентного силикона, предотвращает проскальзывание, обеспечивает более равномерное распределение усилия и, тем самым, позволяет осуществлять мягкий захват объектов. Сбор данных и инференс были проверены на испытательном стенде с роботом UR3. Техническое зрение обеспечивалось камерами Logitech C920 HD Pro на запястье и установленной сбоку Realsense D455. Обратная кинематика в ходе сбора данных вычислялась через встроенные механизмы UR на базе Real-Time Data Exchange. Для манипулирования были выбраны чувствительные к усилию объекты: куриные яица, помидоры, зубная паста, бутылка шампуня (было записано по сто эпизодов на каждый объект). Для обучения использовалась предварительно обученная трансформер-модель Octo-Small, которая (как утверждают авторы) "обеспечивает баланс между производительностью и эффективностью инференса, сохраняя при этом компактную архитектуру". Полный процесс дообучения занял 2,5 часа: 50k эпох с размером пакета (batch size) 32 на GPU NVIDIA RTX 4090 с 24 ГБ видеопамяти (также утверждается, что для выхода на плато достаточно 20k эпох). Экспериментальные результаты: - Операторы прикладывали в среднем на 35,77% меньше силы, когда обратная связь была включена, что показывает повышенную точность при обращении с хрупкими объектами - Policy, обученные с использованием входных данных о положении и силе(P+F), достигли уровня успешности до 90% в таких задачах как захват помидора. Да, в настоящее время система жёстко оптимизирована для руки UR3 и захвата Robotiq 2F-85, что ограничивает её применение к другим РТК без модификаций, но репозиторий в Github определённо повышает шансы на их появление. #hardware #open #teleop