⏺ CrossFormer – обсуждаем новый подход для управления роботами #news #science #long Что сделали? Создали универсальную модель для управления роботами, включая: – роботы-манипуляторы – навигационные роботы – четвероногие роботы – квадрокоптеры А раньше как было? Типы действий и данных к роботов разные, и до этого делали для каждого типа своего робота. Например, у квадрокоптера есть действие "ускорение вверх", а у четвероногого робота нет. Ребята сделали одну универсальную модельку для все действий и входных данных. Как работает? Взяли трансформер (классную модель для любых последовательностей), который кодирует различные наблюдения (изображения, данные сенсоров) в последовательности токенов. Это позволяет одной модели эффективно управлять разными типами роботов — от манипуляторов до дронов и четвероногих, используя единую архитектуру. Итоги Протетировали на реальных роботах: – манипуляцию: выполняли перемещение объектов – бимануальные задачи: координированные действиями двумя руками – навигация: робот обходил препятствия и достигал целей – передвижение: управляли ходьбой. – полёт: выполняли навигацию в воздухе. Предыдущие подходы показывали 51% успеха, а этот 73%. Прирост внушительный. Универсальность – тоже очень важный результат. На видео моделька управляет преодолением препятствий – слева новая, справа старая. Ссылки - Статья коротко, красиво, с демонстрацией - Статья полная