Десктопная метафора в 3D-пространстве - и новые эксперименты с мышью По мере того как системы расширенной реальности (XR) всё глубже сканируют и понимают физический мир, взаимодействие с этими смешанными представлениями остаётся сложной задачей. Современный акцент на «естественные» способы ввода имеет свои недостатки: касание ограничено пределами досягаемости руки и быстро вызывает усталость, а взгляд часто не обладает достаточной точностью для тонких взаимодействий. Чтобы преодолеть этот разрыв, была создана командой разработки World Mouse — кросс-реальность курсор, который переосмысливает привычную 2D-мышь для работы со сложными 3D-сценами. Система основана на двух ключевых механизмах: - внутриобъектном взаимодействии, которое использует нормали поверхностей для точного позиционирования курсора; - межобъектной навигации, которая применяет интерполяцию для перемещения через пустое пространство. World Mouse использует семантическую сегментацию и реконструкцию мешей, чтобы рассматривать физические объекты как интерактивные поверхности https://arxiv.org/pdf/2603.10984 Авторы пишут " мы опираемся на Depth-Adaptive Cursor, представленный в работе In-Depth Mouse [56], который позволяет взаимодействовать с помощью мыши в VR путём бросания луча от точки зрения пользователя и использования интерполяции на основе диаграммы Вороного для определения глубины в пустом пространстве. Конкретно система преобразует стандартные 2D-смещения мыши в угловые смещения курсорного луча, превращая плоское движение в сферическое вращение относительно точки зрения пользователя. Вместо дискретной сегментации в пространстве экрана World Mouse рассматривает физический и виртуальный мир как единое непрерывное пространство взаимодействия. Используя геометрическую реконструкцию физической среды (например, через Meta’s Scene API или Scene Meshing в Android XR), мы создаём смешанный граф сцены, который связывает поверхности реальной геометрии и виртуальных объектов — по сути, выступая в роли «невидимой сетки», соединяющей два мира. Это позволяет курсору плавно перемещаться по сцене, динамически изменяя свою глубину в зависимости от близости к физическим и цифровым объектам" Последствия выходят далеко за рамки удобства использования. По мере того как системы ИИ всё глубже проникают в наше пространственное окружение — генерируя контент, опосредуя интерфейсы и управляя физическими устройствами, — растёт спрос на инструменты, которые позволяют выражать намерения с высокой ясностью и детализацией. World Mouse - прецизионный инструмент для пространственного дизайна, управления ИИ и координации между устройствами.