The Waymo World Model: A New Frontier For Autonomous Driving Simulation Спойлер: построена на основе Genie 3 Разглядывая видосы из Genie 3 мы в основном представляли себе применения этого добра в играх. Однако Genie 3 содержит в себе знания не только про игровые миры, а про весь наш мир целиком. Waymo совместно с Deepmind взяли и сделали на ее основе генератор\симулятор нашего мира, чтобы тренировать на его основе свои беспилотные автомобили. И это уже похоже на реальный метаверс. Цитирую: Модель мира Waymo построена на базе Genie 3 — самой продвинутой универсальной модели мира Google DeepMind, которая генерирует фотореалистичные и интерактивные 3D-среды — и адаптирована к требованиям области вождения. Используя огромные знания Genie о мире, она может смоделировать крайне редкие события — от торнадо до случайной встречи со слоном — которые практически невозможно запечатлеть в реальном масштабе. Архитектура модели обеспечивает высокую управляемость, позволяя инженерам создавать и модифицировать симуляции с помощью простых языковых подсказок, входных данных и макетов сцен. Вот тут интересно: модель Waymo World Model генерирует высокоточные, мульти-сенсорные выходы, включающие как данные с камеры, так и с лидара. То есть там еще и генерится лидарный слой на выходе. Благодаря нашему специализированному посттренингу мы переносим обширные знания мира из 2Dвидео в 3D-лидарные выходы, уникальные для аппаратного комплекса Waymo. Зачем: Большинство моделей симуляции в индустрии автономного вождения обучаются с нуля, основываясь только на собранных ими дорожных данных. Такой подход означает, что система учится только на ограниченном опыте. Глубокие знания Genie 3 о мире, полученные в результате предварительного обучения на чрезвычайно большом и разнообразном наборе видео, позволяют исследовать ситуации, которые никто никогда непосредственно не наблюдал. В общем это гигантский симулятор (произвольного) мира на базе Genie 3, который может создавать несуществующие дороги и ситуации, и все это потом кормится для обучения беспилотников. Синтетические миры. Насколько я помню у Юнити был такой специальный продукт, но там на выходе был рендер из Юнити, а тут как бы фотореалистичный рендер этого(любого) мира. Там есть генерация пьяных водителей, слонов на дорогах, снежных заносов. Ну точно метаверс. Обязательно откройте ссылку, там ниже можно даже покрутить эти миры (со слонами) прямо в браузере (но у вас должно быть много памяти, иначе Хром захлебывается). Эта кастомная Genie 3 позволяет управлять водителем, умеет в промптинг (смена времени года, ненастье, кабаны на дороге), а еще она умеет преобразовывать видео с регистраторов(и просто видео) в свой трехмерный внутренний мир. Также они натренировали ее для очень длинных проездов без потери памяти. Синтетический мир для тренировки роботов - вот куда это все катится.. Го по ссылке: https://waymo.com/blog/2026/02/the-waymo-world-model-a-new-frontier-for-autonomous-driving-simulation/ https://x.com/GoogleDeepMind/status/2019808426675843105