RoboDream: руководство по композиционной модели мира для синтеза данных

Этот раздел разбирает статью RoboDream: Compositional World Models for Scalable Robot Data Synthesis. Препринт опубликован на arXiv 01.06.2026, авторы — из USC Physical Superintelligence Lab и Toyota Research Institute. Раздел уместно ставить в главе 17-world-models как обзор переднего края моделей мира после WoG и WALL-WM.

Если следовать текущей структуре книги, не стоит переставлять базовые главы 01-diffusion-mathematics-and-problem-analysis, 02-vae-explanation-and-code и 03-ddpm-explanation-and-code. RoboDream лучше всего смотрится как шестой обзор в разделе о передовых методах моделей мира: LeWM рассказывает о базовых вопросах латентной модели мира, RISE — о самоулучшении политики с помощью композиционной модели мира, RAW-Dream — об усилении VLA внутри модели мира, WoG — о моделировании в пространстве условий (condition-space world modeling), WALL-WM — о событийной модели мира с действиями, а RoboDream — о синтезе учебных демонстраций робота с помощью композиционной видеомодели мира.

После этого раздела важно усвоить одну фразу:

RoboDream — не нейронный симулятор, который работает в реальном времени по схеме step(action) -> next_state, как MuJoCo или Isaac. Это генератор данных с моделью мира: в качестве каркаса он использует траектории, в которых видно только робота, а с помощью априорных данных о сцене и объекте перерисовывает обучающее видео демонстрации.

Эта фраза важна. Она объясняет, почему RoboDream стоит изучить, и помогает не поддаться влиянию слова «world model».

1. Статья, страница проекта и статус кода

Этот раздел не стоит писать как пошаговое воспроизведение результатов статьи. Разумнее сначала разобрать архитектуру, поток данных, экспериментальные выводы и границы применимости, а после публикации официального кода повторить конвейер обучения, генерации и политики.

2. Какую проблему решает RoboDream

Рис. 1. Общий анимированный обзор RoboDream. Цель не в том, чтобы создавать видео робота с нуля, а в том, чтобы при заданном каркасе движения робота перерисовать старую траекторию на новые объекты, новые сцены и новые ракурсы камеры.

Источник: официальный репозиторий RoboDream на GitHub.

Нехватка данных для имитационного обучения роботов знакома всем. На одну задачу уходит несколько десятков или сотен реальных телеуправляемых демонстраций, и это уже требует много времени. Если ещё менять объекты, фон, ракурсы камеры и расстановку на столе, затраты быстро растут. Большие открытые наборы данных роботов, например DROID, сильно соблазняют, но исходные данные DROID часто сильно отличаются от вашего стенда:

Идея RoboDream: старые траектории действий могут быть полезны, а трудно переиспользовать именно визуальный домен. Поэтому метод не сводится к простой аугментации изображений и не генерирует совершенно новые действия. Он выполняет более конкретную работу:

уже имеющаяся или новая траектория робота
        ↓
рендеринг в Isaac Lab в виде видео только с роботом (robot-only motion video)
        ↓
добавление априорных данных о фоне целевой сцены (scene prior)
        ↓
добавление априорных данных о внешнем виде целевого объекта (object prior)
        ↓
видеомодель мира синтезирует обучающее видео в целевом домене
        ↓
обучение политики с исходными метками действий траектории

В этом смысл слова Compositional World Models в названии статьи: движение робота, внешний вид объекта, фон сцены и ракурс не привязаны жёстко к одной исходной демонстрации, а могут разбираться на части и собираться заново.

3. Является ли это «управляемой моделью мира»

На этот вопрос нужно ответить на двух уровнях.

В слабом смысле RoboDream управляемая. Можно контролировать:

• траекторию только робота: как движется тело робота и как открываются и закрываются захваты;
• априорные данные о сцене (scene prior): как выглядят фон и рабочая поверхность стола;
• априорные данные об объекте (object prior): как выглядит целевой объект;
• камеру и ракурс: одну и ту же траекторию можно заново отрисовать только с роботом с новой позиции камеры;
• текстовую инструкцию задачи: языковое описание накладывает семантические ограничения на процесс генерации.

В сильном смысле это не управляемый симулятор. Он не предоставляет:

текущее состояние s_t + действие a_t -> следующее состояние s_{t+1}

Он также не позволяет, как Isaac, MuJoCo или Genesis, подавать политике или человеку действие на каждом шаге и в реальном времени получать следующий кадр, результат столкновения, награду и признак завершения. По сути это офлайн-синтезатор видео демонстраций: сначала ему подаётся корректная траектория, а затем он «рисует» целевой объект и сцену вокруг этой траектории.

Настоящая управляемая модель мира должна уметь как минимум следующее:

Поэтому точнее всего назвать RoboDream так: controllable video world model for robot data synthesis — управляемая видеомодель мира для синтеза данных робота, а не learned physics simulator (обученный физический симулятор).

4. Общая архитектура: три визуальных априорных условия и два семантических и двигательных

Рис. 2. Архитектура RoboDream. Читать эту схему удобнее, если разделять условия на «идущие по каналам» и «идущие через внимание»: видео только с роботом и scene prior конкатенируются с зашумлённым латентным представлением видео по каналам; object prior превращается в токены и попадает в self-attention; инструкция к задаче и глобальная траектория поступают через cross-attention.

Источник: HTML-версия RoboDream на arXiv.

Это самый важный рисунок статьи. Он отвечает на главный вопрос: какую информацию нужно явно подавать в видеомодель, чтобы она устойчиво генерировала демонстрации робота?

Условия RoboDream делятся на пять типов:

В архитектуре три ключевых решения.

Первое: видео только с роботом — это пиксельный якорь движения. Многие думают, что для управления достаточно подать углы суставов или позу концевого эффектора, но статья не ограничивается низкоразмерным состоянием. Сначала траектория рендерится в Isaac Lab как видео. Тогда модель видит в пиксельном пространстве, где в каждом кадре находится манипулятор, как он движется и когда открываются или закрываются захваты. Это похоже на видеоверсию ControlNet: форма робота не угадывается по промпту, а явно показывается модели.

Второе: scene prior подаётся через расширение каналов. Фон в коротком видео обычно почти статичен, поэтому статья растягивает один scene prior во времени в статичное видео и конкатенирует его по каналам с латентным представлением зашумлённого видео и видео только с роботом. Тогда на каждом временном шаге модель видит одну и ту же раскладку окружения, и фон меньше дрейфует.

Третье: object prior вводится через self-attention. Объект не наклеивается на фиксированные координаты, а кодируется в латентные токены объекта, которые видеотокены могут использовать в self-attention. Это тонкость: модель учится тому, как выглядит целевой объект, а не тому, что он обязан находиться в определённой точке априорного изображения.

Упрощённая схема потока данных:

flowchart LR
    A["Зашумлённое латентное видео"] --> F["Видеотрансформер диффузии"]
    B["Видео только с роботом<br/>кинематический якорь"] --> C["VAE-кодирование"]
    D["Scene prior<br/>статичный фон"] --> E["VAE-кодирование + расширение по времени"]
    C --> G["Конкатенация по каналам"]
    E --> G
    A --> G
    G --> F
    H["Object prior<br/>вырезанные объекты"] --> I["VAE-кодирование как токены объектов"]
    I --> J["Расширенное self-attention"]
    J --> F
    K["Инструкция к задаче<br/>энкодер T5"] --> L["Cross-attention"]
    M["Глобальная траектория<br/>MLP"] --> L
    L --> F
    F --> N["Сгенерированное видео демонстрации робота"]

Ценность этого решения не в том, что модель «больше», а в том, что задача генерации разбивается на несколько легко контролируемых частей: движение робота задаёт видео только с роботом, фон — scene prior, внешний вид объекта — object prior, а семантику задачи — инструкция.

5. Почему видео только с роботом так важно

Если генерировать видео операции робота только по тексту, модели придётся одновременно решить четыре трудные задачи:

1. тело робота не должно деформироваться;
2. движение манипулятора должно соответствовать ограничениям суставов;
3. контакт захвата с объектом должен быть правдоподобным;
4. фон и целевой объект должны соответствовать целевой сцене.

RoboDream не заставляет видеомодель решать всё это с нуля, а сначала фиксирует движение робота. Видео только с роботом выполняет три функции.

Первая: оно обеспечивает согласованность воплощения (embodiment consistency). Видеомодели часто искривляют руку робота, теряют захват или неверно рисуют суставы. Видео только с роботом явно задаёт форму робота и его положение в каждом кадре, а модель в основном дорисовывает объекты и сцену.

Вторая: оно неявно содержит информацию о камере. Статья подчёркивает, что видео только с роботом содержит информацию о камере в пиксельной области. Если та же траектория отрисовывается с нового ракурса, проекция манипулятора в изображении меняется; вместе с scene prior для этого ракурса модель может сгенерировать демонстрацию с нового угла (novel view).

Третья: оно сохраняет пригодность меток действий. Во многих методах генерации робототехнических данных из текста сначала создаётся видео, а потом с помощью обратной динамики (inverse dynamics) восстанавливаются действия, и ошибка при этом легко усиливается. В RoboDream траектория действий уже существует, а видео — это перерисовка стороны наблюдений в целевой домен. Так обходится ловушка «сначала сгенерировать видео, потом угадать действие».

Но у этого достоинства есть и граница: если входная траектория не подходит целевому объекту или раскладке, RoboDream не исправит её и не превратит в разумный план. Он может перерисовать захват так, что он будет выглядеть как в целевом домене, но не гарантирует, что эта траектория подходит объекту с другим размером, массой или положением.

6. Prior extraction: как автоматически выделить объекты и сцену

Рис. 3. Процесс извлечения априорных данных (prior extraction). RoboDream использует VLM, чтобы по инструкции и первому кадру найти объекты, относящиеся к задаче, затем Grounded-SAM сегментирует объекты, а OmniPaint удаляет их с исходного изображения и получает чистый scene prior.

Источник: официальная страница проекта RoboDream.

Чтобы обучить RoboDream, нужно разделить существующие данные робота на три части: движение робота, целевой объект и фоновую сцену. Статья не требует покадровой ручной разметки, а строит обучающие пары автоматическим конвейером.

Первый шаг — идентификация объектов. По первому кадру и инструкции VLM выделяет объекты, действительно относящиеся к задаче. Например, для задачи «put marker into bowl» релевантны маркер и миска, а не стол, стена или основание манипулятора.

Второй шаг — построение object prior. Grounded-SAM сегментирует эти объекты задачи, после чего вырезанные объекты случайно поворачиваются и масштабируются и помещаются на чистый холст. Этот шаг легко упустить, но он важен: случайное размещение заставляет модель учить внешний вид объекта, а не запоминать его координаты в исходном изображении.

Третий шаг — построение scene prior. Объекты задачи стираются с первого кадра, а затем OmniPaint выполняет инпейнтинг, восстанавливая чистый фон. Так scene prior описывает только фон и поверхность стола, а object prior — только объекты задачи. Только после такого разделения модель действительно учится «менять объект» и «менять сцену» независимо.

Если этого не делать, возникает противоречие: в scene prior уже есть чашка, а object prior даёт ещё одну чашку, и непонятно, какая из них целевая. RoboDream устраняет эту неоднозначность, сначала удаляя объекты с фона.

7. Два режима работы: retrieval and rebirth и prop-free teleoperation

RoboDream предлагает не только одну архитектуру модели, но и два практических режима производства данных.

7.1 Retrieval and Rebirth: старая траектория «перерождается» в новой сцене

Рис. 4. Zero-shot демонстрационное «перерождение». Справа — исходная траектория, найденная в DROID, в центре — демонстрация в целевом домене, которую RoboDream перерисовал по целевым object prior и scene prior.

Источник: HTML-версия RoboDream на arXiv.

Retrieval and Rebirth можно понимать как «найти похожий каркас движения, а затем заменить внешний вид на целевой домен». Процесс такой:

1. задать новую инструкцию к задаче;
2. закодировать инструкцию и инструкции к каждой траектории датасета энкодером T5;
3. по косинусному сходству найти в DROID траектории с близкой семантикой;
4. воспроизвести траекторию в Isaac Lab и отрисовать видео только с роботом;
5. подготовить scene prior целевой сцены и object prior целевого объекта;
6. RoboDream генерирует демонстрационное видео в целевом домене;
7. обучить нижестоящую политику на сгенерированном видео и исходных метках действий.

Этот режим лучше всего подходит, когда в открытых данных уже есть похожие движения, например приближение, захват, подъём, перемещение, укладка или протирка, а целевая среда и объекты отличаются, но каркас движения можно переиспользовать.

Он не подходит, когда для новой задачи нужна совсем другая динамика или стратегия контакта. Например, при переходе от захвата кубика к откручиванию крышки бутылки, открыванию молнии или вставке USB исходная структура действий может быть вообще несовместима. RoboDream может сменить «внешнюю одежду», но не создаст правильную стратегию контакта из ничего.

7.2 Prop-free teleoperation: работаем с воздухом, а объекты дорисовываем

Prop-free teleoperation — одна из самых интересных идей статьи. Она заимствует термин из кино, где актёр сначала играет с воображаемыми предметами, а реквизит добавляется на этапе постобработки. В робототехнике оператору не нужно каждый раз расставлять настоящие объекты: он может выполнять «понарошку» движения робота на пустом столе или в симуляторе и записывать только корректные траектории. Затем RoboDream добавляет целевые объекты и сцену.

У этого подхода два преимущества:

• не нужно постоянно сбрасывать положение объектов, поэтому сбор телеуправляемых данных идёт быстрее;
• одна универсальная траектория «взять и положить» с разными object prior превращается в данные для нескольких задач.

Но есть и заметный риск: тонкие корректировки контакта при реальном захвате, обратная связь от столкновений и скольжение объекта в prop-free траекториях отсутствуют. RoboDream должен «дорисовать» эти визуальные явления. Если дорисовать неправильно, видео может выглядеть правдоподобно, но метки действий и визуальный контакт окажутся рассогласованы.

Поэтому правильно считать prop-free приближённым способом снизить стоимость сбора данных, а не полной заменой реальной телеоперации.

8. Compositional generation: самое изящное в этой статье

Рис. 5. Возможность композиционной генерации RoboDream. Одна и та же базовая траектория может генерировать новые экземпляры, новые сцены, новые задачи и новые точки зрения, если менять object prior, scene prior, контекст задачи и ракурс камеры.

Источник: HTML-версия RoboDream на arXiv.

Этот рисунок показывает главную «композиционность» статьи.

Здесь важно понимать границы «zero-shot». Zero-shot у RoboDream в основном означает визуальную композиционную обобщаемость, а не zero-shot планирование движения. Модель не видит новую задачу и сама не придумывает новые действия. Она берёт уже существующие или заново собранные совместимые траектории и меняет визуальный контекст: объекты, сцену и ракурс, которых не было в обучении.

Именно это делает метод сильнее обычной аугментации изображений. Обычная аугментация чаще всего меняет цвета, текстуру или фон, но базовая взаимосвязь взаимодействий остаётся прежней. RoboDream может переродить траекторию движения в новой целевой области, так что старая траектория визуально становится демонстрацией, ближе к целевой среде.

9. Как читать экспериментальные результаты

Рис. 6. Задачи реальной оценки на роботе. В статье используется платформа Franka Panda в стиле DROID, на которой оцениваются четыре задачи: Put Marker into Bowl, Remove Marker from Bowl, Put Cube into Cup, Wipe Table with Towel.

Источник: HTML-версия RoboDream на arXiv.

Оценка в статье сосредоточена не на том, насколько красиво выглядит видео, а на том, помогают ли сгенерированные данные нижестоящей политике. Для обучения политики используется Diffusion Policy, а итоговое качество проверяется на реальном роботе.

9.1 Результаты Retrieval and Rebirth

Смотреть только на максимальный Gen-Mix не стоит. Правильнее читать таблицу так:

Во-первых, Orig-100 даёт 0%. Прямое обучение политики целевой области на найденных исходных данных DROID полностью проваливается, что говорит о сильном сдвиге домена. Старые данные не бесполезны по части действий, но визуальный домен не совпадает.

Во-вторых, Gen-100 в среднем даёт всего 15.0%. Чисто сгенерированные данные сами по себе не очень сильны и заметно уступают Real-50 с 36.3%. Это значит, что RoboDream пока не может заменить реальные данные.

В-третьих, Gen-Mix в среднем даёт 62.5%, что выше и Real-50, и Orig-Mix. Самый надёжный вывод такой: небольшой набор реальных данных как основа плюс добавление сгенерированных RoboDream данных целевого домена заметно улучшает обучение политики.

Поэтому статья по-настоящему доказывает, что генерируемые данные полезны как реальная аугментация данных, а не то, что полностью синтетические данные уже решают проблему обучения роботов.

9.2 Результаты prop-free

Prop-free даёт в среднем 32.5%, что немного ниже Real-50 с 36.3%. Однако в статье сообщается, что сбор 50 реальных телеуправляемых эпизодов занимает около 2 часов, а 50 траекторий prop-free — около 55 минут, то есть примерно в 2,2 раза быстрее.

Смысл этого результата тоже нужно уточнить: prop-free не превосходит реальные данные по качеству, а достигает близкого эффекта при меньших затратах. Это полезно, когда нужно быстро проверить задачу или расширить каркасы движения, но если задача очень чувствительна к физике контакта, реальные данные по-прежнему незаменимы.

9.3 Масштабирование со сгенерированными данными

Эта таблица показывает, что добавление сгенерированных данных даёт эффект масштабирования, но прирост выходит на плато примерно при Mix-200. Возможные причины: ограниченное разнообразие найденных траекторий, ограниченное качество генерации и остаточный разрыв между сгенерированными данными и реальным развёртыванием.

10. Сравнение с обычной генерацией видео, традиционными симуляторами и другими моделями мира

Из таблицы видно, что RoboDream занимает определённое место: он не VLA-основа и не полноценный интерактивный симулятор мира, а движок перерождения траекторий (trajectory-conditioned visual rebirth engine) для задач, в которых узкое место — данные для имитационного обучения.

11. Что в статье стоит изучить подробнее

Первое: удачное сокращение проблемы. Модель не придумывает движения робота из ничего, а фиксирует траекторию и учится визуальному контексту. Это значительно стабильнее, чем генерация демонстраций робота по тексту.

Второе: обход обратной динамики. Метки действий берутся из исходной траектории, а генеративная модель отвечает только за сторону наблюдений. Это лучше подходит для обучения политики, чем схема «сначала генерируем видео, потом предсказываем по нему действия».

Третье: тонкое разделение object prior и scene prior. Случайное размещение object prior не даёт модели запомнить координаты, а удаление объектов из scene prior предотвращает конфликт между двумя априорными данными. Оба решения направлены на то, чтобы модель действительно выучила композиционность.

Четвёртое: многоракурсная обработка — не простая склейка. Статья рассматривает каждый вид как отдельную видеозапись, токенизирует их по отдельности и затем объединяет токены, что уменьшает пространственную неоднозначность при простой горизонтальной склейке.

Пятое: статья показывает ценность внешних больших данных, таких как DROID, более конкретно. Прямое использование открытых данных даёт сдвиг домена, но каркасы движения в них могут быть полезны. RoboDream переводит эти каркасы в целевой визуальный домен.

12. Основные ограничения и риски

Главная ошибка при чтении RoboDream — принять генерацию видео за замену физической симуляции. Это неверно. Ограничения метода минимум такие:

Первое: фотореалистичность видео не равна согласованности действий. Видео может выглядеть реалистично, но захват, объект и метки действий могут не совпадать на уровне сантиметров и кадров. В задачах робототехники объект, смещённый на 2 сантиметра, может привести к тому, что политика выучит неверную связь.

Второе: траектория только с роботом должна быть правдоподобной изначально. Статья в ограничениях подчёркивает, что метод предполагает: отрисованное видео только с роботом верно описывает траекторию, которую робот должен выполнить в целевой сцене. RoboDream не отвечает за построение лучшего плана движения.

Третье: контактная физика остаётся слабым местом. Силы контакта, трение, скольжение и режимы отказа при захвате, отпускании, протирке или толкании видеодиффузия может лишь приблизительно выучить из данных, но не решить явно, как это делает физический движок.

Четвёртое: чисто генерируемых данных пока недостаточно. Gen-100 в среднем даёт 15.0%, заметно ниже Real-50. Наиболее надёжный способ использования — смешанное обучение (mixed training), а не полностью синтетическое.

Пятое: код пока не опубликован полностью. В официальном репозитории открыты README, лицензия и ресурсы, но конвейеры обучения, генерации и обучения политики по-прежнему помечены как coming soon. Воспроизведение экспериментов станет возможным после публикации кода, весов, конфигураций и скриптов обработки данных.

13. Что делать, если захочется воспроизвести

Сейчас не стоит сразу тратить вычислительные ресурсы на воспроизведение. Но можно заранее проверить список того, что понадобится, и следить за публикацией кода.

Более реалистичный план на ближайшее время такой:

1. Прочитать страницу проекта и статью на arXiv, разобраться с рисунками 2, 3, 5 и 6.
2. Следить за тем, появятся ли скрипты обучения и генерации в Jay-Ye/RoboDream.
3. Если сначала опубликуют inference, попробовать генерацию на небольшом числе траекторий DROID или собственных данных.
4. Если появится конвейер обучения политики, воспроизвести главное сравнение Real-50 и Gen-Mix.
5. При воспроизведении в первую очередь проверять согласованность действий, а не только то, насколько красиво выглядит видео.

14. Порядок чтения с другими статьями этого раздела

Рекомендуемый порядок чтения:

Если выразить место RoboDream одной фразой:

Он не создаёт нейронную вселенную, в которой робот может жить, а превращает уже имеющиеся траектории робота в данные, которые можно переиспользовать между объектами, сценами и ракурсами.

15. Ссылки

• Страница проекта RoboDream: https://junjieye.com/RoboDream/
• Статья RoboDream: arXiv:2606.02577
• Официальный репозиторий RoboDream: Jay-Ye/RoboDream
• Набор данных DROID: DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset
• Cosmos-Predict2: NVIDIA Cosmos Predict2