Путь групповой учёбы, версия 6 (Datawhale)
9) Введение в воплощённый ИИ для начинающих, v6
- Открытое содержание: Every-Embodied: Zero to Hero in Embodied AI
- База знаний по учебным материалам: Учебное руководство (внутренний документ Feishu; ссылка не перенесена)
- Вопросы: Записи вопросов и сводка (внутренний документ Feishu; ссылка не перенесена)
- Отметки о выполнении, отличные работы и таблица взаимодействия ассистентов — по объявлению группы Datawhale текущего выпуска.
Этот путь рассчитан на новый выпуск групповой учёбы продолжительностью 20 дней. После V5 в репозитории появилось очень много материалов. Если продолжать раскладывать их по темам «VLA / зрение / CAD / симуляция / аппаратура / модели мира», новичкам будет трудно понять, с чего начать. Поэтому V6 организован по четырём основным возможностям воплощённой системы:
| Направление | Решаемая задача | Для кого подходит |
|---|---|---|
| Управление действиями | Как робот движется, захватывает и исполняет стратегию действий | Тем, кто хочет работать с манипуляторами, ACT, Pi0, SmolVLA, OpenVLA, PhysBrain, PRTS, G0.5, Dexora, LWD, VisualThink-VLA, Agentic-VLA, Dexbotic-RLinf, DM0.5, EVA-Client, выравниванием наград, LeRobot и реальным управлением |
| Восприятие и картографирование | Как робот видит, находит цели, понимает 3D-сцены и ресурсы | Тем, кто хочет работать с SAM, Locate Anything, LingBot-Map, 3D/CAD, Shape Your Body, реконструкцией сцен и проектированием роботов |
| Навигация и планирование | Как робот перемещается в среде, планирует маршрут, активно выбирает, куда смотреть, выполняет VLN или задачи дронов | Тем, кто хочет работать с Habitat, ETPNav, VLN, активным восприятием, NBS, управлением дронами и планированием пути |
| Модели мира | Как робот предсказывает будущее, синтезирует данные и оценивает стратегии «в воображении» | Тем, кто хочет работать с LeWM, RISE, RAW-Dream, WoG, WALL-WM, RoboDream, Gamma-World, BWM, τ0-WM, GE-Sim 2.0 |
Эти четыре направления не исключают друг друга. Полная робототехническая система в итоге использует одновременно управление, восприятие, планирование и модели мира. Но на этапе групповой учёбы рекомендуется сначала выбрать одно основное направление и пройти один понятный путь целиком.
Информация о курсе
- Для кого: студенты, инженеры и исследователи, интересующиеся воплощённым ИИ; желательны основы Python и базовые навыки командной строки.
- Продолжительность: 20 дней, пять заданий Task по 4 дня каждое.
- Сроки: Task01 — до 17 июля, 03:00; последующие задания идут с интервалом 4 дня.
- Минимальная цель: выполнить Task01 и в Task02–Task04 пройти хотя бы одно приоритетное задание в выбранном направлении.
- Рекомендуемая цель: выполнить одно приоритетное воспроизведение и одно продвинутое разбор, а в Task05 сдать один отчёт, пригодный для повторного использования.
| Роль | Имя |
|---|---|
| Первооткрыватель маршрута (разработчик курса) | Чэнь Кэвэй, Ли Юньди, Чжан Тяньи |
| Лоцман (операционный ассистент) | по объявлению текущего выпуска |
| Штурман (профильный ассистент) | по объявлению текущего выпуска |
Как выбрать направление
Если направления ещё нет, его можно выбрать по таблице:
| Что вы хотите делать | Рекомендуемое направление | Первое задание |
|---|---|---|
| Заставить манипулятор взять стакан, переместить предмет, запустить ACT / VLA | Управление действиями | MuJoCo ACT/Pi0/SmolVLA или OpenVLA |
| Научить робота узнавать цели, оценивать глубину, реконструировать сцены, создавать 3D-модели | Восприятие и картографирование | SAM / оценка глубины, Locate Anything или Build123d |
| Заставить робота или дрон перемещаться по комнате, карте или маршруту и активно выбирать, куда смотреть | Навигация и планирование | Habitat Sim/Lab, ETPNav или активное восприятие NBS |
| Прочитать недавние статьи о моделях мира в робототехнике | Модели мира | Базовые VAE/DDPM, LeWM или обзор RoboDream/RAW-Dream |
Тем, у кого нет оборудования и мощного GPU, лучше выбрать восприятие и картографирование или навигацию и планирование. Тем, у кого есть опыт работы с манипулятором, RDK-X5, LeRobot или MuJoCo, лучше выбрать управление действиями. Тем, кто хочет читать статьи и разбирать методы, лучше выбрать модели мира.
Общие правила отметок
В каждом Task нужно сдать результат только по одному направлению. Не пытайтесь пройти все ссылки.
- Приоритетное воспроизведение: скриншоты, журналы, видео, результаты или краткий отчёт о воспроизведении.
- Разбор статьи: описание задачи, входов и выходов, основных модулей и границ применимости метода.
- Диагностика окружения: если запуск не удался, укажите версию системы, GPU/CPU, среду Python/Conda, место ошибки и план дальнейшей проверки.
- Итоговый отчёт: не перечисляйте ссылки. Чётко опишите выбранный путь, доказательства выполнения, точки отказа и дальнейшие шаги.
Распределение заданий
| Задание | Дней | Срок | Цель | Рекомендуемая работа |
|---|---|---|---|---|
| Task01: общая основа и выбор направления | 4 | 17 июля, 03:00 | Построить общий обзор воплощённого ИИ и выбрать основное направление | Запустить быстрый старт проекта или прочитать обзор воплощённого ИИ и описание пространства робота и преобразование координат, затем написать «какое направление я выбрал и почему» |
| Task02: вход в направление | 4 | 21 июля, 03:00 | Выполнить минимальную проверяемую задачу в выбранном направлении | Одно из четырёх направлений; см. пояснение Task02 ниже |
| Task03: практика в направлении | 4 | 25 июля, 03:00 | Запустить или подробно разобрать одну основную задачу и получить показываемый результат | Продолжать работу в направлении Task02; не рекомендуется менять направление на ходу |
| Task04: углублённый разбор | 4 | 29 июля, 03:00 | Выполнить более глубокое воспроизведение, разбор статьи или сравнительный анализ | Ответить на вопрос «что доказывает этот метод и что он не доказывает» |
| Task05: систематизация результатов и обмен | 4 | 2 августа, 03:00 | Подготовить итоговый отчёт, видеодемонстрацию, заметки о воспроизведении или обзор направления | Сдать полный результат, который сможет повторно использовать следующий выпуск |
Task02: вход в направление
Цель Task02 — не сделать большой проект, а получить у каждого участника первый результат в выбранном направлении.
| Направление | Приоритетная задача | Рекомендуемая форма сдачи |
|---|---|---|
| Управление действиями | Воспроизведение ACT, Pi0, SmolVLA в MuJoCo или воспроизведение OpenVLA | Скриншот запуска окружения, один smoke test обучения или вывода, либо описание цепочки входов и выходов VLA |
| Восприятие и картографирование | SAM и оценка глубины, Locate Anything: визуально-языковая локализация или Build123d: введение в код-моделирование | Результат сегментации или локализации, результат глубины, либо экспортированная 3D-модель |
| Навигация и планирование | Практика Habitat Sim или практика Habitat Lab | Скриншот запуска среды навигации, кадр наблюдения, траектория или описание конфигурации |
| Модели мира | VAE: подробное описание, DDPM: подробное описание или анализ и воспроизведение LeWorldModel | Одна страница с конспектом метода: что предсказывает модель мира, каковы входы и выходы |
Task03: практика в направлении
Task03 переходит к более полному воспроизведению или чтению метода. Выбирается по-прежнему одно направление.
Управление действиями
Приоритетный выбор:
- Воспроизведение OpenVLA
- Воспроизведение ACT, Pi0, SmolVLA в MuJoCo
- Подключение манипулятора LeRobot к RDK-X5 для телеуправления
- EVA-Client: инженерная навигация по реальному развёртыванию и оценке роботов
- Robots That Know What to Ask: обзор выравнивания наград
Главное в сдаче — объяснить цепочку «наблюдение → модель или стратегия → действие → исполнение или оценка». Для реальных задач можно сдать фото или видео телеуправления, записи сбора данных; для симуляционных — скриншоты обучения и вывода, а также разбор неудачных случаев. Направление выравнивания наград не требует обязательного воспроизведения на реальном манипуляторе; важно объяснить связь между демонстрацией, дисперсией признаков, выявлением недоопределённости, объяснительными вопросами и обновлением награды.
Восприятие и картографирование
Приоритетный выбор:
- Locate Anything: визуально-языковая локализация
- LingBot-Map: потоковая трёхмерная реконструкция по видео
- Text-to-CAD: инженерное моделирование
- ForgeCAD: визуальная обратная инженерия
- Shape Your Body: обзор проектирования роботов по градиенту ценности
Главное в сдаче — объяснить, какие входы, что делает модель или инструмент и как выход служит роботу. Направление CAD должно правильно описывать реальный процесс: естественный язык или эталонное изображение обычно не превращаются напрямую в CAD. Сначала создаётся параметрический исходный код, затем среда CAD экспортирует PNG/GIF/STEP/STL/3MF. Направление Shape Your Body должно объяснять связь между параметрами тела, симуляционным управлением, функцией ценности и проектированием по градиенту.
Навигация и планирование
Приоритетный выбор:
- Практика Habitat Sim
- Практика Habitat Lab
- Воспроизведение ETPNav
- NBS: обзор активного восприятия и планирования пути
- Практика мультимодальной большой модели для дрона
Главное в сдаче — объяснить связь между картой, наблюдением, целью, маршрутом, информационной выгодой и действием. Для задач навигации недостаточно проверить, достигнут ли конечный пункт; важно записывать причины неудач: дрейф локализации, недостаточность наблюдения, обход по лишнему пути, неясность языковой цели или неточная оценка фронтира и информационной выгоды в активном восприятии.
Модели мира
Приоритетный выбор:
- Анализ и воспроизведение LeWorldModel
- RISE: самоулучшающаяся стратегия робота
- RoboDream: компонуемая модель мира для синтеза данных
- Gamma-World: многоагентная модель мира
- BWM: модель мира с условием по действиям
- τ0-WM: единая видео-действие модель мира
- GE-Sim 2.0: замкнутый видеосимулятор мира
Главное в сдаче — определить, к какому типу относится модель мира: предсказывает латентное состояние, предсказывает видео, выполняет RL в воображении, усиливает VLA, синтезирует демонстрационные данные, создаёт общий мир для нескольких агентов, выполняет видеопрогноз с условием по траекториям действий, объединяет видеопрогноз, генерацию действий и оценку действий во время теста или упаковывает модель мира как замкнутый обучаемый симулятор. Направление моделей мира не требует обязательного воспроизведения экспериментов; достаточно чётко описать границы метода.
Task04: углублённый разбор
Task04 нужен для сравнения или глубокого разбора. Ниже даны рекомендуемые темы для каждого направления.
| Направление | Рекомендуемая тема | Рекомендуемая форма сдачи |
|---|---|---|
| Управление действиями | DiT4DiT-LIBERO, EventVLA, WALL-OSS, WALL-X, 3DVLA, PhysBrain 1.0, PRTS, Galaxea G0.5, Dexora, LWD, VisualThink-VLA, Agentic-VLA, Dexbotic-RLinf, DM0.5, EVA-Client, Robots That Know What to Ask | Сравнить классический и новый VLA: представление действий, память, понимание 3D-экземпляров, предобучение на физическом здравом смысле, предобучение досягаемости целей / CRL, авторегрессионную цепочку рассуждений с потоком токенов действий, обучение высокоуровневых двурукой и многопалой манипуляций с учётом массы, групповое RL на реальных роботах (DIVL / QAM), токены визуальных доказательств / маршрутизированные доказательства / низколатентный вывод, онлайн-адаптацию агента, инженерное пост-обучение Dexbotic + RLinf, высокопроизводительный вывод DM0.5, аудируемую оценку EVA-Client, выравнивание недоопределённых демонстраций и наград, инженерные каркасы, границы открытого кода |
| Восприятие и картографирование | Locate Anything и YOLO, потоковое картографирование LingBot-Map, случаи ForgeCAD: 3D-принтер, клавиатура, кисть, проектирование робота по градиенту ценности Shape Your Body | Представить набор «вход — выход» и объяснить смысл каждого промежуточного результата; для Shape Your Body подробно описать multi-embodiment policy/value, VGDS и диагностику конструкции |
| Навигация и планирование | базовые задачи Habitat против ETPNav, либо активное планирование NBS, либо цепочка управления дронами / планирования дронов | Сдать траектории, конфигурацию, примеры успешных и неудачных случаев и разбор модулей планирования; для NBS подробно объяснить node-wise beam search, expected gain и RRAG |
| Модели мира | RAW-Dream, WoG, WALL-WM, RoboDream, Gamma-World, BWM, τ0-WM, GE-Sim 2.0 | Сравнить «модели мира с возможностью rollout», «модели мира в условном пространстве», «событийные модели мира действий», «модели мира синтеза данных», «многоагентные общие модели мира», «видеомодели мира с условием по действиям», «единые видео-действие модели мира» и «замкнутые видеосимуляторы мира» |
Если есть вычислительные ресурсы или аппаратура, можно выбрать такие продвинутые практики:
- SIM1: симуляция мягких тел и генерация данных
- UniLab + MotrixSim: гетерогенное RL для роботов
- Genesis World 1.0: полный опыт и конвейер симуляции робота
- Тематика AMD ROCm: воспроизведение стратегий
- AGILE: loco-manipulation человекоподобного робота
- HIMLoco: управление движением четырёхногого робота
- HumanoidMimicGen: генерация данных полнотелого планирования
Task05: систематизация результатов и обмен
На последнем этапе не стоит открывать новые среды. Нужно оформить пройденное в виде результатов, пригодных для повторного использования.
Рекомендуемая структура отчёта:
- Выбранное направление: управление действиями / восприятие и картографирование / навигация и планирование / модели мира.
- Выполненное приоритетное задание: что запущено, что прочитано, какой результат.
- Ключевые доказательства: скриншоты, журналы, видео, сгенерированные изображения, траектории, 3D-модели или таблицы.
- Понимание метода: входы, выходы, основные модули, метрики оценки и границы применимости.
- Заметки об ошибках: окружение, зависимости, видеопамять, данные, пути, оборудование или понимание статьи.
- Советы следующему выпуску: что делать сначала, что потом, что можно пропустить.
Четыре примера маршрутов
Маршрут A: управление действиями
Task01 — запустить минимальную демонстрацию проекта; Task02 — выбрать MuJoCo или OpenVLA; Task03 — выполнить воспроизведение ACT/Pi0/SmolVLA или OpenVLA; Task04 — прочитать DiT4DiT, EventVLA, WALL-OSS, 3DVLA, PhysBrain 1.0, PRTS, Galaxea G0.5, Dexora, LWD, VisualThink-VLA, Agentic-VLA, Dexbotic-RLinf, DM0.5, EVA-Client или Robots That Know What to Ask; Task05 — сдать отчёт «VLA / стратегии манипуляций / инженерия пост-обучения / высокопроизводительный вывод / реальное развёртывание и оценка / разбор выравнивания наград».
Маршрут B: восприятие и картографирование
Task01 — понять структуру воплощённой системы; Task02 — выполнить SAM / оценку глубины или Locate Anything; Task03 — выполнить LingBot-Map или ForgeCAD; Task04 — сделать Locate Anything и YOLO, Text-to-CAD, 3D-модели или Shape Your Body; Task05 — сдать отчёт «как робот понимает сцену и формирует 3D-ресурсы или параметры конструкции».
Маршрут C: навигация и планирование
Task01 — понять систему робота и преобразования координат; Task02 — запустить Habitat Sim/Lab; Task03 — выполнить ETPNav, активное восприятие NBS или мультимодальную навигацию дрона; Task04 — разобрать Habitat/ETPNav, NBS, управление дронами или планирование дронов: планирование пути, информационную выгоду, языковые цели и траектории неудач; Task05 — сдать разбор «от наблюдения до действия в системе навигации».
Маршрут D: модели мира
Task01 — понять различие между моделью мира и VLA; Task02 — изучить VAE/DDPM или LeWM; Task03 — прочитать RISE, RoboDream, Gamma-World, BWM, τ0-WM или GE-Sim 2.0; Task04 — сравнить RAW-Dream, WoG, WALL-WM, Gamma-World, BWM, τ0-WM и GE-Sim 2.0; Task05 — сдать отчёт «что именно предсказывает модель мира и как она служит роботу».
Указатель материалов
| Направление | Рекомендуемые точки входа |
|---|---|
| Управление действиями | MuJoCo ACT/Pi0/SmolVLA, OpenVLA, DiT4DiT-LIBERO, EventVLA, WALL-OSS, WALL-X, 3DVLA, PhysBrain 1.0, PRTS, Galaxea G0.5, Dexora, LWD, VisualThink-VLA, Agentic-VLA, Dexbotic-RLinf, DM0.5, EVA-Client, Robots That Know What to Ask, HumanoidMimicGen |
| Восприятие и картографирование | SAM и оценка глубины, Locate Anything, LingBot-Map, Build123d, Text-to-CAD, ForgeCAD, Shape Your Body |
| Навигация и планирование | Habitat Sim, Habitat Lab, ETPNav, NBS: активное планирование пути, мультимодальная большая модель для дрона, управление дронами, планирование дронов |
| Модели мира | VAE, DDPM, LeWM, RISE, RAW-Dream, WoG, WALL-WM, RoboDream, Gamma-World, BWM, τ0-WM, GE-Sim 2.0 |