Путь групповой учёбы, версия 4 (Datawhale)
8) Введение в воплощённый ИИ для начинающих
- Открытое содержание: https://github.com/datawhalechina/every-embodied
- База знаний по учебным материалам: Учебное руководство (внутренний документ Feishu; ссылка не перенесена)
- Вопросы: Записи вопросов и сводка (внутренний документ Feishu; ссылка не перенесена)
- Ассистентам: запросите права на редактирование этого документа. Отметки о выполнении, отличные работы и все материалы передавайте в учебные группы 202603-1 и 202603-2 (внутренние ссылки Feishu; не перенесены).
- Описание курса:
Воплощённый ИИ (Embodied AI) сейчас очень востребован: от Mobile ALOHA до Pi0 и OpenVLA, SOTA-модели почти каждую неделю обновляются. Но многие хотят войти в область и застревают на первом шаге:
🤯 Материалов очень много, непонятно, с чего начать?
🤯 Порог входа высок: математические выводы и физические движки выматывают?
🤯 Ничего не запускается: настройка окружения доводит до отчаяния?
Не паникуйте! Этот пошаговый учебник Every-Embodied: Zero to Hero, созданный Datawhale и совместно доработанный открытым сообществом, теперь открыт. 🌟 Наш принцип: дружелюбность к новичкам, воспроизводимость инженерных решений и возможность расширения до передовых исследований. Мы начинаем с одной строки Python и шаг за шагом помогаем роботу получить «мозг»! 🧠
В этой версии, поверх принципа «сначала общие основы, затем ветви» из V3, добавлены рекомендации по приоритетному воспроизведению и рекомендации по продвинутому воспроизведению. Правило по умолчанию такое: в каждом Task в первую очередь выполняется одно самое стабильное, классическое и легче всего дающее результат для отметки воспроизведение; остальные платформы, модели и окружения — факультативные продвинутые задачи. Это помогает новичкам не теряться среди ManiSkill, GenieSim, Isaac Sim, Habitat, OpenVLA, SmolVLA, GR00T, SIM1 и других сред.
Вторая половина курса делится на три группы: модели манипуляций и модели мира, модели навигации и навигация дронов и прикладная практика и системное развёртывание. Тем, кто интересуется манипуляторами, захватом, VLA, ACT, Pi0, SmolVLA, OpenVLA и моделями мира, стоит выбрать ветвь манипуляций и моделей мира. Тем, кто интересуется навигацией, VLN, пониманием сцены, навигацией дронов и пространственным планированием задач, — ветвь моделей навигации и навигации дронов. Тем, кто хочет делать платы разработки, телеуправление, инструменты симуляции, генерацию данных и мультимодальные демонстрации, — ветвь прикладной практики и системного развёртывания.
- Целевая аудитория: студенты, инженеры и исследователи, интересующиеся воплощённым ИИ; нужны основы Python и базовая математика. Начинающие Python / разработчики ИИ, которые хотят систематически перейти в воплощённый ИИ; студенты, которым нужны курсовые проекты, дипломы или быстрое освоение воспроизведения статей; энтузиасты железа и робототехники, которые хотят пройти полный путь от управления физическим роботом до развёртывания Sim2Real.
- Номер курса: 929
- Количество учебных групп: 2
- Число участников: 180 человек на группу
| Роль | Имя |
|---|---|
| Первооткрыватель маршрута (разработчик курса) | Чэнь Кэвэй, Ли Юньди, Чжан Тяньи |
| Лоцман (операционный ассистент) | |
| Штурман (профильный ассистент) |
Распределение заданий:
| Задание (для каждого task достаточно отметиться по одной ссылке) | Дней | Срок сдачи | Проверка | Отличные работы |
|---|---|---|---|---|
| Старт 13 апреля | Всего 20 дней | |||
| Task01: воплощённый ИИ и управление роботом, обзор и развитие воплощённого ИИ, реализация PID-регулятора, основы кинематики робота, первичное знакомство с воплощённой навигацией (видеоурок). Соответствует: Популярное: воспроизведение робота-танцора с гала-концерта Видеоурок: http://xhslink.com/o/1lB9dX0Vt2t Курс 01: обзор воплощённого ИИ — в этой главе рассматриваются обзор и развитие воплощённого ИИ. Обзор воплощённого ИИ Курс 02: основы роботов и управление, координация «рука — глаз»: в этой главе рассматриваются «основы роботов» (кинематика) и «управление» (алгоритм PID). Описание пространства робота и преобразование координат Cartpole: моделирование и управление Основы воплощённой навигации (приоритетное задание): Настройка и среда Habitat Sim, описание набора данных Настройка Habitat Lab Видеоурок: http://xhslink.com/o/4FGHWn2YICu | 4 дня | Срок: 17 апреля, 03:00 | ||
| Task02: общие основы — завершение: зрительное восприятие, среды симуляции и парадигмы обучения Task01 уже охватывает обзор воплощённого ИИ, основы управления роботом и первичную навигацию. На этом этапе продолжается освоение общих возможностей: зрительного восприятия, информации о глубине и 3D, обучения с подкреплением, платформ симуляции и парадигм обучения в воплощённых задачах. Рекомендации по приоритетному воспроизведению: начинающим на этом этапе достаточно выполнить один лёгкий пример; не нужно одновременно устанавливать несколько сред симуляции. Рекомендуется выбрать одно из двух: зрительное восприятие или базовую симуляцию. Курс 04: компьютерное зрение и 3D-реконструкция в воплощённых сценах: в этой главе рассматриваются зрение роботов, оценка глубины, SAM и карты внимания при захвате. SAM и оценка глубины Тепловые карты внимания при захвате Курс 05: глубокое и обучение с подкреплением в воплощённых сценах: в этой главе рассматривается введение в обучение с подкреплением и принятие решений. Обучение с подкреплением для совместной переноски мебели несколькими роботами Симулятор на выбор (один из двух): выберите тот, который проще установить. Настройка симуляции ManiSkill Настройка GenieSim Видеоурок по GenieSim: http://xhslink.com/o/2tybo79bOsk Рекомендуемое задание: объяснить связь восприятия, обучения и симуляции в воплощённых задачах; либо запустить пример с визуальным восприятием, симуляцией или обучением с подкреплением. | 4 дня | Срок: 21 апреля, 03:00 | ||
| Task03: введение в ветви — выберите одну основную ветвь и выполните одно классическое воспроизведение в приоритетном порядке После Task01 и Task02 участники распределяются по ветвям. Задача Task03 — сначала успешно выполнить одну классическую задачу; одновременно пробовать несколько сред не рекомендуется. Каждый участник выбирает одну основную ветвь и в ней выполняет одно рекомендованное воспроизведение в приоритетном порядке. Ветвь A: модели манипуляций и модели мира Подходит тем, кто интересуется манипуляторами, захватом, имитационным обучением, VLA, ACT, Pi0, SmolVLA, OpenVLA и моделями мира. Приоритетные рекомендации: достаточно одного из двух. 1. Воспроизведение OpenVLA (приоритетное): классический вход в VLA, подходит тем, кто хочет понять, как визуально-языковая модель выдаёт действия. 2. Воспроизведение ACT, Pi0, SmolVLA в MuJoCo (приоритетное): классический вход в симуляцию манипуляций, подходит тем, кто хочет практиковать захват, ACT, Pi0 и SmolVLA. Видеоурок по захвату в MuJoCo: https://www.bilibili.com/video/BV1WhxeznE61/ Видеоурок по сбору данных и практике ACT и Pi0: http://xhslink.com/o/8lsptSLOlex Рекомендации для продвинутого чтения: выполняются после приоритетного воспроизведения и не являются обязательной отметкой Task03. SmolVLA-LIBERO Бенчмарк LIBERO Анализ и воспроизведение LeWorldModel Ветвь B: модели навигации и навигация дронов Подходит тем, кто интересуется навигацией, VLN, пониманием сцены, пространственной локализацией, планированием пути, навигацией дронов и мультимодальными задачами с воздушной точки зрения. Приоритетные рекомендации: сначала выполните базовую цепочку Habitat, не стоит сразу одновременно делать VLN и дронов. Если окружение не настроено, сначала изучите настройку в Task01; если уже настроено, сразу переходите к базовой практике. Практика Habitat Sim (приоритетная) Практика Habitat Lab (приоритетная) Видеоурок по навигации в Habitat: http://xhslink.com/o/4FGHWn2YICu Рекомендации для продвинутого чтения: после базовой цепочки Habitat. Введение в алгоритмы воплощённой навигации Практика мультимодальной большой модели для дрона Руководство по управлению дронами Руководство по планированию дронов Ссылка на симулятор (Windows): https://huggingface.co/datasets/Datawhale/house_win Ветвь C: прикладная практика и системное развёртывание Подходит тем, кто хочет работать с платами разработки, реальными манипуляторами, телеуправлением, инструментами симуляции и системной интеграцией. Приоритетные рекомендации: тем, у кого нет оборудования, лучше продолжить ManiSkill или GenieSim, выбранные в Task02, и не переустанавливать окружение заново; у тех, у кого есть RDK-X5 / LeRobot, приоритетна аппаратная цепочка. Генерацию данных и продвинутые инструменты симуляции стоит оставить для Task04. Начальное руководство по RDK-X5 Подключение манипулятора LeRobot к RDK-X5 для телеуправления Рекомендуемое задание: выбрать одну основную ветвь, объяснить причину выбора и отправить результат только одной приоритетной задачи. | 4 дня | Срок: 25 апреля, 03:00 | ||
| Task04: углубление ветви — выполните одно продвинутое воспроизведение или сравнительный анализ в выбранном направлении Task03 Task04 не требует менять направление и не повторяет входную задачу Task03. Участник продолжает основную ветвь, выбранную в Task03, и переходит от «запуска одного демо» к «воспроизводимому результату». Рекомендуется выбрать одно из следующих продвинутых заданий. Ветвь A: продвинутое направление манипуляций и моделей мира Подходит тем, кто в Task03 уже выполнил воспроизведение OpenVLA или MuJoCo. В Task04 не повторяется введение в OpenVLA / MuJoCo, а разбираются статьи, бенчмарки, модели мира или более полное понимание данных и обучения. Приоритетные рекомендации: достаточно одного из двух. 1. Разбор статей серии RT и анализ кода (приоритетное воспроизведение): помогает разобрать структуру, формат данных и цепочку вывода модели VLA для манипуляций. 2. Анализ и воспроизведение LeWorldModel (приоритетное воспроизведение): подходит для входа в направление моделей мира и понимания связи между предсказанием среды, планированием и манипуляциями робота. Дополнительные рекомендации: для тех, кто интересуется бенчмарками, SmolVLA, GR00T, мягкими симуляциями или соревнованиями моделей мира. Бенчмарк LIBERO SmolVLA-LIBERO Введение в Isaac GR00T и дообучение SIM1: симуляция мягких тел и генерация данных Модель мира 1X: соревнование Ветвь B: продвинутое направление моделей навигации и навигации дронов Подходит тем, кто в Task03 уже выполнил базовую цепочку Habitat. В Task04 не повторяется настройка Habitat и базовая практика, а делается переход к комплексной навигации, передовым VLN или темам по дронам. Приоритетные рекомендации: лучше всего выбрать комплексную вводную практику по воплощённой навигации и представить конфигурацию задачи, результаты траекторий, случаи неудач и предложения по улучшению. Комплексная вводная практика по воплощённой навигации (приоритетная) Дополнительные рекомендации: для тех, кого интересуют передовые VLN или воздушные роботы. Воспроизведение кода ETPNav Видеоурок по воспроизведению передового VLN ETPNav: http://xhslink.com/o/8t08X6dROt5 Практика мультимодальной большой модели для дрона Ссылка на симулятор (Windows): https://huggingface.co/datasets/Datawhale/house_win Руководство по управлению дронами Руководство по планированию дронов Ветвь C: продвинутое направление прикладной практики и системного развёртывания Подходит тем, кто в Task03 уже выполнил одну симуляцию, работу с платой разработки, телеуправлением или генерацию данных. В Task04 главное — не переустанавливать другую среду, а объяснить системную цепочку. Приоритетные рекомендации: достаточно одного из двух. 1. SIM1: симуляция мягких тел и генерация данных: подходит для генерации данных, симуляции мягких тел и сложных операционных сцен. 2. Введение в Isaac GR00T и дообучение: подходит для дообучения моделей, базовых моделей роботов и практики в экосистеме Isaac. Дополнительные рекомендации: для тех, кому нужны облачное развёртывание, Isaac Sim или инструментальная цепочка данных. Описание настройки Isaac Sim Полное руководство по развёртыванию Isaac Lab + GR00T в Alibaba Cloud Пример небольшого пространства InternDataEngine Рекомендуемое задание: сдать «результат углубления в той же ветви»: связь с Task03, выбранное продвинутое воспроизведение, шаги воспроизведения, обучения, развёртывания или генерации данных, ключевые скриншоты или метрики, проблемы и способы их решения, а также направления дальнейшего развития. | 4 дня | Срок: 29 апреля, 03:00 | ||
| Task05: систематизация результатов и обмен между направлениями На последнем этапе не стоит открывать новые среды: пройденное нужно оформить в виде повторно используемых результатов. Можно сдать отчёт о воспроизведении, видеодемонстрацию, GIF, записи настройки окружения, обзор направления, разбор статьи или кода, отчёт о проблемах и их решении. Приоритетная форма результата: рекомендуется сдавать комбинацию «одно приоритетное воспроизведение + одно продвинутое понимание», а не список ссылок без реально выполненных запусков. Направление моделей манипуляций и моделей мира: можно оформить отчёты по OpenVLA, ACT/Pi0/SmolVLA в MuJoCo, серии RT, GR00T, LIBERO, SIM1 или LeWorldModel. Направление моделей навигации и навигации дронов: можно оформить отчёты о воспроизведении по Habitat, VLN, ETPNav, навигации дронов, управлению и планированию дронов или мультимодальной практике дронов. Направление прикладной практики и системного развёртывания: можно оформить отчёты о настройке окружения и проблемах по ManiSkill, GenieSim, Isaac Sim, InternDataEngine, RDK-X5, телеуправлению LeRobot, развёртыванию реальной системы или мультимодальным демонстрациям. Рекомендуемое задание: сдать итоговый результат с описанием выбранной ветви, приоритетного задания, продвинутого задания, возникших проблем, способов решения и направлений дальнейшего углубления. | 4 дня | Срок: 3 мая, 03:00 |