Путь групповой учёбы, версия 3 (Datawhale)
8) Введение в воплощённый ИИ для начинающих
- Открытое содержание: https://github.com/datawhalechina/every-embodied
- База знаний по учебным материалам: Учебное руководство (внутренний документ Feishu; ссылка не перенесена)
- Вопросы: Записи вопросов и сводка (внутренний документ Feishu; ссылка не перенесена)
- Ассистентам: запросите права на редактирование этого документа. Отметки о выполнении, отличные работы и все материалы передавайте в учебные группы 202603-1 и 202603-2 (внутренние ссылки Feishu; не перенесены).
- Описание курса:
Воплощённый ИИ (Embodied AI) сейчас очень востребован: от Mobile ALOHA до Pi0 и OpenVLA, SOTA-модели почти каждую неделю обновляются. Но многие хотят войти в область и застревают на первом шаге:
🤯 Материалов очень много, непонятно, с чего начать?
🤯 Порог входа высок: математические выводы и физические движки выматывают?
🤯 Ничего не запускается: настройка окружения доводит до отчаяния?
Не паникуйте! Этот пошаговый учебник Every-Embodied: Zero to Hero, созданный Datawhale и совместно доработанный открытым сообществом, теперь открыт. 🌟 Наш принцип: дружелюбность к новичкам, воспроизводимость инженерных решений и возможность расширения до передовых исследований. Мы начинаем с одной строки Python и шаг за шагом помогаем роботу получить «мозг»! 🧠
В этой версии сохранено расписание Task01 из предыдущих выпусков, чтобы участники могли пользоваться уже имеющимися назначениями ассистентов и ссылками для отметок. Начиная с Task02 расписание перестроено по этапам. Общая логика: сначала общие основы, затем выбор направления. Вторая половина курса делится на три группы: модели манипуляций и модели мира, модели навигации и навигация дронов и прикладная практика и системное развёртывание. Тем, кто интересуется манипуляторами, захватом, VLA, ACT, Pi0, SmolVLA, OpenVLA и моделями мира, стоит выбрать ветвь манипуляций и моделей мира. Тем, кто интересуется навигацией, VLN, пониманием сцены, навигацией дронов и пространственным планированием задач, — ветвь моделей навигации и навигации дронов. Тем, кто хочет делать платы разработки, телеуправление, инструменты симуляции и мультимодальные демонстрации, — ветвь прикладной практики и системного развёртывания.
- Целевая аудитория: студенты, инженеры и исследователи, интересующиеся воплощённым ИИ; нужны основы Python и базовая математика. Начинающие Python / разработчики ИИ, которые хотят систематически перейти в воплощённый ИИ; студенты, которым нужны курсовые проекты, дипломы или быстрое освоение воспроизведения статей; энтузиасты железа и робототехники, которые хотят пройти полный путь от управления физическим роботом до развёртывания Sim2Real.
- Номер курса: 929
- Количество учебных групп: 2
- Число участников: 180 человек на группу
| Роль | Имя |
|---|---|
| Первооткрыватель маршрута (разработчик курса) | Чэнь Кэвэй |
| Лоцман (операционный ассистент) | |
| Штурман (профильный ассистент) |
Распределение заданий:
| Задание (для каждого task достаточно отметиться по одной ссылке) | Дней | Срок сдачи | Проверка | Отличные работы |
|---|---|---|---|---|
| Старт 13 апреля | Всего 20 дней | |||
Task01: воплощённый ИИ и управление роботом, обзор и развитие воплощённого ИИ, реализация PID-регулятора, основы кинематики робота, первичное знакомство с воплощённой навигацией (видеоурок). Соответствует: популярное: воспроизведение робота-танцора с гала-концерта 07-robot-operation-and-motion-control/Locomotion/01-spring-festival-gala-dance-robot-recreated.md (путь в книге); видеоурок: http://xhslink.com/o/1lB9dX0Vt2t. Курс 01: обзор воплощённого ИИ — обзор воплощённого ИИ. Курс 02: основы роботов и управление — 02-robot-basics-control-and-hand-eye-coordination/01-robot-space-description-and-coordinate-transformation.md и 02-robot-basics-control-and-hand-eye-coordination/supplement-cartpole-control-tutorial/cartpole-modeling-and-control.md (пути в китайском издании). Основы воплощённой навигации (приоритетное задание): 08-navigation-and-vln/02-basics-of-simulation-environment/habitat-navigation-environment/habitat-lab-environment-setup-and-configuration.md, 08-navigation-and-vln/02-basics-of-simulation-environment/habitat-navigation-environment/habitat-sim-basic-practices.md, 08-navigation-and-vln/02-basics-of-simulation-environment/habitat-navigation-environment/habitat-lab-base.md (пути в китайском издании). Видеоурок: http://xhslink.com/o/4FGHWn2YICu | 4 дня | Срок: 17 апреля, 03:00 | ||
| Task02: общие основы — завершение: зрительное восприятие, среды симуляции и парадигмы обучения Task01 уже охватывает обзор воплощённого ИИ, основы управления роботом и первичную навигацию. На этом этапе продолжается освоение общих возможностей: зрительного восприятия, информации о глубине и 3D, обучения с подкреплением, платформ симуляции и парадигм обучения в воплощённых задачах, чтобы подготовиться к работе в ветвях. Курс 04: компьютерное зрение и 3D-реконструкция в воплощённых сценах: в этой главе рассматриваются зрение роботов, оценка глубины, SAM и карты внимания при захвате. SAM и оценка глубины Тепловые карты внимания при захвате Курс 05: глубокое и обучение с подкреплением в воплощённых сценах: в этой главе рассматривается введение в обучение с подкреплением и принятие решений. Обучение с подкреплением для совместной переноски мебели несколькими роботами Симулятор на выбор (один из двух): Настройка симуляции ManiSkill Настройка GenieSim Видеоурок по GenieSim: http://xhslink.com/o/2tybo79bOsk Рекомендуемое задание: объяснить связь восприятия, обучения и симуляции в воплощённых задачах; либо запустить пример с визуальным восприятием, симуляцией или обучением с подкреплением. | 4 дня | Срок: 21 апреля, 03:00 | ||
| Task03: введение в ветви — выберите одну основную ветвь и запустите первую направленную задачу После Task01 и Task02 участники распределяются по ветвям. Рекомендуется выбрать одну основную ветвь и не гнаться сразу за несколькими направлениями. Ветвь A: модели манипуляций и модели мира Подходит тем, кто интересуется манипуляторами, захватом, имитационным обучением, VLA, ACT, Pi0, SmolVLA, OpenVLA и моделями мира. Модели манипуляций отвечают на вопрос «как робот создаёт действия по зрению и языку», модели мира — «как система понимает, предсказывает и планирует изменения среды»; оба направления служат умению робота манипулировать. SmolVLA-LIBERO Воспроизведение OpenVLA Воспроизведение ACT, Pi0, SmolVLA в MuJoCo Видеоурок по захвату в MuJoCo: https://www.bilibili.com/video/BV1WhxeznE61/ Видеоурок по сбору данных и практике ACT и Pi0: http://xhslink.com/o/8lsptSLOlex Бенчмарк LIBERO Анализ и воспроизведение LeWorldModel Ветвь B: модели навигации и навигация дронов Подходит тем, кто интересуется навигацией, VLN, пониманием сцены, пространственной локализацией, планированием пути, навигацией дронов и мультимодальными задачами с воздушной точки зрения. Материалы по дронам относятся к моделям навигации, так как их ядро тоже в том, чтобы понимать цель в среде, планировать путь и выполнять движение. Введение в алгоритмы воплощённой навигации Настройка Habitat Lab Практика Habitat Sim Видеоурок по навигации в Habitat: http://xhslink.com/o/4FGHWn2YICu Практика мультимодальной большой модели для дрона Ссылка на симулятор (Windows): https://huggingface.co/datasets/Datawhale/house_win Ветвь C: прикладная практика и системное развёртывание Подходит тем, кто хочет работать с инструментами симуляции, платами разработки, реальными манипуляторами, телеуправлением и системной интеграцией. Начальное руководство по RDK-X5 Подключение манипулятора LeRobot к RDK-X5 для телеуправления Рекомендуемое задание: выбрать одну основную ветвь, объяснить причину выбора и запустить первый демонстрационный пример или окружение этого направления. | 4 дня | Срок: 25 апреля, 03:00 | ||
| Task04: углубление ветви — новое дополнение к выбранному направлению из Task03 и воспроизводимый результат Task03 уже начат, поэтому требования к нему на этом этапе не меняются. Task04 не повторяет входные ссылки Task03, а предлагает продолжение и дополнительные материалы. Участник продолжает основную ветвь, выбранную в Task03, и переходит от «запуска первого демо или окружения» к «воспроизводимому результату»: можно выбрать обучение, оценку, сравнение параметров, цепочку развёртывания, генерацию данных, анализ ошибок или глубокое чтение статьи/кода. Отметка должна содержать процесс, результат и выводы. Направление моделей манипуляций и моделей мира: подходит тем, кто уже работал с SmolVLA, OpenVLA, MuJoCo, LIBERO или LeWorldModel в Task03. В Task04 лучше перейти к более системному пониманию модели, генерации данных или новой платформе, не повторяя одну и ту же демонстрацию. Разбор статей серии RT и анализ кода SIM1: симуляция мягких тел и генерация данных Введение в Isaac GR00T и дообучение Направление моделей навигации и навигации дронов: подходит тем, кто уже запускал базовую среду Habitat, освоил алгоритмы навигации или демо дрона в Task03. В Task04 лучше перейти к более полному воспроизведению навигационной задачи, анализу траекторий, разбору успешных и неудачных случаев или объяснению того, как языковая цель превращается в решение о маршруте в модели VLN/навигации. Практика базовых задач Habitat Lab Комплексная вводная практика по воплощённой навигации Воспроизведение кода ETPNav Видеоурок по воспроизведению ETPNav: http://xhslink.com/o/8t08X6dROt5 Практика мультимодальной большой модели для дрона Направление прикладной практики и системного развёртывания: подходит тем, кто уже работал с инструментами симуляции, платами разработки, телеуправлением LeRobot или реальной системой. В Task04 лучше выбрать новое содержание по генерации данных, симуляции данных или системному развёртыванию, с воспроизводимыми шагами, результатами проверки и записью проблем. Пример небольшого пространства InternDataEngine SIM1: симуляция мягких тел и генерация данных Введение в Isaac GR00T и дообучение Рекомендуемое задание: сдать «результат углубления в той же ветви» — связь с Task03, выбранное дополнительное содержание или углублённое руководство, шаги воспроизведения, обучения, развёртывания или генерации данных, ключевые скриншоты или метрики, проблемы и способы их решения, а также вывод о том, что стоит изучать дальше. | 4 дня | Срок: 29 апреля, 03:00 | ||
| Task05: систематизация результатов и обмен между направлениями На последнем этапе не стоит открывать новые направления: нужно оформить пройденное в общие и ветвевые знания и результаты, пригодные для повторного использования. Можно сдать отчёт о воспроизведении, видеодемонстрацию, GIF, записи настройки окружения, обзоры направления, разбор статей и кода, отчёт о проблемах и их решении. Направление моделей манипуляций и моделей мира: можно оформить отчёты по ACT, Pi0, SmolVLA, OpenVLA, серии RT, LIBERO или LeWorldModel. Направление моделей навигации и навигации дронов: можно оформить отчёты о воспроизведении по Habitat, VLN, ETPNav, навигации дронов или мультимодальной практике дронов. Направление прикладной практики и системного развёртывания: можно оформить отчёты о настройке окружения и проблемах по ManiSkill, GenieSim, RDK-X5, телеуправлению LeRobot, развёртыванию реальной системы или мультимодальным демонстрациям. Рекомендуемое задание: сдать итоговый результат с описанием выбранной ветви, выполненных заданий, возникших проблем, способов решения и направлений дальнейшего углубления. | 4 дня | Срок: 3 мая, 03:00 |