Путь групповой учёбы, версия 1 (Datawhale)
8) Введение в воплощённый ИИ для начинающих
- Открытое содержание: https://github.com/datawhalechina/every-embodied
- База знаний по учебным материалам: Учебное руководство (внутренний документ Feishu; ссылка не перенесена)
- Вопросы: Записи вопросов и сводка (внутренний документ Feishu; ссылка не перенесена)
- Ассистентам: запросите права на редактирование этого документа. Отметки о выполнении, отличные работы и все материалы передавайте в учебные группы 202603-1 и 202603-2 (внутренние ссылки Feishu; не перенесены).
- Описание курса:
Воплощённый ИИ (Embodied AI) сейчас очень востребован: от Mobile ALOHA до Pi0 и OpenVLA, SOTA-модели почти каждую неделю обновляются. Но многие хотят войти в область и застревают на первом шаге:
🤯 Материалов очень много, непонятно, с чего начать?
🤯 Порог входа высок: математические выводы и физические движки выматывают?
🤯 Ничего не запускается: настройка окружения доводит до отчаяния?
Не паникуйте! Этот пошаговый учебник Every-Embodied: Zero to Hero, созданный Datawhale и совместно доработанный открытым сообществом, теперь открыт. 🌟 Наш принцип: дружелюбность к новичкам, воспроизводимость инженерных решений и возможность расширения до передовых исследований. Мы начинаем с одной строки Python и шаг за шагом помогаем роботу получить «мозг»! 🧠
Никаких «мучений с окружением»: мы предоставляем готовые скрипты настройки. Даже при базовых навыках программирования за три команды можно запустить первую демонстрацию захвата манипулятором в MuJoCo локально. Вы сможете также запустить OpenVLA, SmolVLA, ETPNav и даже повторить робота-кунфуиста с праздничного гала-концерта! 🎬 Также есть видеоуроки: мы регулярно публикуем практические ролики на Xiaohongshu и Bilibili — от симуляции MuJoCo и алгоритма ACT для захвата стакана до запуска GenieSim в один клик.
- Целевая аудитория: студенты, инженеры и исследователи, интересующиеся воплощённым ИИ; нужны основы Python и базовая математика. Начинающие Python / разработчики ИИ, которые хотят систематически перейти в воплощённый ИИ; студенты, которым нужны курсовые проекты, дипломы или быстрое освоение воспроизведения статей; энтузиасты железа и робототехники, которые хотят пройти полный путь от управления физическим роботом до развёртывания Sim2Real.
- Номер курса: 929
- Количество учебных групп: 2
- Число участников: 180 человек на группу
| Роль | Имя |
|---|---|
| Первооткрыватель маршрута (разработчик курса) | Чэнь Кэвэй |
| Лоцман (операционный ассистент) | |
| Штурман (профильный ассистент) |
Распределение заданий:
| Задание (для каждого task достаточно отметиться по одной ссылке) | Дней | Срок сдачи | Проверка | Отличные работы |
|---|---|---|---|---|
| Старт 13 апреля | Всего 20 дней | |||
| Task01: воплощённый ИИ и управление роботом Обзор и развитие воплощённого ИИ, реализация PID-регулятора, основы кинематики робота, первичное знакомство с воплощённой навигацией (видеоурок). Популярное: воспроизведение робота-танцора с гала-концерта 07-robot-operation-and-motion-control/Locomotion/01-spring-festival-gala-dance-robot-recreated.md (путь в книге)Видеоурок: http://xhslink.com/o/1lB9dX0Vt2t Курс 01: обзор воплощённого ИИ: в этой главе рассматриваются обзор и развитие воплощённого ИИ. Обзор воплощённого ИИ Курс 02: основы роботов и управление, координация «рука — глаз»: в этой главе рассматриваются «основы роботов» (кинематика) и «управление» (алгоритм PID). 02-robot-basics-control-and-hand-eye-coordination/01-robot-space-description-and-coordinate-transformation.md (путь в книге)02-robot-basics-control-and-hand-eye-coordination/supplement-cartpole-control-tutorial/cartpole-modeling-and-control.md (путь в книге)Основы воплощённой навигации (сначала выполнить задание): 08-navigation-and-vln/02-basics-of-simulation-environment/habitat-navigation-environment/habitat-lab-environment-setup-and-configuration.md (путь в книге)08-navigation-and-vln/02-basics-of-simulation-environment/habitat-navigation-environment/habitat-sim-basic-practices.md (путь в книге)08-navigation-and-vln/02-basics-of-simulation-environment/habitat-navigation-environment/habitat-lab-base.md (путь в книге)Видеоурок: http://xhslink.com/o/4FGHWn2YICu | 4 дня | Срок: 17 апреля, 03:00 | ||
| Task02: зрительное восприятие и координация «рука — глаз» Применение компьютерного зрения в роботах, реализация алгоритма калибровки «рука — глаз», оценка глубины и 3D-реконструкция. Курс 02: основы роботов и управление, координация «рука — глаз»: в этой главе рассматриваются «основы роботов» (кинематика) и «управление» (алгоритм PID). 02-robot-basics-control-and-hand-eye-coordination/05-comprehensive-practice-and-simulation.md (путь в книге)Курс 04: компьютерное зрение и 3D-реконструкция в воплощённых сценах: в этой главе рассматриваются «компьютерное зрение» и «3D-реконструкция / оценка глубины». 04-computer-vision-and-3d-reconstruction (путь в книге) | 4 дня | Срок: 21 апреля, 03:00 | ||
| Task03: обучение с подкреплением и принятие решений Каркас обучения с подкреплением для роботов, применение PPO в управлении роботом, симулятор GenieSim (приоритет, есть видеоурок), настройка среды ManiSkill и обучение в ней. Курс 05: глубокое и обучение с подкреплением в воплощённых сценах: в этой главе рассматриваются «обучение с подкреплением и принятие решений» и «алгоритм PPO». 05-deep-and-reinforcement-learning/01-reinforcement-learning-for-multi-robot-furniture-handling.md (путь в книге)Симулятор GenieSim (сначала выполнить задание): Видео: http://xhslink.com/o/2tybo79bOsk Текст: 10-simulation-tools-and-frontiers/08-geniesim3-configuration.md (путь в книге)Курс 07: инструменты симуляции роботов и бенчмарки: в этой главе рассматривается ManiSkill (факультативно). 10-simulation-tools-and-frontiers/02-maniskill-environment-simulation-configuration.md (путь в книге) | 4 дня | Срок: 25 апреля, 03:00 | ||
| Task04: аппаратная практика и передовые технологии Управление платой DK-X5, управление VLA в LeRobot, эксперимент с захватом в MuJoCo (видеоурок). Курс 03: аппаратура роботов и управление платой Digua RDK-X5: в этой главе рассматривается управление платой DK-X5. Для тех, у кого есть плата, это факультативно. 03-robot-hardware-lerobot-and-rdk-x5/01-rdk-x5-beginners-guide.md (путь в книге)Курс 08: большие модели управления, VLA и VLM: в этой главе рассматривается LeRobot VLA, относящийся к передовому применению моделей «визуальный язык — действие» (VLA). 06-manipulation-and-vla/large-model-control-vla-vlm/01SmolVLA-LIBERO/01SmolVLA-libero.md (путь в книге)Приоритетное задание 1: воспроизведение навигационного алгоритма ETPNav для VLN (видеоурок) http://xhslink.com/o/8t08X6dROt5 Приоритетное задание 2: эксперимент с захватом в MuJoCo (видеоурок) https://www.bilibili.com/video/BV1WhxeznE61/ | 4 дня | Срок: 29 апреля, 03:00 | ||
| Task05: передовые проекты воплощённого ИИ Практика мультимодального дрона (приоритетное задание) 13-frontier-project-reproduction/drone-large-model-groundingdino-practice/unmanned-aerial-vehicle-multi-modal-large-model.md (путь в книге)Ссылка на симулятор для Windows: https://huggingface.co/datasets/Datawhale/house_win Сбор данных и практика ACT и Pi0 (приоритетное задание) 06-manipulation-and-vla/large-model-control-vla-vlm/04-mujoco-reproduction-act-pi0-smolvla/1.collect_data.ipynb (путь в книге)Видеоурок: http://xhslink.com/o/8lsptSLOlex | 4 дня | Срок: 3 мая, 03:00 |