Путь групповой учёбы, версия 2 (Datawhale)
8) Введение в воплощённый ИИ для начинающих
- Открытое содержание: https://github.com/datawhalechina/every-embodied
- База знаний по учебным материалам: Учебное руководство (внутренний документ Feishu; ссылка не перенесена)
- Вопросы: Записи вопросов и сводка (внутренний документ Feishu; ссылка не перенесена)
- Ассистентам: запросите права на редактирование этого документа. Отметки о выполнении, отличные работы и все материалы передавайте в учебные группы 202603-1 и 202603-2 (внутренние ссылки Feishu; не перенесены).
- Описание курса:
Воплощённый ИИ (Embodied AI) сейчас очень востребован: от Mobile ALOHA до Pi0 и OpenVLA, SOTA-модели почти каждую неделю обновляются. Но многие хотят войти в область и застревают на первом шаге:
🤯 Материалов очень много, непонятно, с чего начать?
🤯 Порог входа высок: математические выводы и физические движки выматывают?
🤯 Ничего не запускается: настройка окружения доводит до отчаяния?
Не паникуйте! Этот пошаговый учебник Every-Embodied: Zero to Hero, созданный Datawhale и совместно доработанный открытым сообществом, теперь открыт. 🌟 Наш принцип: дружелюбность к новичкам, воспроизводимость инженерных решений и возможность расширения до передовых исследований. Мы начинаем с одной строки Python и шаг за шагом помогаем роботу получить «мозг»! 🧠
В этом выпуске путь изменён по принципу «сначала общие основы, затем ветви». В первой половине курса все изучают общие темы: обзор воплощённого ИИ, основы роботов, управление, зрительное восприятие, симуляцию и обучение с подкреплением. Во второй половине каждый выбирает направление. Ветви больше не смешивают захват, навигацию и передовые воспроизведения; они разделены на три группы: модели манипуляций и модели мира, модели навигации и навигация дронов, прикладная практика и системное развёртывание. Тем, кто интересуется манипуляторами, захватом, VLA, ACT, Pi0, SmolVLA, OpenVLA и моделями мира, стоит выбрать ветвь манипуляций и моделей мира. Тем, кто интересуется навигацией, VLN, пониманием сцены, навигацией дронов и пространственным планированием задач, — ветвь моделей навигации и навигации дронов. Тем, кто хочет делать платы разработки, телеуправление, инструменты симуляции и мультимодальные демонстрации, — ветвь прикладной практики и системного развёртывания.
- Целевая аудитория: студенты, инженеры и исследователи, интересующиеся воплощённым ИИ; нужны основы Python и базовая математика. Начинающие Python / разработчики ИИ, которые хотят систематически перейти в воплощённый ИИ; студенты, которым нужны курсовые проекты, дипломы или быстрое освоение воспроизведения статей; энтузиасты железа и робототехники, которые хотят пройти полный путь от управления физическим роботом до развёртывания Sim2Real.
- Номер курса: 929
- Количество учебных групп: 2
- Число участников: 180 человек на группу
| Роль | Имя |
|---|---|
| Первооткрыватель маршрута (разработчик курса) | Чэнь Кэвэй |
| Лоцман (операционный ассистент) | |
| Штурман (профильный ассистент) |
Распределение заданий:
| Задание (для каждого task достаточно отметиться по одной ссылке) | Дней | Срок сдачи | Проверка | Отличные работы |
|---|---|---|---|---|
| Старт 13 апреля | Всего 20 дней | |||
| Task01: общие основы 1: обзор воплощённого ИИ и основы роботов Все участники занимаются совместно: формируется представление о замкнутом контуре «восприятие — решение — управление», осваиваются описание пространства робота, преобразование координат, кинематика и базовые понятия управления. Курс 01: обзор воплощённого ИИ: в этой главе рассматривается «что такое воплощённый ИИ», история развития, типичные задачи и технологический ландшафт. Обзор воплощённого ИИ Курс 02: основы роботов и управление, координация «рука — глаз»: в этой главе рассматриваются основы роботов, преобразование координат, управление PID и практика в симуляции. Описание пространства робота и преобразование координат Основы PID-управления Комплексная практика и симуляция Рекомендуемое задание: составить конспект по основам воплощённого ИИ и объяснить, как вы понимаете связь восприятия, принятия решений, управления и тела робота; либо запустить базовый пример управления или симуляции и отправить скриншот или запись окружения. | 4 дня | Срок: 17 апреля, 03:00 | ||
| Task02: общие основы 2: зрительное восприятие, среды симуляции и парадигмы обучения Все участники продолжают вместе: не нужно сразу углубляться в одно направление. Сначала поймите типичные визуальные входы в воплощённых задачах, оценку глубины, 3D-информацию, обучение с подкреплением и платформы симуляции. Курс 04: компьютерное зрение и 3D-реконструкция в воплощённых сценах: в этой главе рассматриваются зрение роботов, оценка глубины, SAM и карты внимания при захвате. SAM и оценка глубины Тепловые карты внимания при захвате Курс 05: глубокое и обучение с подкреплением в воплощённых сценах: в этой главе рассматривается введение в обучение с подкреплением и принятие решений. Обучение с подкреплением для совместной переноски мебели несколькими роботами Симулятор на выбор (один из двух): Настройка симуляции ManiSkill Настройка GenieSim Рекомендуемое задание: объяснить связь восприятия, обучения и симуляции в воплощённых задачах; либо запустить пример с визуальным восприятием, симуляцией или обучением с подкреплением. | 4 дня | Срок: 21 апреля, 03:00 | ||
| Task03: введение в ветви: выберите одну основную ветвь и запустите первую направленную задачу После Task01 и Task02 участники распределяются по ветвям. Рекомендуется выбрать одну основную ветвь и не гнаться сразу за несколькими направлениями. Ветвь A: модели манипуляций и модели мира Подходит тем, кто интересуется манипуляторами, захватом, имитационным обучением, VLA, ACT, Pi0, SmolVLA, OpenVLA и моделями мира. Модели манипуляций отвечают на вопрос «как робот создаёт действия по зрению и языку», модели мира — «как система понимает, предсказывает и планирует изменения среды»; оба направления служат умению робота манипулировать. SmolVLA-LIBERO Воспроизведение OpenVLA Воспроизведение ACT, Pi0, SmolVLA в MuJoCo Бенчмарк LIBERO Анализ и воспроизведение LeWorldModel Ветвь B: модели навигации и навигация дронов Подходит тем, кто интересуется навигацией, VLN, пониманием сцены, пространственной локализацией, планированием пути, навигацией дронов и мультимодальными задачами с воздушной точки зрения. Материалы по дронам относятся к моделям навигации, так как их ядро тоже в том, чтобы понимать цель в среде, планировать путь и выполнять движение. Введение в алгоритмы воплощённой навигации Настройка Habitat Lab Практика Habitat Sim Практика мультимодальной большой модели для дрона Ссылка на симулятор (Windows): https://huggingface.co/datasets/Datawhale/house_win Ветвь C: прикладная практика и системное развёртывание Подходит тем, кто хочет работать с платами разработки, реальными манипуляторами, телеуправлением, инструментами симуляции и системной интеграцией. Начальное руководство по RDK-X5 Подключение манипулятора LeRobot к RDK-X5 для телеуправления Рекомендуемое задание: выбрать одну основную ветвь, объяснить причину выбора и запустить первый демонстрационный пример или окружение этого направления. | 4 дня | Срок: 25 апреля, 03:00 | ||
| Task04: углубление ветви: продолжаем работу выбранного направления из Task03 На этом этапе не рекомендуется часто менять направление. Главное — завершить одно более полное воспроизведение, обучение, развёртывание, сравнительный анализ или разбор ошибок в одном и том же направлении. Направление моделей манипуляций и моделей мира: можно продолжить изучение серии RT, обучения и развёртывания ACT/Pi0/SmolVLA, бенчмарка LIBERO или тематики модели мира LeWorldModel. Разбор статей серии RT и анализ кода Анализ и воспроизведение LeWorldModel Направление моделей навигации и навигации дронов: можно продолжить базовую практику Habitat, комплексную практику навигации, воспроизведение ETPNav или практику мультимодального дрона. Практика базовых задач Habitat Lab Комплексная вводная практика по воплощённой навигации Воспроизведение кода ETPNav Практика мультимодальной большой модели для дрона Направление прикладной практики и системного развёртывания: можно продолжить работу с ManiSkill, GenieSim, RDK-X5, телеуправлением LeRobot или интеграцией реальной системы. Настройка симуляции ManiSkill Настройка GenieSim Подключение манипулятора LeRobot к RDK-X5 для телеуправления Рекомендуемое задание: выполнить одно более полное воспроизведение, обучение, развёртывание, анализ или разбор ошибок в одном направлении; сдать отчёт с этапами, результатами, метриками и выводами о дальнейшем развитии. | 4 дня | Срок: 29 апреля, 03:00 | ||
| Task05: систематизация результатов и обмен между направлениями На последнем этапе не стоит открывать новые направления: нужно оформить пройденное в общие и ветвевые знания и результаты, пригодные для повторного использования. Можно сдать отчёт о воспроизведении, видеодемонстрацию, GIF, записи настройки окружения, обзоры направления, разбор статей и кода, отчёт о проблемах и их решении. Направление моделей манипуляций и моделей мира: можно оформить отчёты по ACT, Pi0, SmolVLA, OpenVLA, серии RT, LIBERO или LeWorldModel. Направление моделей навигации и навигации дронов: можно оформить отчёты о воспроизведении по Habitat, VLN, ETPNav, навигации дронов или мультимодальной практике дронов. Направление прикладной практики и системного развёртывания: можно оформить отчёты о настройке окружения и проблемах по ManiSkill, GenieSim, RDK-X5, телеуправлению LeRobot, развёртыванию реальной системы или мультимодальным демонстрациям. Рекомендуемое задание: сдать итоговый результат с описанием выбранной ветви, выполненных заданий, возникших проблем, способов решения и направлений дальнейшего углубления. | 4 дня | Срок: 3 мая, 03:00 |