MicroDuck: набор ведущих для группового обучения по воплощённому ИИ
С маленьким утёнком — в мир воплощённого ИИ
Ходьба, ходули, качели, балансировка на баскетбольном мяче, подъём по лестнице и выход на стол, а ещё понимание команды «подойди к креслу у окна» и поиск цели в комнате — всё это может стать отправной точкой для изучения воплощённого ИИ.
Datawhale приглашает всех вместе изучить открытого утёнка MicroDuck: модели роботов, физическую симуляцию, обучение с подкреплением, управление движением, визуально-языковую навигацию и развёртывание на устройстве. Абстрактные понятия связываются с конкретными задачами: почему робот держится на ногах? Как понять, какой ногой делать следующий шаг? Почему после установки ходуль прежние движения приходится подстраивать заново? Как одна фраза на языке превращается в траекторию движения по комнате?
Мы начнём с запуска одной задачи, затем по Notebook будем читать модель, менять параметры, обучать стратегию и наблюдать результат. После этого подключим стратегию движения к BPU платы Datawhale RDK X5. Задачи навигации выполняются на GPU рабочей станции с предобученной моделью LightNav-0: там видно, как изображение и язык управляют движением утёнка. Цикл «наблюдение окружения и собственного тела → решение стратегии → действие → обратная связь» поможет понять, как воплощённый интеллект взаимодействует с физическим миром.
Если вы готовы объяснить одну задачу группе и запустить работающий код, приглашаем стать ведущим этой темы. Также приглашаем тех, кто хочет учиться, делая и одновременно улучшая учебные материалы.
Демонстрации задач
Для каждой задачи ниже есть короткое демо; больше версий — в сборке демонстраций. Настройка среды, обучение стратегий и шаги развёртывания описаны в теме MicroDuck и на входе в Notebook.
| 1. Ходьба и обход препятствий | 2. Балансировка на мяче | 3. Ходьба на ходулях |
|---|---|---|
Ходьба по ровной поверхности | Удержание равновесия на баскетбольном мяче | Ходьба на ходулях 25 см Ходьба на ходулях 200 см |
| 4. Качание и вращение | 5. Балансировка на шаре | 6. Подъём по лестнице |
Качание на качелях и вращение | Обучение балансировке на сферической поверхности | Поэтапный подъём, выход на стол и устойчивое стояние |
| 7. Физические возмущения в браузере | 8. Вывод на RDK X5/BPU | 9. Визуально-языковая навигация LightNav-0 |
Перетаскивание и взаимодействие с внешними силами | Вывод на плате, ходьба в симуляции | Выполнение команды: найти цветочный горшок в коридоре |
Слушать команду и ориентироваться в разных комнатах
Из управления движением делаем ещё один шаг: утёнок читает изображение от первого лица и ищет цель по языковой команде. Восьмой Notebook многосценной навигации LightNav-0 содержит сохранённый вывод выполнения с тремя отдельными GPU-демонстрациями.
| Официальная квартира | Собственная гостиная | Собственный коридор |
|---|---|---|
Поиск стола слева в квартире | Подход к креслу в гостиной | Поиск цветочного горшка в коридоре |
Что изучим вместе
| Направление | Вопрос, на который нужно ответить | Практика |
|---|---|---|
| Модель робота | Как суставы, исполнительные механизмы, масса и столкновения влияют на движение? | Чтение MJCF, понимание структуры тела утёнка и интерфейса управления |
| Физическая симуляция | Почему робот скользит, покачивается и падает, и как формируется устойчивая опора? | Построение сцены в MuJoCo, наблюдение контакта, приложение внешней силы и запись видео |
| Обучение с подкреплением | Как стратегия учится действиям через награду? Что делают Actor и Critic? | Изучение PPO и SAC/FastSAC, небольшое обучение, настройка награды и учебного плана |
| Управление движением | Как текущие наблюдения и история состояния становятся действиями суставов? | Сравнение MLP и LSTM, проверка наблюдений, нормализации, фильтрации действий и частоты управления |
| Оркестрация задач | Когда вставать после подъёма? Как навыки передают управление друг другу? | Изучение конечного автомата задач, условий переключения и диспетчеризации стратегий |
| Визуально-языковая навигация | Как изображение и фраза превращаются в маршрут? | Подключение LightNav-0, изучение прогноза траектории и MPC, изменение планировки комнат и сравнение видео с траекториями |
| Развёртывание на устройстве и оценка | Как обученная модель работает на плате и как проверить результат? | Экспорт ONNX, компиляция HBM, вывод RDK X5 BPU, сравнение видео, времени стабилизации и задержки |
Как учимся вместе
- Сначала познакомьтесь с утёнком. Посмотрите демонстрации задач, прочитайте модель робота, запустите готовую стратегию и наблюдайте, как состояние тела соотносится с действиями.
- Затем измените одну задачу. Выберите направление: балансировка на мяче, ходули, качание или шар. Измените команду, награду или настройки среды и записывайте изменения.
- Пройдите обучение и оценку. Задачи обучения можно начинать с нуля или продолжать с предобученной модели. Сначала проверьте выборку, обновление и сохранение, затем оцените действия по метрикам задачи. Ходьба проводится на готовой стратегии.
- Перенесите модель движения на плату. Сначала получите видео вывода на GPU, затем выполните компиляцию модели и вывод на BPU; так симуляция и плата сойдутся в один контур управления.
- Дайте утёнку выполнить команду по навигации. Подключите предобученный LightNav-0, на GPU опробуйте три сцены, измените языковую команду или планировку мебели и посмотрите, как меняются прогноз модели, траектория и место остановки.
Восемь Notebook организованы по задачам: в них сохранён вывод ячеек, поэтому их удобно читать за ведущим, сверять результаты и повторять эксперименты. Задача подъёма по лестнице разбирает переход «подъём → выход на стол → вставание» между двумя стратегиями. Задача навигации показывает иерархический процесс «изображение и язык → предсказание маршрута → управление ходьбой»; для неё не нужно обучать модель навигации и подключать плату.
Восемь дней обучения
Каждый день — один Notebook и одна задача. Полный план см. в 8-дневной программе.
| День | Тема | Что изучаем и делаем |
|---|---|---|
| День 1 | Балансировка на мяче | Модель робота, наблюдения и действия, Actor-Critic и PPO |
| День 2 | Физические возмущения в браузере | Наблюдение контакта и внешних сил, один эксперимент физического взаимодействия |
| День 3 | Ходьба на ходулях | Учебный план по форме и сглаживание действий, запись одного набора параметров |
| День 4 | Качание и вращение | Награда задачи и ритм движения, наблюдение эффекта изменения |
| День 5 | Балансировка на шаре и FastSAC | Небольшое обучение, экспорт модели и оценка в симуляции |
| День 6 | Подъём по лестнице | Работа двух стратегий подъёма и вставания, анализ переключения навыков |
| День 7 | RDK X5 и несколько стратегий | Подключение готовых стратегий движения, практика вывода BPU и переключения задач |
| День 8 | LightNav-0 навигация по языку | Подключение предобученной модели на GPU; квартира, гостиная и коридор, сравнение видео, команд и траекторий |
Задачи обучения начинаются с небольшого обучения или дообучения; ходьба и навигация по языку используют готовые стратегии.
Что вы сможете после обучения
- Объяснить, как наблюдения утёнка, нейросетевая стратегия и действия суставов связаны между собой, и читать код одной задачи движения.
- Выполнить обучение или дообучение, экспорт модели и оценку в симуляции и сохранить собственные Notebook, видео и записи экспериментов.
- По контакту, позе и изменению действий найти причину неудачи и обоснованно настроить награду, учебный план или параметры управления.
- При наличии платы выполнить вывод на RDK X5 BPU и сравнить результаты задачи на GPU и BPU.
- Подключить модель визуально-языковой навигации и связать языковую команду, изображение с камеры, прогноз траектории и управление ходьбой в собственной сцене.
Что делают ведущие группы
Можно выбрать интересующую задачу или направление и не отвечать за всё сразу:
- Ведение задачи: проводить занятия по Notebook, объяснять принципы, код и шаги эксперимента с опорой на видео.
- Обучение и оценка: собрать награду, учебный план, выбор модели и метрики задачи; показать влияние одного изменения.
- Практика развёртывания: пройти экспорт ONNX, компиляцию HBM и вывод на RDK X5; собрать описание среды и типичных проблем.
- Практика навигации: подключить LightNav-0, придумать языковые команды и планировки комнат, объяснить, как навигация и управление ходьбой работают вместе.
- Совместное создание материалов: дополнять схемы, записи экспериментов и пояснения, чтобы следующим участникам было проще.
Развёртывание на RDK X5
В этой теме Datawhale RDK X5 используется как платформа для работы на устройстве: рабочая станция запускает физическую симуляцию и визуализацию, а BPU вычисляет действия в контуре управления. Обучение проводится на рабочей станции или GPU, модель экспортируется в ONNX, компилируется в HBM и разворачивается на плате. Участники сами проходят полный путь: «обучение → экспорт → компиляция → вывод → оценка».
Для кого этот курс
- Для тех, кто хочет войти в воплощённый ИИ и обучение с подкреплением на конкретном и интересном проекте роботов.
- Для тех, кто знает базовый Python, готов запускать код, записывать результаты и постепенно понимать модели роботов и управление.
- Для тех, у кого есть опыт в машинном обучении, робототехнике или встраиваемых системах и кто хочет участвовать в занятиях, обучении, развёртывании или создании материалов.
Без физического MicroDuck или RDK X5 можно начать с кода и симуляции. Полноценное обучение требует Linux/Ubuntu и подходящего GPU; без GPU можно начинать с чтения материалов, проверки моделей, вывода готовых моделей и небольших проверок smoke-теста.
Как принять участие
- Формат: групповое обучение по теме; участники совместно работают над Notebook, кодом и записями экспериментов в репозитории.
Приходите с любопытством, с движением, которое хотите реализовать, или с кодом, который ещё не работает. Пусть утёнок научится ещё одному движению, а мы лучше поймём воплощённый интеллект.