План на 8 дней для MicroDuck

Каждый день — один Notebook. Сначала мы изучаем тело и стратегию маленького утёнка, затем физическое взаимодействие, обучение с подкреплением, управление движением, переключение задач, развёртывание на устройстве и визуально-языковую навигацию. К концу восьмого дня у вас должны быть собственные Notebook, видео задач и записи экспериментов.

Каждый день вокруг одной задачи: читаем Notebook, понимаем принцип, наблюдаем действия, затем сами ставим эксперимент и сравниваем результаты.

Что нужно до начала

• Базовое знание Python: умение читать массивы, функции и простой код нейронных сетей.
• Ubuntu с настроенными Python-окружением и Jupyter; на Windows-компьютере работаем через браузер. Запуск окружения описан в входе в Notebook.
• Ведущий заранее проверяет пути к моделям, среду симуляции и образцы вывода для каждой задачи; для 7-го дня нужны RDK X5, среда выполнения BPU и HBM задачи.
• Для 8-го дня используется предобученная LightNav-0 и уже готовая модель ходьбы; заранее подготовьте среду GPU-вывода и ресурсы сцены — см. описание навигационной среды.
• Выберите формат практики: обучение и симуляция на GPU либо чтение сохранённых выводов и повтор за ведущим с последующим анализом кода и параметров.

Расписание по дням

День 1: знакомство с телом и стратегией

• Понять: по конфигурации суставов и исполнительных механизмов проследите цепочку «наблюдение → сеть → действие → управление суставами» для балансировки на мяче; объясните роли Actor, Critic, награды и PPO.
• Практика: проверьте входы и выходы модели, посмотрите или создайте видео GPU-симуляции; при наличии среды запустите короткий блок обучения на мяче и проверьте сохранение, экспорт и согласованность модели.
• Запись: своими словами опишите наблюдения и действия этой задачи, различайте шаг управления, итерацию обучения и эпизод.

День 2: взаимодействие утёнка с физическим миром

• Понять: наблюдайте позу, состояние суставов, столкновения и опору; разберитесь, как внешняя сила меняет движение тела.
• Практика: запустите взаимодействие в браузере, меняйте направление силы или точку её приложения; при неизменных остальных условиях сравните минимум два опыта. В этот день используется уже готовая стратегия ходьбы, главное внимание — физическому взаимодействию.
• Запись: сохраните видео, отметьте способ приложения силы, изменения тела и явления контакта, объясните результат.

День 3: ходульный режим — форма и учебный план

• Понять: как высота, площадь опоры, масса и параметры исполнительных механизмов влияют на равновесие; что такое смешивание (blend), учебный план и фильтрация действий.
• Практика: сравните демонстрации для 25 см и 200 см, выберите набор высоты, сцены и модели для базового вывода; при наличии checkpoint запустите небольшое дообучение и оцените его той же конфигурацией.
• Запись: составьте таблицу параметров: что изменили и как изменилось действие.

День 4: согласование движения и цели задачи

• Понять: разберите награду и ритм движения в задаче качания и вращения; поймите, как стратегия продвигается к цели при повторяющихся движениях.
• Практика: запустите генерацию видео модели задачи; при наличии checkpoint проведите небольшое дообучение, выберите одну команду или параметр управления для сравнения и проверьте входы и выходы экспортированной модели.
• Запись: сохраните два варианта настроек и видео, объясните различие через амплитуду качания, ритм или позу.

День 5: сравнение второго процесса обучения с подкреплением

• Понять: по задаче FastSAC разберитесь в выборке, воспроизведении опыта, обновлении стратегии и оценке ценности; сравните с процессом PPO из первого дня.
• Практика: запустите небольшое обучение балансировки на шаре, проверьте сохранение модели и экспорт ONNX, затем вывод и оценку по задаче.
• Запись: сохраните журнал обучения и видео, опишите основные различия PPO и SAC/FastSAC в использовании данных и процессе обновления.

День 6: от отдельного действия к переключению навыков

• Понять: изучите интерфейсы двух акторов — подъёма и вставания; наблюдайте контакт с перекладиной, постановку стопы на стол и фазу вставания; поймите, когда супервизор передаёт управление.
• Практика: на GPU запустите полную последовательность и сверьте в отчёте switch_events, handoff_success и stable_seconds. При наличии времени потренируйтесь в дообучении обеих стратегий по руководству по подъёму.
• Запись: нарисуйте схему переключения «подъём → выход на стол → вставание», отметьте момент передачи управления и продолжительность устойчивого стояния в этом эксперименте.

День 7: перенос стратегии на RDK X5

• Понять: свяжите ONNX, HBM, BPU и замкнутый контур управления TCP; поймите, что рабочая станция отвечает за физическую симуляцию и визуализацию, а плата — за вывод действий.
• Практика: подключите готовую стратегию ходьбы; проверьте метаданные модели, входы и выходы; для платы выберите HBM задачи, прошедший проверку, и запустите замкнутый контур. Сравните видео и задержку на GPU и BPU, затем попробуйте переключиться на модель другой задачи.
• Запись: сохраните видео с платы и конфигурацию развёртывания, опишите шаги переключения модели, постобработки действий и проверки задержки.

День 8: навигация по языковой команде

• Понять: прочитайте изображение от первого лица и языковую команду; разберите пространственное указание LightNav-0, представление действий RVQ и плоскую траекторию; проанализируйте иерархическое управление «модель навигации → MPC → готовая стратегия ходьбы».
• Практика: на GPU подключите предобученную модель — без обучения и без подключения платы. Последовательно запустите официальную квартиру, собственную гостиную и собственный коридор; посмотрите фактические прогнозы модели и отдельные видео. Измените одну команду или расположение мебели и понаблюдайте за изменением.
• Запись: сопоставьте траекторию, расстояние до цели и флаг остановки модели, объясните, куда идёт утёнок и когда останавливается. Соберите видео за 8 дней, описания изменений и вопросы для дальнейшего изучения.

План обучения и развёртывания

Задачи обучения начинайте с предобученной модели конкретной задачи: по соответствующему Notebook проведите 5–10 эпох небольшого обучения, проверьте выборку, обновление, сохранение и экспорт. Исходную модель храните как контрольную, а дообученную версию оценивайте в тех же сценах и теми же командами. Обучение с нуля и более длинные учебные планы оставьте для продвинутой практики.

Опыты с физическим взаимодействием проводятся на уже готовых стратегиях; ходьба и навигация по LightNav-0 подключаются к готовым моделям. Основную линию по подъёму по лестнице сначала поймите и запустите как две стратегии; дальнейшее обучение проводится по отдельному руководству задачи.

Первые 6 дней проходят преимущественно на GPU-симуляции и понимании задач; группы с платой могут дополнительно запускать BPU-ячейки Notebook. 7-й день полностью посвящён работе на устройстве: сначала замкнутый контур на проверенном HBM, затем изучение перекомпиляции модели. 8-й день снова на рабочей станции GPU: визуально-языковая навигация, многосценные эксперименты и итоговая презентация.

Что оставлять каждый день

• Один Notebook или заметку по чтению кода с описанием входов, действий и цели задачи.
• Видео задачи или ключевой результат эксперимента с указанием модели и параметров.
• Одно собственное наблюдение: что изменили, каким был результат и в чём может быть причина.

Ведущий каждый день организует разбор задачи и обсуждение, собирает общие вопросы и оформляет воспроизводимые изменения и записи экспериментов в тему. По окончании каждая группа выбирает одну задачу и показывает весь путь: понимание модели, эксперименты с параметрами и оценку вывода.