Задание 03: подробная демонстрация и практика

1. Обзор раздела

В первые два дня вы уже сформировали представление о том, «что такое воплощённый ИИ» и «каковы основные технические пути». Сегодня задача — превратить эти абстракции в видимую цепочку разработки. Новички часто слышат термины «сбор данных», «дообучение модели», «отладка в симуляции», «проверка развёртывания», но пока не увидели всё целиком, легко воспринимают их как независимые этапы. На самом деле в воплощённом ИИ эти звенья — не отдельные существительные, а строго связанный конвейер.

С этого раздела вы на практике выполните сбор данных и дообучение модели в симуляции. Следуйте шагам по порядку: к каждому из них прилагается схема. Если возникли вопросы, можно посмотреть учебное руководство по симуляционной среде.

Практическая часть симуляции включает такие этапы: создание задачи → сбор данных → подтверждение набора данных → создание задачи дообучения → просмотр состояния обучения → экспорт модели → развёртывание сервиса → отладка навыка. Ниже описан каждый этап.

Прежде чем начинать, познакомимся с базовыми возможностями платформы: откуда берутся данные, как модель учится навыку, какую роль в этом играет симуляционная платформа и как платформа «Лэйюнь» организует эти шаги для учащегося.

2. Как робот учится новому навыку?

Типичный процесс разработки воплощённого навыка выглядит примерно так:

flowchart TD
    A[Телеуправление / сбор данных] --> B[Предобработка и экспорт данных]
    B --> C[Построение обучающей среды]
    C --> D[Дообучение модели Fine-tuning]
    D --> E[Оценка в симуляции]
    E --> F[Развёртывание на аппарате и тесты на реальном роботе]
    F -.возврат данных.-> A

Сложность этой цепочки в том, что это не чисто программная задача. Недостаточно уметь писать код модели и управлять манипулятором. Здесь одновременно участвуют телеуправление, данные, симуляция, обучение, развёртывание и аппаратура; если сломается любое звено, в итоге это проявится как вопрос «почему робот не справился». Для отдельного учащегося основные барьеры обычно два: во-первых, без реального робота трудно самостоятельно собрать качественные данные; во-вторых, без полноценной среды сложно понять, как обучение, отладка и развёртывание связаны между собой. Поэтому роль платформы «Лэйюнь» в этом курсе предельно понятна: она не заменяет всю низкоуровневую инженерию, а сначала показывает, как выглядит весь путь целиком.

3. Краткий обзор функций платформы «Лэйюнь»

Если рассматривать платформу «Лэйюнь» как учебную точку входа в замкнутый цикл разработки воплощённого ИИ, то прежде всего стоит понять не отдельную функцию, а то, как распределены обязанности между её основными модулями. Платформа состоит из трёх основных модулей:

Одна фраза, которую стоит запомнить о связи трёх модулей: витрина моделей отвечает за «смотреть и выбирать», управление данными — за «смотреть данные», а сервис моделей — за «запуск навыка в работу». Эта короткая формула скрывает вполне типичную инженерную логику. Витрина показывает, какие базовые возможности уже предоставлены платформой; управление данными помогает увидеть, в каком виде данные лежат за моделью; а сервис моделей показывает, как эти возможности доходят до обучения, настройки и развёртывания. Для новичка достаточно понять связь этих трёх частей, чтобы перестать воспринимать платформу как набор разрозненных страниц. По сути, этот раздел учит не «куда нажимать», а сначала строить инженерную карту.

4. Демонстрация платформы

(1) Вход в систему и открытие платформы

Здесь всё просто: войдите в «Экосистему разработчиков DAMO», нажмите «Попробовать» и откройте платформу воплощённого ИИ «Лэйюнь». Но с точки зрения обучения главный смысл этого шага состоит не в самом входе, а в том, что вы начинаете сопоставлять абстрактный учебный материал с реальной системой платформы. Часто, читая материалы, учащиеся воспринимают «платформу» как пустое слово; только когда вы увидели вход, главную страницу и раскладку модулей, последующие разделы становятся конкретными.

Платформа «Лэйюнь»: https://developer.damo-academy.com/playground?spm=a1z26upx.zdxx.0.0&from=zdxx

Ориентиры в интерфейсе:

(2) Сначала возможности платформы, без спешки с действиями

При первом входе лучше сначала получить «ощущение карты» и не спешить нажимать функции. Как минимум нужно понять, какие части платформы соответствуют такой цепочке:

данные -> модель -> отладка -> исполнение -> просмотр результатов

На этом этапе важнее всего не пройтись по каждой кнопке, а сначала построить «карту платформы»: понять, где находятся витрина моделей, управление данными, сервис моделей, управление агентами и устройствами, и какой этап всего цикла разработки соответствует каждому из них. Имея эту карту, вы при переходе к конкретным модулям будете видеть не разрозненные экраны, а разные срезы одного непрерывного процесса.

Иначе говоря, этот шаг формирует «картину мира платформы». Если сразу погрузиться в конкретную кнопку, легко решить, что платформа — это просто набор страниц; но если сначала понять общую раскладку, становится ясно: главная страница уже намекает на полный цикл разработки воплощённого ИИ. Для читателя учебника такой порядок «сначала целое, потом части» важнее, чем запоминание названий страниц.

Ориентиры в интерфейсе:

(3) Знакомство с базовыми страницами back-office

При первом знакомстве достаточно понимать, за что отвечают эти страницы, а не разбирать их полностью. Страница устройств относится в основном к подключению и активации реального робота, страница агентов — к организации задач и вызову способностей через диалог. Это не главный объект сегодняшнего занятия, но эти страницы помогают понять: платформа — не просто набор демонстраций моделей, она в конце концов решает реальные системные задачи — как управлять роботами и как организовывать задачи.

Важно, чтобы новички заметили один часто упускаемый факт: сложность платформ воплощённого ИИ связана не с количеством страниц, а с тем, что они стоят между моделью и реальной системой. Управление устройствами отвечает за подключение аппаратуры и объекты исполнения, управление агентами — за организацию задач и композицию способностей. Внешне это не самые «эффектные» разделы, но именно без них система не может реально заработать.

Ориентиры в интерфейсе:

(4) Просмотр наборов данных и подробностей

Дальше откройте страницу управления данными: модель не умеет действовать сама по себе, за ней всегда стоят данные, обучение и оценка. Теперь на этой странице вы видите не просто таблицу и поля, а материал, благодаря которому навык вообще можно обучить.

На этом этапе обратите внимание на три вещи: как организован набор данных, какие поля есть у каждой записи и как платформа выводит видео, кривые углов суставов и числовые значения в одном окне просмотра. Последнее особенно важно, потому что это прямо показывает отличие воплощённых данных от обычного текста. Для воплощённых задач данные — не предложения, а временные ряды из изображений, действий и состояний самого робота.

Поэтому многие, кто раньше работал с большими языковыми моделями, впервые сталкиваясь с воплощёнными данными, поначалу чувствуют дискомфорт. Текстовые данные обычно дискретны — это предложения и абзацы, тогда как воплощённые данные по своей природе — непрерывный процесс во времени. Чтобы понять, почему действие удалось или нет, нужно смотреть на весь фрагмент наблюдений, изменения позы и сигналы управления до и после действия. Платформа, которая показывает всё это рядом, сама по себе — отличный учебный инструмент, потому что превращает тезис «воплощённые задачи труднее» в наглядный факт.

Ориентиры в интерфейсе:

С этого момента вы на практике выполните сбор данных и дообучение модели в симуляционной среде.

Следуйте шагам по порядку: к каждому из них прилагается схема. Если возникли вопросы, можно посмотреть учебное руководство по симуляционной среде.

Практическая часть симуляции включает такие этапы: создание задачи → сбор данных → подтверждение набора данных → создание задачи дообучения → просмотр состояния обучения → экспорт модели → развёртывание сервиса → отладка навыка. Ниже описан каждый этап.

5. Цели практики

Сегодняшняя цель — полный цикл симуляционной практики: вход в платформу → знакомство с моделями → симуляционный сбор данных → обучение модели → развёртывание и отладка. Пройдя этот круг до конца, вы начнёте понимать, почему платформу воплощённого ИИ нельзя считать просто витриной моделей. Скорее это инженерная платформа, которая объединяет данные, модели, исполнение и результаты, и такой уровень абстракции новичкам обычно труднее всего представить самостоятельно.

Полные шаги симуляционной практики

Ниже пять основных этапов сегодняшней практики; выполняйте их по порядку.

Шаг 1: сбор данных в симуляции

1.1 Создание задачи

Сначала откройте страницу Сбор данных → Симуляционный сбор, нажмите «Создать набор задач». На экране настройки последовательно заполните название набора задач, описание, описание задачи и инструкцию к задаче, затем нажмите «Далее». Выберите симуляционного робота со статусом «Свободен» (можно отфильтровать по конфигурации), после создания нажмите «Подробнее», чтобы перейти на страницу сведений о задаче сбора.

1.2 Начало сбора

Теперь начинаем собирать данные. На странице сведений о задаче нажмите кнопку «Собрать» и дождитесь подключения к симуляционному роботу. Затем задайте число эпизодов, длительность одного эпизода и теги задачи и подтвердите. Система автоматически откроет страницу сбора данных, где показаны вид симуляционной камеры, номер эпизода, статус сбора, таймер и подсказки по клавишам управления. Нажмите «Начать эпизод» в правом нижнем углу — пойдёт отсчёт времени, и вы можете двигать манипулятор с клавиатуры: данные о суставах будут записываться автоматически. После выполнения действия нажмите «Завершить эпизод» и подтвердите в появившемся окне — один эпизод запишется.

Если нужно вернуть предметы сцены в исходное положение, нажмите кнопку «Сброс». Повторяйте эти шаги, пока не будут записаны все запланированные эпизоды. После окончания записи в сведениях о задаче появится новая запись сбора с набором эпизодов. Нажав «Подробнее» у любой записи, можно посмотреть записанное видео, данные углов суставов и текст инструкции.

Шаг 2: просмотр набора данных, собранного в симуляции

После сбора нужно убедиться, что набор данных импортирован правильно. Откройте страницу Управление данными и посмотрите «Мои наборы данных». Каждая строка — один набор данных; нажмите «Просмотр», чтобы раскрыть подробности и увидеть для каждого фрагмента частоту кадров, число кадров, инструкцию и т. п. Затем нажмите «Подробнее» — откроется небольшое окно, в котором рядом показаны записанное видео, график углов суставов и таблица числовых значений углов; всё это можно воспроизвести в браузере. Если видео в браузере отображается искажённо, отключите аппаратное ускорение браузера и перезапустите его.

Шаг 3: дообучение и обучение модели

3.1 Создание задачи дообучения модели

Теперь переходим к дообучению модели. Откройте страницу Настройка модели и нажмите «Создать задачу обучения» (учтите, что один пользователь пробной версии может одновременно выполнять только одну задачу обучения). Сначала заполните основную информацию: сейчас поддерживаются конфигурация робота LeRobot | SO-101 и соответствующие ей наборы данных. Затем в настройке модели можно выбрать готовую официальную модель или свою дообученную модель (автоматический экспорт выполняется после успешного обучения; если обучение завершилось ошибкой, экспорт придётся запустить вручную). Параметры обучения по умолчанию уже выставлены в рекомендуемые значения, при желании вы можете их изменить. После выбора конфигурации нажмите «Начать обучение». Новая задача появится в списке задач настройки модели, и вы сможете отслеживать её статус.

3.2 Просмотр состояния обучения

На странице сведений о задаче прогресс обучения можно смотреть с разных сторон. На странице сведений выводится конфигурация обучения; страница мониторинга ресурсов показывает загрузку CPU, GPU и памяти; страница метрик отображает динамику разных показателей; страница хронологии — общий ход обучения; страница журнала — подробный вывод; а страница выпущенных моделей после окончания обучения перечисляет итоговые файлы моделей.

3.3 Экспорт результатов модели

После успешного обучения модель нужно экспортировать. На странице «Выпущенные модели» в сведениях о задаче настройки можно экспортировать модели пакетно или по одной. Экспортированные модели появятся на странице «Мои модели», где можно просмотреть все экспортированные версии; если модель случайно удалили, её можно заново экспортировать со страницы выпущенных моделей.

Шаг 4: развёртывание модели

Получив модель, переходим к развёртыванию сервиса.

Создать задачу развёртывания можно двумя способами: со страницы «Мои модели» и со страницы «Развёртывание моделей». При создании заполните основную информацию, выберите навык модели (название навыка по умолчанию совпадает с prompt; рекомендуется использовать китайский язык, чтобы его легче было распознать), затем задайте конфигурацию развёртывания. Можно указать время работы сервиса в сети: по истечении срока сервис автоматически отключится. После нажатия «Начать развёртывание» статус можно смотреть в списке задач развёртывания.

Сервис можно поднять в сеть тремя способами: автоматически после окончания развёртывания; для уже отключённого сервиса — нажатием кнопки повторного запуска; либо вручную в «Витрина моделей → Мои модели». Отключение сервиса тоже бывает двух видов: автоматическое (по истечении времени работы) и ручное (кнопкой отключения или в правом верхнем углу карточки). Работающий развёрнутый сервис можно посмотреть в разделе «Витрина моделей → Мои модели».

Шаг 5: отладка модели

Наконец, отладьте модель в симуляционной среде. Откройте Витрину моделей и с помощью фильтра по среде отладки выберите модели, доступные для «симуляции».

Нажмите «Отладка модели», чтобы перейти на страницу сведений о модели, выберите симуляционное устройство нужной конфигурации и нажмите «Отладка», чтобы попасть на страницу симуляционной отладки. Нажмите «Начать отладку» — фоновый процесс загрузит симуляционные ресурсы. Когда загрузка завершится, можно наблюдать, как робот выполняет задачу; можно дождаться автоматического завершения задачи или завершить отладку вручную. Все записи выполнения доступны на странице.

Что вы действительно должны понять в этом разделе?

Сегодня вы научились с нуля до конца проходить один цикл разработки воплощённого ИИ. Запомните: навык робота — не «модель вдруг научилась», а результат постепенного формирования по всей цепочке сбор данных → дообучение модели → развёртывание → отладка. Разработка на реальном аппаратном обеспечении устроена точно так же, как и в симуляции.

Когда вы развернёте обученную модель, может оказаться, что исполнение манипулятором неидеально. Часто причина связана с качеством входных данных на предыдущих этапах: итоговое качество модели сильно зависит от исходных данных. Если перенести ту же ситуацию в реальную среду, факторов становится ещё больше: например, недостаточное количество собранных данных, изменение освещения и теней во время сбора, неудачные параметры обучения и т. п. Нужно научиться анализировать, где именно возникла проблема, и целенаправленно корректировать данные или параметры.

Задание на сегодня (отчёт о выполнении)

Выполните следующие небольшие задачи как доказательство того, что практика сегодня прошла успешно:

Задача: в симуляционной платформе «Лэйюнь» пройдите один цикл «сбор данных → дообучение модели → отладка в симуляции».

Вы можете выбрать один из двух путей (с разной сложностью):

• Путь A (рекомендуется новичкам): используйте симуляционную платформу и запишите хотя бы один эпизод сбора данных — в симуляции попробуйте с клавиатуры управлять манипулятором и выполнить один эпизод.
• Путь B (повышенной сложности): на симуляционной платформе запишите полный набор данных (например, «положить банан в миску»), затем дообучите предустановленную платформой предобученную модель, выполните задачу дообучения, экспортируйте модель и, наконец, отладьте её в симуляции, проверив, выполняет ли она нужную функцию.

Что сдавать:

• один скриншот: это может быть интерфейс успешного сбора данных, экран успешного завершения задачи обучения, экран экспорта модели или кадр успешной отладки в симуляции;
• текстовое пояснение на 150–200 слов, своими словами описав пройденную цепочку; обязательно затронуть три пункта:
  • какие ключевые шаги вы выполнили (например: сбор данных → дообучение → развёртывание → отладка);
  • одну небольшую проблему, с которой столкнулись (если была), и как её решили;
  • что, по вашему мнению, самое важное в роли симуляционной платформы для разработки воплощённого ИИ.

Способ отправки: поместите скриншот и текстовое пояснение в один документ (или опубликуйте в сообществе как отметку о выполнении), название оформите так: «Отчёт Task04 — ваше имя / ник».