Дополнение 01. Справочные материалы

Руководство по обучению робототехники

В этом каталоге собраны теоретические и практические руководства по обучению роботов: обучение с подкреплением, имитационное обучение и другие методы принятия решений.

Пока готова демонстрация: кооперативная переноска мебели несколькими роботами.

Содержание

Обучение с подкреплением

• Базовые алгоритмы обучения с подкреплением (в разработке)
• Применение глубокого обучения с подкреплением (в разработке)
• Настройка среды обучения с подкреплением для роботов (в разработке)

Имитационное обучение

• Клонирование поведения (в разработке)
• Обратное обучение с подкреплением (в разработке)
• Сбор демонстраций человека (в разработке)

Мультимодальное обучение

• Слияние зрения и тактильных данных (в разработке)
• Обучение роботов с языковым управлением (в разработке)

Путь изучения

1. Освоить основы машинного обучения (обучение с учителем и без учителя).
2. Понять основные принципы обучения с подкреплением (марковские процессы принятия решений, градиент политики и др.).
3. Изучить фреймворки глубокого обучения (PyTorch, TensorFlow).
4. Практиковать алгоритмы обучения роботов, начиная с простых задач.
5. Исследовать передовые направления (например, мета-обучение и многоагентное обучение).

Рекомендуемые инструменты и фреймворки

• Python 3.8+
• PyTorch / TensorFlow
• Gym / MuJoCo
• RLlib / Stable Baselines
• Среды симуляции роботов (например, наши учебные симуляционные эксперименты)

Примеры проектов

• Обучение с подкреплением для захвата предметов роботом
• Имитационное обучение траекторий роботизированной руки
• Обучение совместным действиям нескольких агентов
• Манипуляции роботом по языковым инструкциям

Литература и ресурсы

• Sutton R. S., Barto A. G. Reinforcement Learning: An Introduction
• Goodfellow I., Bengio Y., Courville A. Deep Learning
• OpenAI Spinning Up
• Berkeley Robot Learning Lab
• Stanford Vision and Learning Lab