Вопросы для собеседования, набор 5: DDPG, PPO, TD3, SAC и другие алгоритмы

1. Нужно хорошо знать принципы и различия алгоритмов DDPG, PPO, TD3, SAC и других.

Эти четыре алгоритма — самые распространённые алгоритмы глубокого обучения с подкреплением для непрерывного управления (например, управления роботами).

PPO (Proximal Policy Optimization)

• Принцип: PPO — алгоритм градиента политики с политикой on-policy. Он использует механизм отсечения (Clipping), который ограничивает величину шага обновления между старой и новой политикой, чтобы обновление политики не «сорвалось».

• Основная формула:

  $$L^{CLIP}(\theta )={\hat{\mathbb{E}}}_t\left[\min (r_t(\theta ){\hat{A}}_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t)\right]$$

• Пример числового расчёта:

  Пусть в момент времени $t$ оценка преимущества по GAE равна ${\hat{A}}_t=10$ (положительное число: действие хорошее).

  Гиперпараметр отсечения $ϵ=0.2$.

  Если новая сеть слишком агрессивна и отношение вероятностей новой и старой политики равно $r_t(\theta )=1.5$ (новая политика выбирает это действие в 1.5 раза чаще старой):

  1. Исходная цель: $1.5\times 10=15$.

  2. Цель после отсечения: $\text{clip}(1.5,0.8,1.2)\times 10=1.2\times 10=12$.

  3. Берём минимум: $\min (15,12)=12$.

     Вывод: даже если сеть хочет обновиться до значения 15, PPO принудительно обрезает его до 12, что обеспечивает стабильность обучения.

DDPG (Deep Deterministic Policy Gradient)

• Принцип: алгоритм actor-critic с политикой off-policy. Actor выдаёт детерминированное действие, Critic оценивает значение Q.

• Основная формула (обновление Critic):

  $$y_i=r_i+\gamma Q_{{\varphi }^{\prime }}(s_{i+1},{\mu }_{{\theta }^{\prime }}(s_{i+1}))$$

• Пример числового расчёта:

  Пусть робот сделал шаг вперёд и получил награду $r_i=1.0$. Коэффициент дисконтирования $\gamma =0.99$.

  Целевые сети (Target Actor и Target Critic) предсказывают оптимальное значение Q для следующего состояния $Q_{{\varphi }^{\prime }}=100$.

  Вычисляем TD-цель (примечание 1): $y_i=1.0+0.99\times 100=100.0$.

  Если текущая сеть Critic предсказывает значение Q, равное 90, то среднеквадратичная ошибка (MSE) равна $(100.0-90{)}^2=100$.

TD3 (Twin Delayed DDPG)

• Принцип: решает проблему завышения значений Q в DDPG, вводя два Q-критика, отложенное обновление и сглаживание целевой политики.

• Основная формула (клиппированное двойное Q-обучение со сглаживанием):

  $$y=r+\gamma \underset{j=1,2}{\min }{Q}_{{\varphi }_j^{\prime }}(s^{\prime },a^{\prime })$$

  $$a^{\prime }={\mu }_{{\theta }^{\prime }}(s^{\prime })+ϵ,ϵ\sim \text{clip}(\mathcal{N}(0,\sigma ),-c,c)$$

• Пример числового расчёта:

  Целевой Actor выдаёт следующее действие $a_{raw}=0.5$. С учётом шума $ϵ=0.05$ (после клиппирования) итоговое целевое действие $a^{\prime }=0.55$.

  Подаём $a^{\prime }$ в два целевых Critic:

  Пусть Critic 1 предсказывает значение Q, равное $105$, а Critic 2 — $95$.

  TD3 берёт минимум, чтобы подавить завышение: $\min (105,95)=95$.

  Итоговая TD-цель: $y=r+\gamma \times 95$.

SAC (Soft Actor-Critic)

• Принцип: алгоритм обучения с максимальной энтропией, off-policy, который поощряет исследование.

• Основная формула (член энтропии в целевой функции):

  $$J(\pi )=\mathbb{E}\left[r(s_t,a_t)+\alpha \mathcal{H}(\pi (\cdot |s_t))\right]$$

• Пример числового расчёта:

  Пусть в текущем состоянии есть два дискретизированных возможных действия, а распределение вероятностей политики равно $[0.9,0.1]$.

  Вычисляем информационную энтропию: $\mathcal{H}=-(0.9\ln 0.9+0.1\ln 0.1)\approx 0.325$.

  Если температурный коэффициент $\alpha =0.2$, то «мягкая» дополнительная награда за этот шаг равна $0.2\times 0.325=0.065$.

  Если политика становится более случайной, $[0.5,0.5]$, энтропия $\mathcal{H}\approx 0.693$, а дополнительная награда — $0.138$. Так SAC существенно поощряет исследование.

2. Нужно понимать такие понятия, как GAE (обобщённая оценка преимущества) и PG (градиент политики).

PG (Policy Gradient)

• Формула: ${\nabla }_{\theta }J(\theta )=\mathbb{E}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)R(\tau )\right]$

• Пример числового расчёта:

  Пусть суммарная награда за эпизод $R(\tau )=100$. Вероятность действия $a_t$ равна $\pi (a_t)=0.2$.

  $\log (0.2)\approx -1.6$. Величина обновления градиента будет умножена на $100$. Если то же действие в другой траектории даёт суммарную награду всего $10$, сила обновления будет $10$. Сеть постепенно начнёт повышать вероятность действий из траекторий с высокой наградой.

GAE (Generalized Advantage Estimation)

• Принцип: баланс между смещением (bias) и дисперсией (variance) TD-ошибки.

• Основные формулы:

  ${\delta }_t^V=r_t+\gamma V(s_{t+1})-V(s_t)$

  ${\hat{A}}_t={\sum }_{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}^V$

• Пример числового расчёта (ручной расчёт траектории из двух шагов):

  Пусть $\gamma =0.99$, $\lambda =0.95$.

  Есть три состояния $s_0,s_1,s_2$ (конец).

  Награды: $r_0=1,r_1=2$.

  Предсказания сети ценности: $V(s_0)=2.0,V(s_1)=3.0,V(s_2)=0.0$ (конечное состояние имеет значение 0).

  1. Вычисляем TD-ошибку каждого шага ($\delta$):

     ${\delta }_0=1+0.99\times 3.0-2.0=1.97$

     ${\delta }_1=2+0.99\times 0.0-3.0=-1.0$

  2. Рекурсивно вычисляем преимущество ($A$) с конца:

     Последний шаг: $A_1={\delta }_1=-1.0$

     Предпоследний шаг: $A_0={\delta }_0+\gamma \lambda A_1=1.97+(0.99\times 0.95)\times (-1.0)=1.97-0.9405=1.0295$

  Вывод: у действия $a_0$ преимущество положительное (1.0295), его нужно поощрять; у действия $a_1$ оно отрицательное (-1.0), его нужно подавлять.

import torch
# Проверяем псевдокод на указанных значениях
rewards = torch.tensor([1.0, 2.0])
values = torch.tensor([2.0, 3.0])
next_value = 0.0
dones = torch.tensor([0.0, 1.0])
gamma, lam = 0.99, 0.95
# (логика цикла — в исходной версии ответа; результат совпадает с ручным расчётом)

1. Макроскопический взгляд: «тренер и спортсмен» в обучении с подкреплением

Весь процесс можно представить как тренера (GAE / сеть ценности), который наставляет спортсмена (сеть политики).

Градиент политики (PG) — тренировка спортсмена

Логика PG очень проста: «если в этом раунде выиграли, то все действия в нём надо делать чаще; если проиграли — реже».

• Ему не важно, хорошо ли конкретное действие само по себе, важен только результат.
• Проблема: если раунд длится 1000 шагов, а на 5-м шаге спортсмен сыграл блестяще, но на 999-м ошибся и проиграл, PG накажет и гениальное действие на 5-м шаге, потому что итог был «проигрыш». Это и есть высокая дисперсия (Variance).

Обобщённая оценка преимущества (GAE) — разбор игры тренером

GAE решает именно эту проблему. Он оценивает не итог, а «насколько этот шаг оказался лучше моих ожиданий».

• Он объединяет «немедленную награду» и «прогноз на будущее».
• Он работает как рассудительный тренер, который говорит: «Хотя в итоге ты проиграл, твоя операция на 5-м шаге подняла шансы на победу с 20% до 60%. Тебе засчитывается плюс!»

2. Полный конвейер (итерационный процесс)

В реальных алгоритмах PPO или A2C данные движутся так:

Шаг 1: взаимодействие (сбор выборки)

Спортсмен (сеть политики ${\pi }_{\theta }$) играет в среде $N$ шагов.

• Результат: набор данных $\{s_t,a_t,r_t,s_{t+1}\}$ (состояние, действие, награда, следующее состояние).
• Состояние: параметры сети $\theta$ на этом этапе фиксированы и не обновляются.

Шаг 2: оценка (выставление баллов — здесь работает GAE)

Теперь нужно оценить каждое действие $a_t$ из этих $N$ шагов. Этот балл и есть функция преимущества $A_t$.

1. Оценка ценности: состояние $s_t$ подаётся в «сеть ценности $V$», которая предсказывает, насколько ценно это состояние.
2. Вычисление TD-ошибки ($\delta$): сравниваем реально полученную награду $r_t$ плюс ожидаемое будущее с текущим ожиданием.
3. Сглаживание GAE: с помощью параметра $\lambda$ суммируем с весами ошибки текущего шага, шага через секунду и через две секунды.
   • После этого каждое действие $a_t$ получает точную оценку ${\hat{A}}_t$ (положительная — лучше ожиданий, отрицательная — хуже).

Шаг 3: обучение (обновление — здесь работает PG)

Имея оценки (${\hat{A}}_t$), возвращаемся к спортсмену (сети политики) и корректируем его «мышечную память».

1. Вычисляем градиент: находим, насколько в состоянии $s_t$ вероятно действие $a_t$, то есть $\log \pi (a_t|s_t)$.

2. Взвешенное обновление:

   $$\text{величина обновления}={\nabla }_{\theta }\log \pi (a_t|s_t)\times {\hat{A}}_t$$

   • Если ${\hat{A}}_t$ положительно (хороший удар!), градиент повышает вероятность этого действия.
   • Если ${\hat{A}}_t$ отрицательно (плохой удар!), градиент понижает вероятность.

3. Градиентный подъём: обновляем $\theta$, и сеть становится умнее.

Шаг 4: цикл

Обновлённый «спортсмен» снова играет, и процесс повторяется с первого шага.

3. Почему нужен GAE? (интуиция)

Что будет, если использовать только PG без GAE?

• PG без GAE (REINFORCE):

  Суммарная награда за весь эпизод $R(\tau )$ умножается на каждое действие.

  • Минус: обучение идёт очень медленно и нестабильно. Это как если бы за трёхчасовой экзамен вам поставили только общий балл и не сказали, какие задачи решены правильно, а какие нет.

• PG с GAE:

  Для каждого действия используется ${\hat{A}}_t$.

  • Плюс: каждому «заданию» (каждому действию) выставляется собственная оценка. Параметр $\lambda$ работает как регулятор:
    • при $\lambda =0$ смотрим только на следующий шаг — очень дальновидно, но может быть близоруко;
    • при $\lambda =1$ смотрим на весь эпизод — честно, но может сбивать случайный шум;
    • GAE выбирает промежуточное значение и обеспечивает баланс смещения и дисперсии.

Итог: как связаны ваши вычисления?

1. Сеть $V(s)$ даёт ожидаемую «базовую линию».
2. ${\delta }_t$ (TD-ошибка) измеряет «разрыв между реальностью и идеалом».
3. GAE (преимущество) с помощью рекурсии $\gamma \lambda$ объединяет эти разрывы в одну цепочку и определяет, хорошо ли действие.
4. PG (градиент политики) использует эту оценку, чтобы подстроить веса нейросети.

3. Нужно уметь объяснить логику проектирования функции награды и то, как решается разрыв Sim-to-Real.

Логика проектирования функции награды

• Формула:

  $$R_t={\omega }_{task}\mathbb{I}(success)+{\omega }_{shape}\exp (-\alpha ||p_{ee}-p_{obj}|{|}_2)-{\omega }_{pen}||{\tau }_t|{|}_2^2$$

• Пример числового расчёта:

  Пусть вес задачи захвата ${\omega }_{task}=100$, вес направляющей по расстоянию ${\omega }_{shape}=5$, параметр плавности $\alpha =10$, вес штрафа ${\omega }_{pen}=0.1$.

  Текущие координаты концевого эффектора манипулятора $p_{ee}=(0.5,0,0.5)$, координаты целевого объекта $p_{obj}=(0.5,0,0.4)$.

  Квадрат евклидовой нормы момента на выходе $||{\tau }_t|{|}_2^2=4.0$.

  1. Вычисляем расстояние: $||p_{ee}-p_{obj}|{|}_2=\sqrt{0+0+(0.5-0.4{)}^2}=0.1$ м.

  2. Вычисляем сформированную награду: $5\times \exp (-10\times 0.1)=5\times \exp (-1)\approx 5\times 0.367=1.835$.

  3. Вычисляем штраф: $0.1\times 4.0=0.4$.

  4. Объект не захвачен, $\mathbb{I}(success)=0$.

     Общая награда на этом шаге: $R_t=0+1.835-0.4=1.435$.

Решение проблемы Sim-to-Real (числовой пример рандомизации доменов)

В симуляции масса звеньев манипулятора задаётся нормальным распределением. Реальная масса составляет 2.0 кг, и в симуляции в каждом эпизоде масса выбирается как $m\sim \mathcal{N}(2.0,0.2^2)$. Это значит, что при обучении сеть RL обязана выучить стратегию управления, которая успешно работает при массе от 1.6 до 2.4 кг. Тогда при развёртывании в реальном мире модель просто не замечает ошибок модели трения моторов.

4. Нужно знать архитектуры и идеи основных моделей, таких как Open-VLA и RT-2.

RT-2 (Robotic Transformer 2)

• Основная идея: действия дискретизируются как текстовые слова (токенизация), и большая модель предсказывает их напрямую.

• Пример числового расчёта (токенизация действия):

  Формула: $a_{token}=\lfloor \frac{a-a_{min}}{a_{max}-a_{min}}\times 255\rfloor$

  Пусть нужно предсказать степень раскрытия захвата $a$, физический диапазон которого $[-1.0,1.0]$ (-1 — полностью закрыт, 1 — полностью открыт).

  В обучающих демонстрациях значение раскрытия захвата $a=0.12$.

  Подставляем:

  $a_{token}=\lfloor \frac{0.12-(-1.0)}{1.0-(-1.0)}\times 255\rfloor =\lfloor \frac{1.12}{2.0}\times 255\rfloor =\lfloor 0.56\times 255\rfloor =\lfloor 142.8\rfloor =142$.

  Физическое действие отображается в 142-й специальный токен словаря модели (например, <action_142>).

Open-VLA

• Модель с 7 миллиардами параметров. При инференсе в FP16 только веса занимают около 14 ГБ видеопамяти, а с учётом KV-кэша для плавного одношагового инференса обычно требуется видеокарта 24 ГБ, например RTX 3090 или 4090.

5. Нужно понимать принципы методов тонкой настройки, таких как LoRA.

LoRA (Low-Rank Adaptation)

• Формула: $h=W_{0}x+BAx$

• Пример числового расчёта (ручной расчёт на матрицах):

  Пусть весовая матрица одного линейного слоя предобученной модели $W_0\in {\mathbb{R}}^{2\times 2}$ заморожена. Входной признак $x=[1,2{]}^T$.

  Задаём ранг $r=1$.

  Инициализируем низкоранговую матрицу $A\in {\mathbb{R}}^{1\times 2}$ случайным гауссовым распределением; допустим, сейчас $A=[1,1]$.

  Матрица $B\in {\mathbb{R}}^{2\times 1}$ инициализирована нулями, но после нескольких шагов обучения стала $B=[1,-1{]}^T$.

  Коэффициент масштабирования $\text{scaling}=\alpha /r=16/1=16$.

  Расчёт обходной ветви:

  1. $Ax=[1,1]\times [1,2{]}^T=1\times 1+1\times 2=3$ (понижение размерности до r=1).

  2. $B(Ax)=[1,-1{]}^T\times 3=[3,-3{]}^T$ (повышение размерности обратно до 2).

  3. Умножаем на коэффициент масштабирования: $16\times [3,-3{]}^T=[48,-48{]}^T$.

     Итоговый выход — это выход предобученной модели $W_{0}x$ плюс вклад дообучения $\Delta =[48,-48{]}^T$.

     Сравнение числа параметров: при полном дообучении пришлось бы обновлять $2\times 2=4$ параметра; LoRA с $r=1$ обновляет $1\times 2+2\times 1=4$ параметра. Но в больших моделях (например, $4096\times 4096$) LoRA ($r=8$) содержит всего около $0.4\%$ параметров полной тонкой настройки!

6. Нужно уметь анализировать сильные и слабые стороны VLA по сравнению с другими методами (например, чистым обучением с подкреплением) и понимать перспективы внедрения в промышленности.

• Численное сравнение:
  • Успешность и обобщение: в задаче «захватить чашку любого цвета на столе» чистое RL при встрече с незнакомой красной чашкой может обвально упасть с 95% до 5%; VLA же благодаря семантическому пониманию VLM сохраняет успешность выше 85%.
  • Частота управления: сеть чистого RL очень мала (например, MLP), задержка вывода меньше 1 мс, что позволяет низкоуровневое силовое управление на 500 Гц; а VLA с 7 миллиардами параметров (даже в квантизации INT8) обычно тратит на один проход 80–200 мс, то есть планирует высокоуровневые действия лишь на 5–10 Гц.
• Промышленное внедрение: поэтому в промышленности обычно используют двухуровневую архитектуру: верхний уровень VLA (2 Гц) + нижний уровень MPC/RL (200 Гц).

7. Нужно понимать базовые понятия: прямую и обратную кинематику (IK), якобиан, PID-регулирование, MPC.

Прямая и обратная кинематика (на примере плоского двухстепенного манипулятора)

• Числовой пример:

  Длины звеньев $L_1=1.0$ м, $L_2=1.0$ м.

  Прямая кинематика (FK): заданы углы суставов ${\theta }_1=90^{\circ }(\pi /2)$, ${\theta }_2=0^{\circ }$.

  Координата концевого эффектора $x=L_1\cos ({\theta }_1)+L_2\cos ({\theta }_1+{\theta }_2)=0+0=0$.

  Координата концевого эффектора $y=L_1\sin ({\theta }_1)+L_2\sin ({\theta }_1+{\theta }_2)=1+1=2$.

  Вывод: концевой эффектор находится в точке $(0,2)$.

  Обратная кинематика (IK): зная целевую точку $(0,2)$, находим ${\theta }_1=90^{\circ },{\theta }_2=0^{\circ }$ (верно при отсутствии сингулярных точек).

Якобиан

• Числовой пример: $\dot{X}=J(\theta )\dot{\theta }$

  Пусть в текущей конфигурации $J(\theta )=\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]$. Мы хотим, чтобы концевой эффектор перемещался по оси x с линейной скоростью $\dot{X}=[0.1,0{]}^T$ (м/с).

  Решаем относительно скоростей суставов $\dot{\theta }=J^{-1}\dot{X}=\left[\begin{array}{cc}0& 1\\ -1& 0\end{array}\right]\left[\begin{array}{c}0.1\\ 0\end{array}\right]=\left[\begin{array}{c}0\\ -0.1\end{array}\right]$ (рад/с).

  То есть первый сустав неподвижен, второй вращается в обратном направлении со скоростью 0.1 рад/с.

PID-регулирование

• Формула: $u(t)=K_{p}e(t)+K_i\int e(\tau )d\tau +K_d\dot{e}(t)$

• Пример числового расчёта:

  Целевая позиция 10.0, текущая фактическая позиция 8.0. Текущая ошибка $e(t)=2.0$.

  Накопленный интеграл ошибки $\int e=5.0$.

  Ошибка уменьшается, скорость её изменения $\dot{e}(t)=-0.5$.

  Параметры $K_p=2.0,K_i=0.1,K_d=0.5$.

  Выходной момент двигателя $u(t)=(2.0\times 2.0)+(0.1\times 5.0)+(0.5\times -0.5)=4.0+0.5-0.25=4.25$ Н·м.

8. Нужно знать принципы и применение распространённых датчиков, например глубинной камеры Realsense.

Глубинная камера Realsense (расчёт по стереоскопическому параллаксу)

• Формула: $Z=\frac{f\cdot B}{d}$

• Пример числового расчёта:

  Фокусное расстояние инфракрасного объектива камеры $f=600$ пикселей.

  Физическое расстояние между левой и правой камерами (базис) $B=0.05$ м (5 см).

  Точка на объекте имеет горизонтальную координату 300 на левом изображении и 280 на правом. Параметр $d=300-280=20$ пикселей.

  Расстояние по глубине: $Z=\frac{600\times 0.05}{20}=\frac{30}{20}=1.5$ м.

  Камера выдаёт глубину этой точки 1.5 м.

9. «Почему в вашем проекте именно такая функция награды? Какие ещё варианты вы пробовали?»

(с числовым примером, основанным на вычислении потенциала)

«Помимо разреженной награды, я использовал формирование награды на основе потенциала (Potential-based Reward Shaping):

$$F(s,a,s^{\prime })=\gamma \Phi (s^{\prime })-\Phi (s)$$

где $\Phi (s)$ — некоторое масштабирование обратной величины расстояния между эффектором и объектом.

Конкретный расчёт: пусть расстояние $d$, а функция потенциала $\Phi (s)=\frac{1}{d+0.1}$. $\gamma =0.99$.

В состоянии $s$ (предыдущий шаг) расстояние $d=0.4$ м, потенциал $\Phi (s)=\frac{1}{0.5}=2.0$.

В состоянии $s^{\prime }$ (после действия) манипулятор приблизился к объекту, расстояние сократилось до $d=0.15$ м, потенциал $\Phi (s^{\prime })=\frac{1}{0.25}=4.0$.

Направляющая награда на этом шаге: $F=0.99\times 4.0-2.0=3.96-2.0=1.96$.

Эта положительная награда эффективно поощряет манипулятор приближаться к объекту, а математически гарантирует, что не возникнет лазейки в виде локального оптимума «ходить кругами» (Reward Loop).»

10. «Что входит в ваше пространство наблюдений и почему оно устроено именно так?»

(с числовым примером вычисления размерности)

«Пространство наблюдений я строго ограничил по размерности, чтобы повысить эффективность выборки. Конкретная конкатенация такая:

1. Собственное состояние: углы суставов 6-степенного манипулятора (6 измерений) и угловые скорости (6 измерений) = 12 измерений.

2. Положение концевого эффектора: позиция $(x,y,z)$ — 3 измерения, ориентация в виде кватерниона — 4 измерения, раскрытие захвата — 1 измерение = 8 измерений.

3. Визуальные признаки: изображение $84\times 84\times 3$ с камеры «глаз в руке». Если сразу развернуть его (Flatten), получится 21168 измерений, что легко ведёт к переобучению. Я извлекаю признаки замороженной предобученной сетью ResNet-18, выход $z_{img}$ имеет 512 измерений.

   Итоговая размерность: вектор наблюдения $O_t$, поступающий в сеть Actor RL, — одномерный тензор размерности $12+8+512=532$. Такая конструкция сохраняет марковское свойство среды и при этом сильно сжимает пространство состояний.»

11. «Объясните механизм многоголового внимания Transformer.»

Числовой пример вычисления самовнимания

• Формула: $\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$

• Допустим, на входе всего два токена (например, «красный» и «кружка»), после проекции размерность $Q,K,V$ сделаем небольшой, например $d_k=4$.

  Пусть $Q=\left[\begin{array}{cccc}1& 0& 1& 0\\ 0& 1& 0& 1\end{array}\right]$ (две строки — Query двух слов).

  Пусть $K=\left[\begin{array}{cccc}1& 0& 1& 0\\ 0& 1& 0& 1\end{array}\right]$.

  1. Вычисляем скалярные произведения $Q{K}^T=\left[\begin{array}{cccc}1& 0& 1& 0\\ 0& 1& 0& 1\end{array}\right]\left[\begin{array}{cc}1& 0\\ 0& 1\\ 1& 0\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}2& 0\\ 0& 2\end{array}\right]$.

  2. Делим на $\sqrt{d_k}=\sqrt{4}=2$, получаем матрицу оценок внимания: $\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$.

  3. Softmax (поскольку внедиагональные элементы равны 0, и для упрощения пример сильно сокращён) даёт распределение, сосредоточенное на самом себе. Наконец, умножаем на $V$ и получаем извлечённую информацию.

     Многоголовый механизм выполняет описанный процесс $h$ раз параллельно в нескольких подпространствах, а затем конкатенирует результаты. Это позволяет модели, рассматривая одно и то же слово, извлекать признаки разных подпространств, например «цвет» и «форму».

12. «Чем отличаются диффузионная модель (DM) и авторегрессионная модель (AR) в VLA?»

• Числовой пример для авторегрессии (AR):

  Предсказываем последовательность действий $[a_1,a_2]$.

  Вероятность первого шага $P(a_1|obs)=0.9$. Подставляем $a_1$ обратно на вход, и второй шаг даёт $P(a_2|obs,a_1)=0.8$.

  Совместная вероятность траектории $0.9\times 0.8=0.72$. Проблема в том, что при небольшой ошибке в $a_1$ погрешность экспоненциально накапливается по шагам (Exposure Bias).

• Числовой пример для диффузионной модели (DM):

  Предсказываем всю траекторию действий сразу. Задача сети ${ϵ}_{\theta }$ — предсказать шум, добавленный на текущем шаге.

  Пусть истинное действие с добавленным реальным гауссовым шумом $ϵ=[0.1,-0.2{]}^T$.

  Прямой проход сети даёт предсказанный шум $\widehat{ϵ}=[0.08,-0.22{]}^T$.

  Вычисляем MSE-потерю DDPM: $||ϵ-\widehat{ϵ}|{|}_2^2=(0.1-0.08{)}^2+(-0.2-(-0.22){)}^2=0.0004+0.0004=0.0008$.

  DM за один раз выполняет денойзинг и выдаёт блок (Chunk) из нескольких шагов действий (например, 16 шагов). Траектория по своей природе гладкая и согласованная, поэтому каскадная ошибка AR устраняется.

13. «Почему вы выбрали именно нашу лабораторию / это направление?»

«Я выбрал направление воплощённого ИИ, потому что оно позволяет непосредственно воздействовать на физический мир.

Что касается вашей лаборатории:

1. Совпадение технических подходов: я читал статью вашей команды о применении диффузионных моделей для долгосрочных задач ловкой работы кистью. Я заметил, что вы задали размер Action Chunk равным 32, и это подняло успешность захвата на 15%. В своих прошлых проектах я тоже менял длину окна Action Chunking и обнаружил, что диапазон 16–32 — оптимальная зона. Поэтому мне очень близки ваши инженерные детали.
2. Вычислительные ресурсы и аппаратная база: у вас есть 4 реальных робота со многопалыми кистями и кластер A100 в частном облаке. По сравнению с тем, что я сейчас могу запускать на одной видеокарте RTX 3090 (500 тысяч шагов обучения RL в симуляции), ваша платформа позволила бы за тот же срок пройти 10 миллионов шагов и значительно ускорить цикл Sim-to-Real.»

Первая часть: что такое DDPG / PPO / TD3 / SAC? Каковы входы и выходы?

По сути, это общие «правила обучения мозга» (фреймворк непрерывного управления). Их можно использовать для обучения захвату манипулятором, для обучения робота-собаки паркуру или даже для обучения управления рулём беспилотного автомобиля.

Основная структура этих четырёх алгоритмов обычно содержит две нейронные сети: Actor (актёр, выдаёт действия) и Critic (критик, выставляет оценки).

1. Входы модели (Observation/State)

При выполнении задачи в модель (главным образом в сеть Actor) обычно подаётся одномерный вектор, который описывает текущее состояние робота, воспринимаемое им, $s_t$. В этом векторе можно объединить различные данные:

• Физическое состояние (самое частое): например, углы и угловые скорости 6 суставов манипулятора, координаты $(x,y,z)$ захвата. Если это 12-мерный массив, размер входного слоя сети равен 12.
• Изображения (Visual RL): если нужно, чтобы модель «видела» изображения, обычно не подают в эти алгоритмы десятки тысяч пикселей напрямую. Стандартный подход — сначала сжать RGB-изображение с помощью CNN (например, ResNet) в вектор признаков фиксированной длины (например, 256 измерений), а затем объединить его с физическим состоянием выше и подать на вход алгоритма.
• Языковые инструкции: если используется управление по языку (что сейчас популярно), подход похож. Фраза «возьми красное яблоко» преобразуется текстовым энкодером, похожим на CLIP, в вектор чисел, который также объединяется с входным состоянием.

2. Выходы модели (Action)

Выход $a_t$ сети Actor — это непрерывная команда действия, которую нужно выполнить на следующем шаге.

• Конкретная форма: например, 6-мерный вектор, задающий целевые моменты 6 моторов манипулятора или желаемые угловые скорости суставов.
• Куда идёт выход: он напрямую отправляется в физический движок (например, симулятор Isaac Gym) или в контроллер реального оборудования.

3. Цикл итераций (RL Loop)

На примере захвата предметов манипулятором весь замкнутый цикл выглядит так:

1. Наблюдение за средой: датчики получают текущее состояние $s_t$ (например: манипулятор находится в точке A, цель — в точке B).
2. Решение сети: $s_t$ подаётся в сеть Actor, и она выдаёт действие $a_t$ (например: каждый мотор поворачивается на определённый угол).
3. Обратная связь среды: после выполнения действия $a_t$ робот переходит в новое состояние $s_{t+1}$. Среда (или ваш код) выдаёт награду $r_t$ (например: приблизился к цели, +1 балл; ударился о стену, −10 баллов).
4. Сбор данных: этот шаг опыта $(s_t,a_t,r_t,s_{t+1})$ записывается в «буфер воспроизведения опыта» (большую таблицу данных).
5. Обновление сетей:
   • Обновление Critic: Critic берёт данные из буфера и учится точнее предсказывать «если в этом состоянии выполнить это действие, сколько баллов в сумме будет получено в будущем». (Здесь используется TD-цель, о ней ниже.)
   • Обновление Actor: Actor корректирует параметры по оценкам Critic, чтобы при следующей похожей ситуации с большей вероятностью выдавать действие с более высокой оценкой.
6. Цикл: возврат к шагу 1, и процесс повторяется десятки тысяч или миллионы раз, пока модель не выучит оптимальную стратегию.

Вторая часть: что такое «TD-цель (TD Target)»?

TD (Temporal Difference, временная разность) — одна из самых тонких идей обучения с подкреплением. TD-цель можно понимать как «самый свежий и более точный прогноз суммарной будущей выгоды, в котором учтена реально полученная награда».

Пример из жизни поможет быстро понять:

Допустим, вы едете на машине из Пекина в Шанхай. Перед выездом ваша голова (сеть Critic) оценивает, что путь займёт 12 часов.

Доехав до Тяньцзиня, вы потратили 2 часа (это соответствует реальной награде $r_t$ текущего шага). Вы снова смотрите навигатор: от Тяньцзиня до Шанхая ещё 9 часов (это прогноз модели для следующего состояния $s_{t+1}$).

Тогда ваша новая общая оценка времени всего пути из Пекина в Шанхай с учётом пройденного участка такая:

2 часа (реально потраченное время) + 9 часов (новый прогноз оставшегося времени) = 11 часов.

Это и есть TD-цель!

Ваша голова будет исправлять прежний прогноз 12 часов с учётом этих 11 часов. Именно такой метод — обновлять старые прогнозы, используя новую информацию из шага «вперёд» — и есть ядро TD-обучения.

В формуле это выглядит так:

$$y_t=r_t+\gamma Q(s_{t+1},a_{t+1})$$

• $r_t$: реальная награда, полученная за выполненное действие (2 часа).
• $Q(s_{t+1},a_{t+1})$: прогноз Critic о будущих баллах из нового состояния (сколько ещё ехать от Тяньцзиня до Шанхая).
• $\gamma$: коэффициент дисконтирования (обычно 0.99), то есть будущие прогнозы немного обесцениваются.
• $y_t$: вычисленная TD-цель.

При обучении задача сети Critic — изо всех сил подогнать свой прогноз $Q(s_t,a_t)$ к этой TD-цели $y_t$, и тогда её предсказания становятся всё точнее.

Третья часть: в чём различие DDPG, PPO, TD3 и SAC?

На макроуровне DDPG, PPO, TD3 и SAC действительно крутятся вокруг одного и того же цикла «наблюдение — действие — награда — обновление» (архитектура actor-critic). Но на микроуровне, чтобы решить проблемы, которые возникают при обучении, исследователи по-разному изменяют форму выхода сети, способ вычисления значений Q и механизм награды.

Основные различия как раз в этих микроскопических деталях. Сначала возьмём PPO, а затем сравним DDPG, TD3 и SAC — три «родственных» алгоритма.

1. Главное различие семейств: как используются данные?

• PPO (on-policy): это типичный пример «учиться и применять сразу». Actor сам собирает пакет данных в среде; после обновления сетей этот пакет выбрасывается. Следующее обновление обязательно требует новых данных, собранных самым свежим Actor.
• DDPG / TD3 / SAC (off-policy): у них есть большой «буфер воспроизведения опыта» (Replay Buffer). Данные, которые собрал Actor, сохраняются в буфер, и Critic может многократно использовать старые данные для обучения. Такой подход экономит обращения к среде (высокая эффективность по выборкам).

2. Микрохирургия: что именно изменено в значениях Q и политике?

Эти три off-policy алгоритма (DDPG → TD3 → SAC) — по сути история исправления ошибок, и их микроскопические различия как раз отвечают на ваш вопрос.

DDPG: родоначальник (но со множеством дыр)

• Выход Actor: Actor напрямую выдаёт определённое числовое значение (например, «моторный момент 2.5 Н·м»). Это детерминированная политика.
• Вычисление Q: Critic действует как наивный учитель и обновляется по обычной формуле TD-цели $y=r+\gamma Q(s^{\prime },a^{\prime })$.
• Фатальный недостаток: поскольку предсказания нейронных сетей всегда содержат ошибки, Critic в DDPG очень склонен к слепому оптимизму (завышению Q). Он может выставить очень высокую оценку плохому действию, и Actor в итоге выучит плохую политику.

TD3: «усиленная заплатка» поверх DDPG

Чтобы справиться со «слепым оптимизмом» DDPG, TD3 вносит в микроскопический расчёт значений Q очень точные изменения:

• Два Q-критика и минимум (ключевое!): там два независимых Critic. При вычислении будущих значений Q оба выставляют оценки, и затем принудительно берётся меньшее из двух.
  • Пример из жизни: вы оцениваете будущую стоимость квартиры, пригласили двух оценщиков. Один говорит 5 миллионов, другой — 3 миллиона. Чтобы не переплатить (то есть не попасть в ловушку завышения), вы принимаете решение, исходя из 3 миллионов.
• Сглаживание целевой политики: при вычислении TD-цели в следующее действие $a^{\prime }$ намеренно добавляется небольшой случайный шум. Это заставляет Critic понять: «Не отдавай высокую оценку лишь одному конкретному действию, смотри, хороши ли соседние действия в небольшой окрестности».
• Отложенное обновление: Critic обновляется два-три раза, и только потом обновляется Actor. Так Actor опирается на уже более точные оценки.

SAC: нынешний лидер, который меняет само определение награды

SAC идёт другим путём. Его главное микроскопическое изменение — изменение целевой функции награды (фреймворк максимальной энтропии):

• Микроскопическое изменение награды: к традиционной реальной награде $r$ добавляется «бонус энтропии» (Entropy Bonus).
  • Цель становится такой: максимизировать $[\text{награда за задачу}+\alpha \times \text{случайность политики}]$.
• Выход Actor: в отличие от DDPG/TD3, которые выдают определённые действия, Actor SAC выдаёт гауссово распределение (среднее и дисперсию).
• Эффект: SAC требует не только выполнить задачу, но и поощряет робота выполнять её максимально разнообразными и случайными способами. Такая микроскопическая конструкция делает SAC более устойчивым к внешним возмущениям при работе с физической средой.

3. Одна таблица стоит тысячи слов: сводка микроскопических различий