Дополнительные детальные вопросы и ответы (набор 2)

Дополнительные вопросы

1. Непрерывная интерполяция траектории внутри кадра необходима, чтобы по-настоящему решить проблему задержки «восприятие — исполнение» при динамических операциях в реальном мире.

Как именно выполняется эта интерполяция?

2. Что означает $a_{suspend}$? Когда именно происходит аварийное прерывание? Какое действие выполняется после прерывания? Робот так и остаётся неподвижным?

3. Score function ${\nabla }_a\log p(a|o)$ позволяет точно аппроксимировать истинное распределение и через сэмплирование Ланжевена (Langevin dynamics) «схлопнуться» либо в «строго влево», либо в «строго вправо». Что за конкретная формула здесь стоит?

4. Линейное сжатие Mamba по своей сути lossy (с потерями). Что означает «lossy»?

5. Иерархические семантические якоря: Mamba не должна запоминать все низкоуровневые последовательности действий $a_{0:t}$. «Крупная логика» прошлого абстрагируется VLM в дискретный набор вех (Milestone) $S=\{s_1,s_2,\dots ,s_k\}$ (например, «отслаивание ткани завершено»). Эти семантические сведения периодически подаются как высокоразмерный условный вектор $c_{semantic}$:

$$h_t=\bar{A}{h}_{t-1}+\bar{B}{x}_t+W{c}_{semantic}$$

($W$ — матрица проекции), что поддерживает точную долгосрочную логику.

Как это работает? Приведите подробный пример, конкретный случай.

Mamba ($O(N)$): Mamba обрабатывает последовательность через скрытое состояние $h_t\in {\mathbb{R}}^n$ фиксированной размерности. После дискретизации обновление состояния имеет вид $h_t=\bar{A}{h}_{t-1}+\bar{B}{x}_t$. Для каждого нового токена $x_t$ требуется только умножение вектора на матрицу, и сложность одного шага постоянна: $\mathcal{O}(n^2)$ или меньше (после диагонализации). Для последовательности длины $N$ общая сложность равна $\mathcal{O}(N\cdot n)$, то есть растёт линейно.

Почему здесь появляется $O(n^2)$? Откуда берутся матрицы $A$ и $B$ в формуле Mamba?

6. Локальная потеря точности: на коротких последовательностях действий, требующих очень высокочастотной пространственной тонкой настройки, абсолютная успешность Mamba может быть немного ниже, чем у Transformer (обычно на 1–3%). С математической точки зрения это проблема информационного узкого места (Information Bottleneck). Пусть энтропия информации во входной последовательности равна $H(X)$, а ёмкость скрытого состояния фиксированной размерности — $C(h_t)$. Когда $H(X)>C(h_t)$, высокочастотные пространственные признаки неизбежно обрезаются и теряются.

Как вычисляются $H$ и $C$?

7. Преимущество на длинных последовательностях: при управлении на больших горизонтах времени ($N\to \infty$) распределение softmax у Transformer страдает от разбавления внимания (Attention Dilution) из-за слишком большого знаменателя ${\sum }_{j=1}^N\exp (q_i\cdot k_j)$, и производительность резко падает. Mamba сохраняет высокую частоту инференса и плавность.

Почему у Mamba не возникает разбавления внимания?

8. «Текущее визуальное состояние» плюс «несколько исторических кадров», отражающих тенденцию, в сочетании с конечной целью из текстовой инструкции уже дают полный семантический контекст для решения MDP.

Почему это так?

9. Обучение состоит из трёх этапов:

10. Крупномасштабное предобучение: формирование базового представления изображения и текста.

11. SFT (контролируемое дообучение): используются большие объёмы видео хирургических операций врачей, из которых извлекаются ключевые кадры и размечаются действия. Минимизируется функция потерь отрицательного логарифмического правдоподобия:

    $${\mathcal{L}}_{SFT}=-\sum _{t=1}^T\log p_{\theta }(a_t^{\ast }|O_{\le t},P_{text})$$

    где $a_t^{\ast }$ — реальная инструкция по действию врача.

12. Выравнивание (RLHF/DPO): профессиональные врачи дают обратную связь о предпочтениях. На примере DPO (Direct Preference Optimization) политика ${\pi }_{\theta }$ оптимизируется для безопасных и опасных операций:

    $${\mathcal{L}}_{DPO}=-{\mathbb{E}}_{(x,y_w,y_l)}\left[\log \sigma \left(\beta \log \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{ref}(y_w|x)}-\beta \log \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{ref}(y_l|x)}\right)\right]$$

    $y_w$ — безопасное предпочтительное действие, а $y_l$ — опасное нарушающее действие.

Приведите конкретный пример сценария.

10. $${\Delta }_t=\text{softplus}(\text{Linear}(x_t))$$

Что означает параметр softplus?

Что забыть, а что запомнить: параметр шага времени Mamba ${\Delta }_t$ является линейной проекцией входа $x_t$:

$${\Delta }_t=\text{softplus}(\text{Linear}(x_t))$$

Когда сеть выучивает, что $x_t$ — бесполезный фон, ${\Delta }_t\to 0$. Из формулы дискретизации $\bar{A}=\exp ({\Delta }_{t}A)$ следует, что $\bar{A}\to I$, а $\bar{B}\to 0$, поэтому обновление скрытого состояния принимает вид $h_t\approx I{h}_{t-1}+0\cdot x_t=h_{t-1}$. Это и есть «забыть текущее, запомнить историю». Наоборот, когда ${\Delta }_t$ велико, новый текущий признак записывается в состояние.

Здесь не написано, как вычисляются A и B по отдельности.

11. Что делать, если потеряна мелкая точка: это структурный недостаток архитектуры. На уровне инженерии вводится гибридная архитектура: параллельно Mamba добавляется высокочастотная ветка обнаружения аномалий $f_{anomaly}(x_t)$. Её признаки напрямую через остаточное соединение (Residual Connection) объединяются с выходом:

$$y_t=C{h}_t+\text{ReLU}(f_{anomaly}(x_t))$$

Это гарантирует, что мгновенно появившиеся ключевые точки (например, точка кровотечения) обходят сжатие состояния Mamba.

Что такое остаток (residual) в остаточном соединении? Как устроено внутреннее отображение $f_{anomaly}(x_t)$?

12. Что такое отказ, вызванный окклюзией?

В реальных медицинских роботах чисто визуальная работа вслепую категорически недопустима.

Если происходит сильная окклюзия, уверенность визуального энкодера резко падает. Пусть уверенность визуального предсказания действия равна $c_{vis}={\max }_{a}P(a|o_{occluded})$, а порог уверенности — $\gamma$.

Когда $c_{vis}<\gamma$, система обязана понизить режим и опираться на обратную связь по шестимерному моменту концевого эффектора $F_{ext}$ (режим силового управления). Если в этом состоянии $\exists \Vert F_{ext}\Vert >{\tau }_{safe}$, немедленно выполняется стратегия безопасной приостановки $a_{suspend}$ (например, отвод инструмента на небольшое безопасное расстояние по его оси с фиксацией суставов), и подаётся сигнал тревоги для передачи управления врачу (контролируемая автономность, Supervised Autonomy).

Что значит «понизить режим» (деградация)?

Что значит «опираться на обратную связь по шестимерному моменту $F_{ext}$ (режим силового управления)»?

13. Онлайн-идентификация системы + остаточное управление (Online System ID + Residual Policy): при операции на живом организме по реальным действиям $a_t$ и сигналам силы $F_t$ онлайн оценивается неявное механическое представление текущей ткани $z_{phy}=\varphi (a_{t-k:t},F_{t-k:t})$. Затем остаточная сеть политики ${\pi }_{res}$ компенсирует разрыв Sim-to-Real:

$$a_{real}={\pi }_{sim}(o_t)+{\pi }_{res}(o_t,z_{phy},F_t)$$

Почему здесь именно остаточное управление? Сложение выглядит для меня странно. Есть ли теоретическое обоснование?

14. Для обработки дискретных токенов вводится зависящий от входа динамический шаг ${\Delta }_t\in \mathbb{R}$ для дискретизации.

Дискретная рекуррентная формула состояния после дискретизации:

$$h_t=\bar{A}{h}_{t-1}+\bar{B}{x}_t$$

$$y_t=C{h}_t$$

Строгий вывод параметров дискретизации:

$$\bar{A}=\exp ({\Delta }_{t}A)$$

$$\bar{B}=({\Delta }_{t}A{)}^{-1}(\exp ({\Delta }_{t}A)-I)\cdot {\Delta }_{t}B$$

• $x_t$: дискретный входной токен на шаге $t$.
• $h_t$: дискретное скрытое состояние на шаге $t$.
• $\bar{A}$: дискретная матрица перехода состояний (определяет, сколько истории сохранить).
• $\bar{B}$: дискретная матрица проекции входа (определяет, сколько нового входа принять).
• $I$: единичная матрица.

Как вычисляется ${\Delta }_t$? Дайте пример.

15. Генерация Action Chunk диффузией создаёт «слепую зону» открытого контура управления. При нелинейных деформациях тканей в реальном времени во время хирургии нужна строгая замкнутая коррекция:

• Управление со скользящим горизонтом (Receding Horizon Control, RHC): модель генерирует Chunk из $T$ шагов траектории: ${\hat{A}}_t=[a_t,a_{t+1},\dots ,a_{t+T-1}]$. Но выполняются только первые $k$ шагов ($k\ll T$), и в момент $t+k$ заново получается наблюдение $o_{t+k}$ и генерируется новый Chunk.

• Высокочастотное прерывание по мультимодальным сигналам: в течение очень короткого времени учитывается сверхчастотная обратная связь по моменту (датчик силы/момента, Force/Torque Sensor). Пусть текущий измеренный вектор момента равен $F_{ext}$, а порог безопасности — ${\tau }_{safe}$. Логика контроллера:

  $$a_{exec}=\{\begin{array}{ll}{\hat{A}}_t[i],& \text{если }\Vert F_{ext}\Vert \le {\tau }_{safe}\\ a_{suspend},& \text{если }\Vert F_{ext}\Vert >{\tau }_{safe}\end{array}$$

  Как только $\Vert F_{ext}\Vert$ резко выходит за пределы (что означает непредвиденную деформацию ткани), низкоуровневый контроллер немедленно прерывает текущий Chunk.

Как при этом выполняется коррекция? Ткань уже нелинейно сместилась — как система выполняет замкнутую коррекцию? Ведь это означает, что наблюдаемое состояние изменилось.

Ответы на вопросы

1. Как выполняется интерполяция траектории между кадрами?

В embodied AI скорость инференса VLM очень низкая (например, всего 5 Гц), тогда как низкоуровневое управление реальным роботом (например, Franka или Unitree) обычно требует команд с высокой частотой (70 Гц и выше, до 500 Гц и больше, как в сценарии сверхбыстрого инференса 71 Гц 1-NFE, который вы, возможно, исследуете).

Как устроена интерполяция:

Здесь «интерполяция» — это не просто линейная интерполяция между двумя точками, а генерация высокочастотной непрерывной траектории (Action Chunk) моделью Diffusion.

Пусть в момент $t$ VLM получает визуальное наблюдение $O_t$ и за 200 миллисекунд выдаёт высокоразмерный признак или целевую точку $z_t$. За эти 200 миллисекунд без интерполяции робот будет дёргаться.

Модель Diffusion работает с очень высокой частотой (например, 71 Гц): она получает $z_t$ и текущее состояние робота $q_t$ (углы суставов) и напрямую генерирует плавную последовательность действий на $k$ будущих шагов:

$$a_{t:t+k}\sim p_{\theta }(a|q_t,z_t)$$

Эти $k$ действий (например, $k=14$) физически заполняют «слепую зону» между двумя обновлениями визуальной информации от VLM, поэтому движение манипулятора получается непрерывным и плавным.

2. Что такое $a_{suspend}$? Когда происходит прерывание? Что делается потом? Остаётся ли робот неподвижным?

• Что это: $a_{suspend}$ означает «приостановку системы» или «стратегию аварийной остановки».

• Когда происходит прерывание: когда высокочастотный датчик момента (например, шестикомпонентный датчик силы, дискретизация 1000 Гц) регистрирует внешнюю силу $\Vert F_{ext}\Vert$, превышающую заданный порог безопасного разрыва ткани ${\tau }_{safe}$, срабатывает прерывание. В течение миллисекунд низкоуровневый контроллер напрямую перехватывает управление и блокирует выход большой модели.

• Какое действие выполняется: ни в коем случае не застывание на месте. Если хирургический инструмент уже давит на ткань, неподвижность продолжит наносить ткани повреждение. Стандартное действие $a_{suspend}$ — податливый отвод (Compliant Retraction):

  $$a_{suspend}=-\lambda \cdot v_{approach}$$

  то есть инструмент отводится на очень небольшое безопасное расстояние (например, 3 мм) в направлении, обратном тому, которым он приближался ($v_{approach}$), сбрасывая контактную силу; затем блокируются тормоза двигателей, и система ждёт, пока врач возьмёт управление.

3. Какая конкретная формула стоит за тем, что сэмплирование Ланжевена «схлопывается» в «строго влево» или «строго вправо»?

В диффузионной модели генерация действий — это итеративный процесс денойзинга. Динамика Ланжевена (Langevin Dynamics) использует score function ${\nabla }_a\log p(a|o)$, чтобы шаг за шагом вести чистый случайный шум к областям высокой вероятности (к многообразию реальных физических траекторий).

Конкретная итеративная формула сэмплирования:

$$a_{k-1}=a_k+\frac{{\alpha }_k}{2}{\nabla }_a\log p(a_k|o)+\sqrt{{\alpha }_k}{ϵ}_k$$

• $a_k$: последовательность действий с шумом на шаге $k$.
• ${\alpha }_k$: гиперпараметр, управляющий размером шага сэмплирования (аналог learning rate).
• ${\nabla }_a\log p(a_k|o)$: score function, предсказываемая U-Net или Transformer. Её физический смысл: «в текущем зашумлённом пространстве действий — направление самого крутого подъёма к реальным разумным действиям».
• ${ϵ}_k\sim \mathcal{N}(0,I)$: введённый стандартный гауссов шум.

Как избегается колебание: в начале денойзинга (когда шум велик) модель колеблется между «левым» и «правым». Но по мере уменьшения $k$ введённый шум ${ϵ}_k$ становится всё меньше, и доминирующим становится градиентный член score function. Система испытывает спонтанное нарушение симметрии (Symmetry Breaking) и случайным образом «схлопывается» в один из пиков (например, в полностью левый), что в итоге даёт одну определённую траекторию обхода препятствия.

4. Что означает «lossy» в утверждении, что линейное сжатие Mamba по сути с потерями?

Lossy (с потерями) — понятие из теории информации, противоположное lossless (без потерь).

• Transformer — без потерь: его KV-кэш целиком хранит все прошлые токены в видеопамяти. Это как снимать всю операцию камерой: любой момент можно воспроизвести в исходном качестве.
• Mamba — с потерями: независимо от того, идёт операция минуту или час, вся прошлая информация принудительно сжимается и накладывается в вектор $h_t$ фиксированной размерности (например, $1024$). Это как сжать двухчасовой фильм до JPEG-картинки в 100 КБ: старые, менее важные детали (например, то, что 10 минут назад манипулятор слегка дрогнул) стираются в ходе повторных матричных умножений и уже никогда не восстанавливаются точно.

5. Как на практике работают иерархические семантические якоря? Откуда берутся $O(n^2)$ и матрицы $A$, $B$?

Подробный пример:

Допустим, выполняется операция «холецистэктомия» (удаление желчного пузыря).

Низкоуровневая Mamba управляет манипулятором с частотой 50 Гц, обрабатывая изображения и углы. Через 30 минут, если полагаться только на скрытое состояние $h_t$ нижнего уровня, Mamba может забыть, на каком этапе находится операция.

В этот момент высокоуровневая VLM (например, запускаемая каждые 5 секунд) видит на изображении, что пузырный проток уже пережат клипсой, и выдаёт дискретный семантический токен: «пересечь пузырный проток».

Эта концепция преобразуется в высокоразмерный вектор $c_{semantic}$.

Формула инъекции:

$$h_t=\bar{A}{h}_{t-1}+\bar{B}{x}_t+W{c}_{semantic}$$

• $\bar{A}{h}_{t-1}$: низкоуровневая Mamba помнит положение ножниц за миллисекунду до этого.
• $\bar{B}{x}_t$: новые визуальные признаки текущего момента.
• $W{c}_{semantic}$: это и есть якорь. Он как будто ставит состоянию $h_t$ «ментальный штамп», заставляя последующее обновление состояния склоняться к физическому распределению «выполнение разреза», а не «наложение шва», и поддерживая стабильность длинной логики.

Откуда берутся A и B и почему $O(n^2)$?

• Происхождение A и B: в теории моделей пространства состояний (SSM) матрица $A$ обычно инициализируется как HiPPO-матрица (особая матрица, оптимально запоминающая историю полиномами), а затем становится обучаемым параметром, который дообучается вместе с сетью. $B$ — параметры линейного слоя, проецирующего вход $x_t$ в скрытое пространство.
• О $O(n^2)$: в формуле $h_t=\bar{A}{h}_{t-1}$ состояние $h_t\in {\mathbb{R}}^n$ (размерность состояния $n$), а $\bar{A}\in {\mathbb{R}}^{n\times n}$ — квадратная матрица. Умножение матрицы $n\times n$ на вектор $n$ имеет сложность $O(n^2)$. (Примечание: в реальной реализации Mamba авторы использовали допущение о диагональности $\bar{A}$, что превращает операцию в поэлементное умножение, и на практике сложность одного шага снижается до $O(n)$. На собеседовании стоит упомянуть этот момент — это большой плюс.)

6. Как вычисляются $H$ и $C$ в задаче информационного узкого места?

• $H(X)$ (энтропия): мера неопределённости и сложности текущей траектории операции. Если считать действия хирурга распределёнными по гауссу, дифференциальная энтропия вычисляется как:

  $$H(X)=\frac{1}{2}\log ((2\pi e{)}^D|\Sigma |)$$

  где $D$ — размерность действия, $\Sigma$ — ковариационная матрица распределения действий. При очень высокочастотной, сложной тонкой коррекции (дрожь рук, мельчайшее обхождение препятствий) дисперсия велика, и $H(X)$ тоже велико.

• $C(h_t)$ (ёмкость скрытого состояния): мера того, сколько бит может нести вектор скрытого состояния Mamba. Если размерность состояния $h_t$ равна $n$, а используются 16-битные числа с плавающей точкой (FP16), то абсолютный физический предел ёмкости равен $n\times 16$ бит.

• Вывод: когда точность операции так высока, что требуемое число бит превышает общую битовую ёмкость вектора состояния, данные переполняются, и высокочастотные пространственные признаки физически обрезаются.

7. Почему у Mamba не возникает разбавления внимания (Attention Dilution)?

• Почему разбавление есть у Transformer: веса внимания равны $softmax(Q{K}^T)$. Знаменатель softmax — ${\sum }_{j=1}^N\exp (q_i\cdot k_j)$. Когда длина последовательности $N$ достигает десятков тысяч (несколько часов операции), знаменатель становится огромным, и большинство полезных локальных весов стремится к $0$ (они «разбавляются»).
• У Mamba разбавления нет: Mamba не вычисляет глобальный softmax! Она использует гейтинговую переменную ${\Delta }_t$, чтобы решить, «перезаписать» или «сохранить» информацию. При встрече с важной информацией она напрямую переписывает соответствующие нейроны в $h_t$ и не конкурирует с предыдущими десятками тысяч токенов в нормировке. Поэтому, сколько бы ни было $N$, сила отклика на ключевую информацию не размывается.

8. Почему «текущее визуальное состояние + несколько исторических кадров + инструкция» достаточно для решения MDP?

В физике, чтобы полностью описать динамическое состояние объекта, достаточно знать его положение (нулевая производная), скорость (первая производная) и ускорение (вторая производная).

• Текущий визуальный кадр даёт положение всех объектов $O_t$.

• Три исторических кадра через конечные разности неявно дают скорость $V_t\approx (O_t-O_{t-1})/\Delta t$ и ускорение $A_t$.

  Вместе с целью, заданной текстовой инструкцией, это содержит все переменные состояния, которые движку физики нужны для вычисления следующего шага. Выполняется марковское свойство: будущее состояние определяется только динамическими признаками, вычисленными по этим нескольким кадрам, и совершенно не зависит от того, с какой стороны стола инструмент лежал час назад.

9. Пример сценария для RLHF/DPO

Пусть задача — «удалить полип».

• $x$ (контекст): на экране полип рядом с сосудом, манипулятор держит электрод.
• $y_w$ (хорошее действие): модель медленно перемещает электрод и режет в направлении от сосуда.
• $y_l$ (плохое действие): модель делает слишком большое движение, задевает полип, но также повреждает соседний сосуд.
• Как работает DPO: врач видит действие $y_l$ и помечает его как «опасное». ${\pi }_{\theta }$ — обучаемая модель, ${\pi }_{ref}$ — замороженная исходная модель. В формуле $\log \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{ref}(y_w|x)}$ вероятность хорошего действия $y_w$ постепенно растёт, а $-\log \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{ref}(y_l|x)}$ принудительно снижает вероятность опасного действия $y_l$. В итоге модель становится «крайне осторожной».

10. Что означает softplus? Как ${\Delta }_t$ связана с A и B?

• Что означает softplus: это функция активации $\text{softplus}(z)=\log (1+\exp (z))$. Её роль — превратить любое действительное число в положительное. Поскольку ${\Delta }_t$ означает физический «шаг времени» или «скорость обновления», время не может идти назад, а скорость не может быть отрицательной, поэтому нужен слой softplus, гарантирующий положительность.

• Как вычисляются A и B здесь:

  В архитектуре Mamba матрица $A$ обычно является фиксированным или медленно обучаемым глобальным параметром (для сохранения истории); $B_t$ динамически генерируется из текущего входа:

  $$B_t={\text{Linear}}_B(x_t)$$

  Дискретизированное ${\bar{B}}_t$ определяется совместно ${\Delta }_t$, непрерывным $A$ и непрерывным $B_t$:

  $${\bar{B}}_t=({\Delta }_{t}A{)}^{-1}(\exp ({\Delta }_{t}A)-I)\cdot {\Delta }_t{B}_t$$

  (при ${\Delta }_t\to 0$ имеем $\exp ({\Delta }_{t}A)\to I$, и ${\bar{B}}_t\to 0$, то есть новые входные данные не поглощаются.)

11. Что такое остаточное соединение? Что представляет внутреннее отображение $f_{anomaly}(x_t)$?

• Остаточное соединение (Residual Connection): $y=f(x)+x$. Идея: если путь Mamba со сжатием состояния потерял информацию, мы прокладываем «зелёный коридор» и добавляем исходную информацию к конечному результату.
• Внутреннее отображение $f_{anomaly}(x_t)$: это может быть очень компактная и быстрая свёрточная сеть (CNN) или многослойный перцептрон (MLP). Её задача очень узкая: специально обнаруживать резкий рост площади красных (кровяных) пикселей в кадре или мгновенные импульсы на датчике момента. Как только такое обнаружено, она выдаёт сильный отклик, который через остаточный канал напрямую влияет на итоговый выход $y_t$, минуя медленный механизм памяти Mamba.

12. Что такое деградация системы? Что означает обратная связь по шестимерному моменту?

• Деградация (Degradation): как у автопилота в сильный туман, когда камеры не видят. Система автоматически переходит с «высокоуровневого ассистированного вождения с видеокамерами (NOA)» на «адаптивный круиз-контроль (ACC) только с радаром». Здесь сложное управление «визуальной большой моделью в сквозном режиме» деградирует до самого базового «классического промышленного физического управления роботом».
• Шестимерная обратная связь по моменту (6D Force-Torque): вы наверняка знаете датчик (F/T Sensor) на фланце манипулятора Franka. В режиме силового управления машина больше не полагается на изображения, а опирается исключительно на «ощущение». Шесть измерений — это три силы (Force) по осям $X,Y,Z$ и три момента (Torque) вокруг осей $X,Y,Z$. Даже если глаза ничего не видят, рука ощущает сопротивление (контакт с тканью) и по заданным механическим правилам (например, адмиттансному управлению) отводится назад по направлению силы.

13. Почему именно остаточное управление? Какое теоретическое обоснование у простого сложения?

Почему формула именно $a_{real}={\pi }_{sim}(o_t)+{\pi }_{res}(o_t,z_{phy},F_t)$?

• Теоретическое обоснование сложения: оно опирается на подавление возмущений (Disturbance Rejection) из теории управления и на Residual RL из обучения с подкреплением.
• Почему не переобучать ${\pi }_{sim}$ напрямую:
  1. В реальном физическом мире (особенно на живом организме) собрать сотни тысяч неудачных хирургических данных для дообучения большой модели невозможно (слишком низкая эффективность выборки, слишком высокая цена).
  2. ${\pi }_{sim}$ уже выучила в симуляции (например, Isaac Sim/Lab) очень устойчивую базовую траекторию операции (скелет).
  3. Различия реального мира (например, свиная ткань скользче, чем в симуляции) — это лишь высокочастотное возмущение малой амплитуды. Если небольшая сеть ${\pi }_{res}$ учится выдавать лишь малую компенсирующую поправку $\Delta a$ (например, «нажать на миллиметр сильнее влево»), то обучение идёт очень быстро, а после ограничения амплитуды система остаётся безопасной и не ломает общую логику ${\pi }_{sim}$.

14. Как вычисляется ${\Delta }_t$? Дайте пример.

Формула вычисления:

$${\Delta }_t=\text{softplus}(W_{\Delta }{x}_t+b_{\Delta })$$

где $W_{\Delta }$ — обученная матрица весов, а $x_t$ — вектор признаков текущего входа.

Конкретный пример:

Представим, что вы разрезаете ткань:

• Момент $t_1$: на изображении $x_{t1}$ скальпель движется над тканью, ничего не происходит. Модель уже выучила, что это избыточное действие. $W_{\Delta }{x}_{t1}$ даёт небольшое отрицательное число, после softplus получаем ${\Delta }_{t1}\approx 0.01$. Система считает эту картинку «бесполезным фоном», и скрытое состояние $h_t$ почти не меняется.
• Момент $t_2$: на изображении $x_{t2}$ кончик скальпеля только что проткнул ткань, появилась небольшая кровоточивость. Признаки модели распознают ключевую физическую точку контакта! $W_{\Delta }{x}_{t2}$ даёт большое положительное число, после softplus получаем ${\Delta }_{t2}\approx 5.0$. Этот большой шаг мгновенно активирует матрицу $\bar{B}$ и принудительно записывает состояние «ткань уже проткнута» в $h_t$, предписывая следующему шагу замедлиться.

15. Как RHC корректирует нелинейное смещение ткани?

Конкретный процесс коррекции:

В момент $t_0$ диффузионная модель смотрит на изображение, видит полип в координатах $(10,10)$, и генерирует идеальный Chunk ${\hat{A}}_t$ из 20 шагов, рассчитанный на 2 секунды для захвата полипа.

• Без RHC (открытый контур): манипулятор выполняет все 20 шагов «с закрытыми глазами». Но на 0.5 секунде ткань нелинейно смещается, полип скатывается в $(12,8)$. Оставшиеся 1.5 секунды движений промахиваются и могут даже повредить ткань.

• С RHC (замкнутый контур):

  1. В момент $t_0$ генерируется Chunk на 20 шагов, но выполняются только первые 2 шага.

  2. После выполнения двух шагов (всего 0.2 секунды) немедленно делается новый снимок (получаем наблюдение $O_{t+2}$).

  3. На этом новом снимке ясно видно, что полип сдвинулся, его текущие координаты $(10.5,9.5)$.

  4. Диффузионная модель использует самое свежее изображение в качестве условия, отказывается от старой траектории и заново генерирует новый Chunk на 20 шагов.

  5. Процесс повторяется.

     Итог: замкнутая коррекция системы состоит не в «исправлении» ошибочной траектории, а в очень частом цикле «посмотреть — отбросить старый план — сгенерировать новый план». Так смещение среды (изменение состояния) постоянно вносится в самое новое условие, и поток действий всегда следует за реальным положением цели.

Дополнительные вопросы 1

1. Что такое score-функция ${\nabla }_a\log p(a_k|o)$? Её нужно обучать?

2. Что такое матрица HiPPO, которой инициализируется $A$? Подробно объясните и приведите конкретный численный пример. На практике матрицу часто приводят к диагональному виду. Так ли это?

3. Как вычисляется «гейтинговая» переменная ${\Delta }_t$? Дайте конкретный пример вычисления. Каков её физический смысл?

4. Остаточное соединение (Residual Connection): $y=f(x)+x$. Идея в том, что если путь Mamba со сжатием состояния потерял информацию, исходную информацию можно прямо добавить к результату по «зелёному коридору». Но если это сложение, почему это называется «остатком» (residual)?

Ответы на дополнительные вопросы 1

1. Нужно ли обучать score-функцию ${\nabla }_a\log p(a_k|o)$?

Обязательно нужно, и именно в этом заключается всё ядро обучения диффузионной модели.

• Физический смысл и проблема: $\log p(a|o)$ — реальное, чрезвычайно сложное физическое распределение действий (например, идеальная хирургическая траектория). Мы не знаем аналитического выражения для этого распределения и, разумеется, не можем напрямую вычислить его градиент — истинную score-функцию ${\nabla }_a\log p(a_k|o)$.

• Роль большой модели: поскольку вычислить её нельзя, мы используем нейронную сеть (U-Net или Transformer), чтобы приблизить её. Определим сеть как $s_{\theta }(a_k,k|o)$, её цель — приблизиться к истинному ${\nabla }_a\log p(a_k|o)$.

• Элегантная эквивалентность (объединение DDPM и score-based моделей): по формуле Твиди (примечание 1) и теории денойзинг-сопоставления score (Denoising Score Matching), score текущего состояния математически строго пропорциональна добавленному шуму:

  $${\nabla }_a\log p(a_k|o)\propto -ϵ$$

  Поэтому в инженерной реализации U-Net выводит не «вектор score» напрямую, а предсказанный шум ${ϵ}_{\theta }(a_k,k|o)$. Обучение состоит в том, чтобы MSE-потерями заставить предсказанный шум приближаться к действительно добавленному:

  $$\mathcal{L}={\mathbb{E}}_{k,a_0,ϵ}[\Vert ϵ-{ϵ}_{\theta }(a_k,k|o){\Vert }_2^2]$$

  Таким образом, обучение диффузионной модели по сути и есть обучение этой score-функции.

2. Что такое матрица HiPPO? Приводится ли она на практике к диагональному виду?

HiPPO (High-order Polynomial Projection Operators) — математическая схема, которая оптимально «запоминает» непрерывную историю сигнала.

• Принцип: чтобы конечномерное скрытое состояние $h_t$ запоминало бесконечно длинную историю последовательности, лучший способ — не простое затухание (как в RNN), а проекция истории сигнала на ортогональный базис полиномов (например, полиномы Лежандра, Legendre Polynomials). Матрица HiPPO $A$ — матрица перехода состояний, полученная из этого вывода.

• Конкретный числовой пример: возьмём классическую HiPPO-LegS (масштабированные Лежандровы полиномы). Её непрерывная матрица $A_{nk}$ определяется так:

  при $n>k$: $A_{nk}=-(2n+1)$

  при $n=k$: $A_{nn}=-(n+1)$

  при $n<k$: $A_{nk}=0$

  Если взять минимальную размерность состояния $3\times 3$, матрица $A$ выглядит так (нижнетреугольная):

  $$A=\left[\begin{array}{ccc}-1& 0& 0\\ -3& -2& 0\\ -5& -5& -3\end{array}\right]$$

  Все её собственные значения имеют отрицательную действительную часть, что гарантирует устойчивость динамической системы: история плавно затухает, а не взрывается (примечание 2).

• Диагонализация на практике:

  Ваша интуиция верна: в инженерной практике её обязательно диагонализируют.

  Если вы изучали эволюцию от S4 к Mamba, то увидите:

  1. Чистая матрица HiPPO — плотная нижнетреугольная матрица, и вычисление матричной экспоненты $\exp (\Delta A)$ и матричных умножений на каждом шаге слишком медленно.
  2. В статье S4 авторы использовали математический приём, диагонализующий матрицу HiPPO в виде $A=V\Lambda V^{-1}$, и в комплексной области $\mathbb{C}$ вычисляли только комплексные собственные значения на диагонали $\Lambda$.
  3. В Mamba это сделано радикальнее: авторы выяснили, что не нужно тщательно инициализировать идеальную HiPPO и затем диагонализовать её. Mamba напрямую параметризует $A$ как вещественную диагональную матрицу (Real Diagonal Matrix). Это очень эффективно на аппаратуре (GPU SRAM), сложность параллельного скана (Parallel Scan) становится минимальной, а в сочетании с зависящим от данных ${\Delta }_t$ производительность памяти достигает или даже превосходит исходную HiPPO.

3. Как вычисляется гейтинговая переменная ${\Delta }_t$? Каков её физический смысл?

Пример вычисления:

${\Delta }_t$ — скаляр (или вектор, расширяемый вещательно), и вычисляется полностью по текущему входу $x_t$ (например, текущему визуальному токену) через линейный слой и функцию активации:

$${\Delta }_t=\text{softplus}(\text{Linear}(x_t))=\log (1+\exp (W\cdot x_t+b))$$

Пусть веса линейного слоя $W$ уже обучены.

• Сценарий A (бесполезная информация): робот смотрит на белую стену (избыточный фон), $W\cdot x_t+b=-5$.

  ${\Delta }_t=\log (1+e^{-5})\approx 0.0067$ (очень маленькое значение).

• Сценарий B (ключевая информация): робот видит момент касания скальпеля с тканью, $W\cdot x_t+b=5$.

  ${\Delta }_t=\log (1+e^5)\approx 5.0067$ (очень большое значение).

Физический смысл:

• В непрерывной динамике ${\Delta }_t$ — физический шаг дискретизации времени (например, $0.01$ с).

• Но в Selective Scan Mamba ${\Delta }_t$ становится зависящей от данных скоростью поглощения информации (Information Absorption Rate).

  По формуле дискретизации $\bar{A}=\exp ({\Delta }_{t}A)$ (напомним, $A$ отрицательно):

• При ${\Delta }_t\to 0$ имеем $\bar{A}\to I$. Система «замораживает» время, скрытое состояние сохраняется ($h_t\approx h_{t-1}$), и текущий бесполезный вход игнорируется.

• При большом ${\Delta }_t$ имеем $\bar{A}\to 0$. Система «ускоряет» время, стирая старую инерцию истории, и сильно поглощает текущие ключевые новые признаки, записывая их в скрытое состояние.

4. Почему $y=f(x)+x$ называется «остатком» (Residual)?

Чтобы понять это, нужно вернуться к сути ResNet (остаточных сетей).

Допустим, в каком-то слое сети мы хотим выучить целевое базовое отображение $H(x)$.

• Обычная структура сети: нелинейный слой $f(x)$ должен напрямую идеально аппроксимировать $H(x)$. Однако эксперименты показали, что при большой глубине сети напрямую аппроксимировать тождественное отображение (выход равен входу) очень трудно, возникают затухающие градиенты.

• Идея остаточной сети: раз напрямую учить $H(x)$ трудно, преобразуем формулировку и заставим нелинейный слой учить разность между целевым значением и входом:

  $$f(x)\equiv H(x)-x$$

  В математике и статистике разность между наблюдаемым (или целевым) значением и базовым (или входным) значением строго определяется как остаток (Residual).

  Поэтому нелинейный слой $f(x)$ учит именно «остаток».

  Наконец, чтобы получить нужный выход $y$ (то есть $H(x)$), прибавляем обратно базовое значение $x$:

  $$y=f(x)+x$$

  Итак, это называется остаточным соединением не потому, что само сложение называется остатком, а потому, что ветка сети $f(x)$ специально отвечает за аппроксимацию остатка. В гибридной архитектуре Mamba это означает, что слой Mamba нужно выучивать только сложные временные закономерности длинной последовательности и не нужно запоминать исходные пространственные признаки мгновенного кадра (их обеспечивает $+x$).

Дополнительные вопросы 2

1. Что такое полиномы Лежандра? Как они вычисляются и применяются в нашей области? Приведите пример.

2. В статье S4 авторы использовали приём, диагонализующий матрицу HiPPO как $A=V\Lambda V^{-1}$, и в комплексной области $\mathbb{C}$ вычисляли только диагональные комплексные собственные значения $\Lambda$.

Что такое $V$? Её что, в конце не сохраняют?

3. Mamba напрямую параметризует $A$ как вещественную диагональную матрицу. Как именно её параметризовать? Есть ли численные требования?

4. Напишите на PyTorch краткий псевдокод ядра прямого прохода Mamba, включающий дискретизацию ${\Delta }_t$ и параллельный скан (Parallel Scan).

Ответы на дополнительные вопросы 2

1. Что такое полиномы Лежандра? Как их вычисляют и применяют в HiPPO? Пример.

Что это:

В математике полиномы Лежандра — набор базисных функций, ортогональных на отрезке $[-1,1]$. Их можно понимать как «полиномиальный аналог преобразования Фурье»: Фурье раскладывает сигнал по синусам и косинусам, а полиномы Лежандра — по ортогональной комбинации $x,x^2,x^3,\dots$.

Первые несколько:

$P_0(x)=1$

$P_1(x)=x$

$P_2(x)=\frac{1}{2}(3x^2-1)$

Применение в SSM/HiPPO:

В непрерывном управлении роботом или видеопотоке сигнал $u(t)$ поступает непрерывно. Невозможно хранить в памяти всю непрерывную историю от $t=0$ до текущего момента.

Основная идея HiPPO: ортогональная полиномиальная проекция непрерывного сигнала.

Мы аппроксимируем прошлый (бесконечно длинный) сигнал первыми $N$ полиномами Лежандра. Поскольку $P_n(x)$ — базисные функции, прошлый сигнал выражается как взвешенная сумма этих $N$ функций.

Нужно запомнить лишь $N$ коэффициентов, и бесконечная история сжимается в $N$-мерный вектор состояния $h(t)\in {\mathbb{R}}^N$.

Пример вывода и вычисления:

Пусть нужно отслеживать, как $N$ коэффициентов $h(t)$ меняются во времени. Берём производную по времени $\frac{d}{dt}h(t)$, и после строгого математического вывода (используя рекуррентные свойства производных полиномов Лежандра) оказывается, что она превращается в линейное обыкновенное дифференциальное уравнение (ODE):

$$\dot{h}(t)=Ah(t)+Bu(t)$$

Здесь матрица $A$ естественно строится из коэффициентов рекуррентного соотношения производных полиномов Лежандра! Именно поэтому матрица HiPPO $A$ имеет характерный нижнетреугольный вид (как указано выше: $-(2n+1)$). Это не выдумка, а закономерный результат перегруппировки коэффициентов после дифференцирования ортогональных полиномов.

2. Что такое $V$ в диагонализации S4? Её что, в итоге не сохраняют?

Вывод: $V$ действительно отбрасывается (точнее, «поглощается»). В реальном прямом проходе нейросети $V$ вычислять и хранить не нужно.

Математическое доказательство:

В S4 непрерывное уравнение состояния:

$$\dot{h}(t)=Ah(t)+Bx(t)$$

$$y(t)=Ch(t)$$

Выполняем собственное разложение матрицы $A$ (eigendecomposition): $A=V\Lambda V^{-1}$. Здесь $\Lambda$ — диагональная матрица, на диагонали которой стоят комплексные собственные значения, $V$ — матрица собственных векторов.

Подставляем $A$ в исходное уравнение и делаем замену базиса (Change of Basis).

Определим новое скрытое состояние $\tilde{h}(t)=V^{-1}h(t)$ и умножим оба уравнения на $V^{-1}$:

$$V^{-1}\dot{h}(t)=V^{-1}(V\Lambda V^{-1})h(t)+V^{-1}Bx(t)$$

$$\dot{\tilde{h}}(t)=\Lambda \tilde{h}(t)+(V^{-1}B)x(t)$$

Для выхода:

$$y(t)=Ch(t)=CV(V^{-1}h(t))=(CV)\tilde{h}(t)$$

Инженерное чудо:

Преобразованная система выглядит так:

$$\dot{\tilde{h}}(t)=\Lambda \tilde{h}(t)+\tilde{B}x(t)$$

$$y(t)=\tilde{C}\tilde{h}(t)$$

где $\tilde{B}=V^{-1}B$, $\tilde{C}=CV$.

В нейросети $B$ и $C$ изначально — случайно инициализированные линейные веса, которые обучаются сквозно вместе с функцией потерь. Поскольку это свободно обучаемые переменные, сеть может напрямую выучивать сами $\tilde{B}$ и $\tilde{C}$!

Поэтому сложные $V$ и $V^{-1}$ физически поглощаются этими двумя обучаемыми линейными слоями. В коде сохраняется только комплексная диагональная матрица $\Lambda$, участвующая в основной рекуррентной операции, и тем самым исключается дорогое плотное матричное умножение сложности $O(N^2)$.

3. Как параметризовать $A$ как вещественную диагональную матрицу? Есть ли численные требования?

Автор Mamba Альберт Гу сделал в инженерии очень прямолинейное упрощение: поскольку комплексные диагональные матрицы на GPU всё равно неудобны, он просто упростил их до чисто вещественных диагональных матриц, и сделал их зависящими от данных.

Численные требования:

Диагональные элементы $A$ должны быть строго отрицательными.

Почему? Потому что при дискретизации $\bar{A}=\exp ({\Delta }_{t}A)$.

• Если $A>0$, то $\exp (\text{положительное})>1$, и скрытое состояние при рекуррентном шаге экспоненциально растёт, сеть мгновенно выдаёт NaN.
• Только при $A<0$ выражение $\exp ({\Delta }_{t}A)$ даёт гейт затухания в интервале $(0,1)$, что обеспечивает BIBO-устойчивость динамической системы (ограниченный вход даёт ограниченный выход).

Конкретная параметризация в PyTorch:

Чтобы градиенты при обратном распространении не делали $A$ положительным, инженерно используется приём экспоненциальной репараметризации (Exponential Reparameterization):

В коде на самом деле инициализируется не $A$, а обучаемый параметр $P$ (nn.Parameter).

$$A=-\exp (P)$$

Что бы ни стало $P$ в процессе обучения, $A$ всегда остаётся отрицательным.

В исходном коде Mamba $A$ обычно инициализируется последовательностью от $1$ до $N$ вдоль размерности признаков, то есть:

$A_{init}=[-1,-2,-3,\dots ,-N]$. Так разные каналы (Channel) получают разные скорости «забывания истории», что позволяет захватывать признаки разных временных масштабов.

4. Напишите краткий псевдокод ядра прямого прохода Mamba с дискретизацией и параллельным сканом

На собеседовании написание такого псевдокода может стать решающим. Ниже — понятная чисто PyTorch-версия, в которой внутренний поток данных виден с комментариями о точке замены на параллельный скан.

import torch
import torch.nn as nn
import torch.nn.functional as F

class MambaCore(nn.Module):
    def __init__(self, d_model, d_state):
        super().__init__()
        self.d_model = d_model
        self.d_state = d_state # Размерность скрытого состояния N

        # 1. Параметризация вещественной диагональной матрицы A (инициализация -1, -2, ..., -N)
        A_init = torch.arange(1, d_state + 1, dtype=torch.float32)
        self.A_log = nn.Parameter(torch.log(A_init)) # Обучаем log(A)

        # 2. Линейные слои, генерирующие B, C и Delta, зависящие от входа x_t
        self.x_proj = nn.Linear(d_model, d_state * 2 + d_model) # Выводит сырые значения B, C и Delta
        self.dt_proj = nn.Linear(d_model, d_model) # Отдельная проекция для дальнейшей обработки Delta

    def forward(self, x):
        """
        x: (batch_size, seq_len, d_model)
        """
        B, L, D = x.shape

        # Строго обеспечиваем, что A — диагональ из отрицательных чисел
        # Размерность A: (d_state,)
        A = -torch.exp(self.A_log)

        # 1. Вычисляем зависящие от данных B, C, Delta
        x_proj = self.x_proj(x) # (B, L, d_state * 2 + d_model)

        # Разбиваем признаки
        delta_raw, B_t, C_t = torch.split(x_proj, [self.d_model, self.d_state, self.d_state], dim=-1)

        # Применяем softplus к Delta, чтобы шаг был положительным
        # Размерность Delta: (B, L, d_model)
        Delta_t = F.softplus(self.dt_proj(delta_raw))

        # 2. Дискретизация ZOH (Zero-Order Hold)
        # Для эффективности Mamba использует broadcasting с поэлементным умножением вместо плотного матричного умножения

        # Выравнивание размерностей: Delta_t (B, L, D, 1) * A (d_state,) -> (B, L, D, d_state)
        Delta_A = Delta_t.unsqueeze(-1) * A.view(1, 1, 1, -1)

        # A_bar: (B, L, d_model, d_state)
        A_bar = torch.exp(Delta_A)

        # B_bar: в исходном коде Mamba обычно используется упрощённая дискретизация B_bar = Delta * B
        # (или разложение первого порядка). Здесь приведена упрощённая форма ZOH (форма B_t: B, L, 1, d_state)
        B_bar = Delta_t.unsqueeze(-1) * B_t.unsqueeze(-2)

        # 3. Процесс сканирования (Scan)
        # ======= Ключевой момент для собеседования =======
        # Здесь цикл for показывает реальную последовательность рекуррентных вычислений.
        # В низкоуровневой CUDA-реализации Mamba (selective_scan_fn) этот O(L) цикл заменяется
        # параллельным ассоциативным сканом (Parallel Associative Scan) по алгоритму Blelloch.
        # Он использует идею префиксных сумм, распараллеливая последовательные вычисления в SRAM GPU
        # и снижая время до O(log L).
        # =======================================

        h = torch.zeros(B, self.d_model, self.d_state, device=x.device)
        ys = []

        for t in range(L):
            A_bar_t = A_bar[:, t, :, :]   # (B, d_model, d_state)
            B_bar_t = B_bar[:, t, :, :]   # (B, d_model, d_state)
            x_t = x[:, t, :].unsqueeze(-1) # (B, d_model, 1)
            C_t_curr = C_t[:, t, :].view(B, 1, self.d_state) # (B, 1, d_state)

            # Обновление состояния h_t = A_bar * h_{t-1} + B_bar * x_t
            # Поскольку A_bar — диагональная матрица, это вырождается в поэлементное умножение
            h = A_bar_t * h + B_bar_t * x_t

            # Проекция на выход y_t = C_t * h_t (поэлементное умножение с суммированием)
            y_t = torch.sum(h * C_t_curr, dim=-1) # (B, d_model)
            ys.append(y_t)

        y = torch.stack(ys, dim=1) # (B, L, d_model)

        return y

Ключевые моменты:

1. Только поэлементное умножение без матричного: поскольку $A$ параметризовано как вещественная диагональная матрица, A_bar_t * h — очень эффективное поэлементное умножение, а не дорогой matmul.
2. Физический смысл: Delta_t управляет гейтом затухания A_bar. При большом Delta_t A_bar стремится к 0, и история быстро забывается; при малом Delta_t A_bar стремится к 1, и память сохраняется.
3. Суть параллельного скана: рекуррентность h_t = A_t * h_{t-1} + B_t x_t обладает свойством ассоциативности (Associative Property). Если операция ассоциативна, её можно распараллелить с помощью алгоритма параллельных префиксных сумм на GPU. Именно поэтому Mamba избавляется от последовательной рекуррентности RNN и достигает скорости обучения, сравнимой с Transformer.

Дополнительные вопросы 3

1. Я понимаю так: если у большой модели нет нового выхода, в диффузионную модель подаётся предыдущий выход как текущий входной сигнал для вывода.

2. Одинаковы ли режим перетаскивания без усилия (нулевой силы) и режим импедансного управления?

3. Есть ли у функции score конкретные формулы?

4. Изменит ли наложение скрытого состояния среднее и дисперсию исходного латентного вектора? Скорее всего, да. Сможет ли Mamba тогда нормально работать? Нужно ли во время обучения добавлять такой условный вектор?

5. Последний вопрос, шестой: $n$ здесь выглядит как постоянная величина, верно? Небольшая константа?

Ответы на дополнительные вопросы 3

1. Если большая модель не выдала нового результата, подаётся ли предыдущий выход в диффузионную модель?

Полностью верно.

В теории управления это называется стратегией удержания нулевого порядка (Zero-Order Hold, ZOH).

Когда VLM (частота, например, 1 Гц) выдаёт целевой вектор $g_t$ (например, координаты иглы для шва или соответствующий семантический эмбеддинг), в течение следующей секунды, даже если нижняя диффузионная модель (частота, например, 50 Гц) выполнит 50 выводов, условие $c$ этих 50 выводов будет «зафиксировано» как $g_t$. Условие обновится только тогда, когда VLM в следующую секунду выдаст $g_{t+1}$. Так в паузах, пока VLM «думает», нижний уровень сохраняет высокочастотную плавную интерполяцию и обход препятствий.

2. Одинаковы ли режим перетаскивания без усилия (нулевой силы) и импедансное управление?

Нет. Хотя оба режима делают робота «мягким», физические уравнения у них совершенно различны.

• Режим перетаскивания без усилия (компенсация гравитации, Gravity Compensation):

  • Принцип: система по динамической модели робота в реальном времени вычисляет силу тяжести, действующую на каждый сустав в текущей позе, и моторы выдают момент той же величины и противоположного направления, чтобы её компенсировать.
  • Ощущение: робот переходит в состояние «невесомости», как будто парит в космосе. Вы можете сдвинуть его одним пальцем, и он останется там, куда его отвели (как пластилин). У него нет тенденции вернуться в исходное положение.

• Импедансное управление (Impedance Control):

  • Принцип: на конце строится виртуальная система «масса — пружина — демпфер». Основное уравнение:

    $$M\ddot{x}+B\dot{x}+K(x-x_d)=F_{ext}$$

    (где $K$ — жёсткость, $B$ — демпфирование, $x_d$ — целевое положение, $F_{ext}$ — внешняя сила).

  • Ощущение: робот ведёт себя как пружина. Если вы его толкнёте, он податливо отойдёт (благодаря демпфированию и жёсткости он не «бьёт» жёстко, как камень); но как только вы отпустите, он самостоятельно вернётся в исходное целевое положение $x_d$. Во время операции при столкновении с неодолимой тканью импедансное управление позволяет избежать жёсткого разрыва, а после исчезновения столкновения продолжить операцию.

3. Есть ли у score-функции конкретные формулы?

Да. В диффузионных моделях, особенно в непрерывных основанных на score генеративных моделях (Score-based Generative Models), формулы очень изящны.

• Определение: score-функция по сути — логарифмический градиент плотности вероятности данных:

  $$s(x)={\nabla }_x\log p(x)$$

• Роль нейросети: в физическом мире мы не знаем аналитического выражения для истинного распределения действий хирурга $p(x)$, поэтому используем нейросеть $s_{\theta }(x,t)$, чтобы приблизить этот градиент.

• Цель обучения (Score Matching):

  Через процесс добавления шума сделаем цель вычислимой. По сути обучение заставляет нейросеть предсказывать добавленный шум $ϵ$, потому что в этом выводе score в точности равен отрицательному шуму, делённому на дисперсию:

  $${\nabla }_{x_t}\log p(x_t)\approx s_{\theta }(x_t,t)=-\frac{{ϵ}_{\theta }(x_t,t)}{{\sigma }_t}$$

• Процесс сэмплирования (дискретизация динамики Ланжевена, Langevin Dynamics):

  $$x_{t-1}=x_t+\frac{{\sigma }_t^2}{2}{\nabla }_x\log p(x_t)+{\sigma }_{t}z$$

  То есть делается полшага вдоль градиента, а затем добавляется небольшое случайное возмущение $z$ для исследования мультимодального распределения.

4. Изменит ли наложение скрытого состояния среднее и дисперсию латентного вектора? Сможет ли Mamba нормально работать? Нужно ли добавлять условный вектор при обучении?

Вы уловили ключевую проблему: если просто складывать ($h_t+Wc$), среднее и дисперсия точно начнут взрываться, и модель полностью развалится (OOD, сдвиг распределения вне обучающего).

• При обучении это обязательно нужно учитывать: раз условие подаётся при инференсе, при обучении нельзя обучать модель «вслепую». Модуль инъекции условия должен входить в весь прямой проход обучения, чтобы сеть заранее адаптировалась к такому изменению распределения.

• Инженерное решение (механизм FiLM):

  В реальных больших или видеогенеративных моделях кросс-модальные условия редко объединяют простым сложением. Обычно используют FiLM (Feature-wise Linear Modulation) или механизм Cross-Attention. Если FiLM, формула такая:

  $$h_t^{\prime }=\gamma (c_{semantic})\odot h_t+\beta (c_{semantic})$$

  Семантический вектор VLM $c_{semantic}$ пропускается через небольшой MLP, который выдаёт два параметра масштабирования и сдвига $\gamma$ и $\beta$. Такое аффинное преобразование (масштабирование + сдвиг) вместе с последующей нормализацией LayerNorm или RMSNorm позволяет внедрить семантическую информацию в Mamba и одновременно жёстко удерживает дрейф среднего и дисперсии, обеспечивая нормальный инференс Mamba.

5. $n$ — это небольшая константа, верно?

Да, совершенно верно.

• Заглавное $N$ — длина последовательности (Sequence Length), например, если на вход подано 10 000 кадров хирургического видео, то $N=10000$.
• Строчное $n$ — размерность скрытого состояния Mamba (State Dimension), или количество характерных каналов. На практике $n$ обычно задаётся небольшими значениями: 16, 64, 128 или 256.
• Поскольку $n$ — заданный человеком постоянный гиперпараметр (константа), при оценке сложности, растущей с длиной последовательности $N$, $\mathcal{O}(N\cdot n)$ можно рассматривать как $\mathcal{O}(N)$, то есть линейную сложность. Именно поэтому Mamba может «раздавить» Transformer с его $\mathcal{O}(N^2)$: в Transformer со временем видеопамять растёт квадратично, а в Mamba — линейно.

Формула Твиди (Tweedie’s Formula) — замечательный инструмент из байесовской статистики. Её главный вклад: если вы наблюдаете образец, зашумлённый гауссовым шумом, и при этом знаете «score» (градиент логарифма вероятности) этого шумового распределения, то можно записать оптимальную оценку исходного изображения.

В контексте диффузионных моделей (Diffusion Models) она объясняет, почему «предсказание шума» и «оценка score» по сути делают одно и то же.

1. Математическое выражение: как по шуму увидеть истину

Пусть есть исходный сигнал $z$ (например, чистое изображение), добавим гауссов шум $ϵ\sim \mathcal{N}(0,{\sigma }^2\mathbf{I})$ и получим наблюдение $y=z+ϵ$.

По формуле Твиди при заданном наблюдении $y$ апостериорное математическое ожидание исходного сигнала $z$ (то есть наиболее надёжная оценка очистки от шума) записывается так:

$$\mathbb{E}[z|y]=y+{\sigma }^2{\nabla }_y\log p(y)$$

Здесь два ключевых члена:

• $y$: текущее наблюдение (зашумлённые данные).
• ${\nabla }_y\log p(y)$: это и есть score — направление градиента логарифма вероятности распределения данных в точке $y$.

Интуитивное понимание: формула говорит, что чтобы восстановить исходный сигнал, нужно отправиться из наблюдаемой точки $y$ и сделать небольшой шаг в направлении наибольшего роста вероятности (направлении score).

2. Почему это объединяет DDPM и Score-based Model?

В диффузионной модели состояние $a_k$ на шаге $k$ с шумом выражается так:

$$a_k=\sqrt{{\bar{\alpha }}_k}{a}_0+\sqrt{1-{\bar{\alpha }}_k}ϵ$$

Если подставить это в формулу Твиди и провести простые алгебраические преобразования (считая $a_0$ переменной $z$, а $a_k$ — переменной $y$), получим:

$${\hat{a}}_0=\frac{1}{\sqrt{{\bar{\alpha }}_k}}\left(a_k+(1-{\bar{\alpha }}_k){\nabla }_{a_k}\log p(a_k)\right)$$

С другой стороны, восстановление $a_0$ из исходного определения (через добавленный шум) даёт:

$${\hat{a}}_0=\frac{1}{\sqrt{{\bar{\alpha }}_k}}(a_k-\sqrt{1-{\bar{\alpha }}_k}ϵ)$$

Сравнивая эти два выражения, легко получить вывод:

$${\nabla }_{a_k}\log p(a_k)=-\frac{ϵ}{\sqrt{1-{\bar{\alpha }}_k}}$$

Это и есть соотношение ${\nabla }_a\log p(a_k|o)\propto -ϵ$, о котором шла речь.

3. Суть: разные пути к одной цели

Формула Твиди сыграла роль «моста» в развитии диффузионных моделей:

• Score-based Models (сопоставление score): считают, что нужно учиться тому, как спуститься по склону обратно в область высокой вероятности (учить $\nabla \log p$).
• DDPM (диффузионные модели): считают, что нужно учиться «вычитать» добавленный шум (предсказывать $ϵ$).

Формула Твиди показывает: пока существует гауссов шум, «предсказание шума» по сути и есть моделирование функции score.

Поэтому в коде может стоять loss = MSE(pred_noise, true_noise), а в статье написано, что это «сопоставление score». Предсказывая шум, сеть неявно осваивает геометрию структуры распределения данных.

Как по наблюдаемому $a_k$ и градиенту распределения (score) приблизиться к исходному $a_0$.

1. Подготовка: определение прямого зашумления

В DDPM репараметризованная формула перехода от чистого образца $a_0$ к зашумлённому $a_k$ на шаге $k$:

$$a_k=\sqrt{{\bar{\alpha }}_k}{a}_0+\sqrt{1-{\bar{\alpha }}_k}ϵ,ϵ\sim \mathcal{N}(0,\mathbf{I})$$

Из неё можно выразить $a_0$:

$$a_0=\frac{1}{\sqrt{{\bar{\alpha }}_k}}\left(a_k-\sqrt{1-{\bar{\alpha }}_k}ϵ\right)\text{— (формула A)}$$

2. Подключаем формулу Твиди

Формула Твиди утверждает, что для данных, которые удовлетворяют экспоненциальному семейству распределений (гауссово распределение — частный случай), при заданном наблюдении $y$ эмпирическая байесовская оценка среднего (наилучший результат очистки от шума) равна:

$$\mathbb{E}[z|y]=y+\Sigma {\nabla }_y\log p(y)$$

В контексте диффузионных моделей сопоставляем переменные:

• наблюдение $y$ соответствует зашумлённому состоянию $a_k$ на шаге $k$;
• исходный сигнал $z$ соответствует сигналу $\sqrt{{\bar{\alpha }}_k}{a}_0$ на шаге $0$ (заметим: Твиди оценивает среднее со множителем);
• дисперсия шума $\Sigma$ соответствует дисперсии добавленного шума $(1-{\bar{\alpha }}_k)\mathbf{I}$.

Подставляем в формулу Твиди:

$$\mathbb{E}[\sqrt{{\bar{\alpha }}_k}{a}_0|a_k]=a_k+(1-{\bar{\alpha }}_k){\nabla }_{a_k}\log p(a_k)$$

Выражаем оценку ${\hat{a}}_0$:

$${\hat{a}}_0=\frac{1}{\sqrt{{\bar{\alpha }}_k}}\left(a_k+(1-{\bar{\alpha }}_k){\nabla }_{a_k}\log p(a_k)\right)\text{— (формула B)}$$

3. Ключевое эквивалентное преобразование

Теперь сравниваем формулу A и формулу B:

• Из определения (A): ${\hat{a}}_0=\frac{1}{\sqrt{{\bar{\alpha }}_k}}(a_k-\sqrt{1-{\bar{\alpha }}_k}ϵ)$
• Из формулы Твиди (B): ${\hat{a}}_0=\frac{1}{\sqrt{{\bar{\alpha }}_k}}(a_k+(1-{\bar{\alpha }}_k){\nabla }_{a_k}\log p(a_k))$

Чтобы эти равенства выполнялись, средние члены должны строго совпадать:

$$(1-{\bar{\alpha }}_k){\nabla }_{a_k}\log p(a_k)=-\sqrt{1-{\bar{\alpha }}_k}ϵ$$

Отсюда получаем знаменитое эквивалентное соотношение:

$${\nabla }_{a_k}\log p(a_k)=-\frac{ϵ}{\sqrt{1-{\bar{\alpha }}_k}}$$

4. Вывод: почему U-Net выводит шум?

Это соотношение раскрывает глубокий инженерный смысл:

1. Математическая эквивалентность: score-функция распределения данных численно пропорциональна шуму $ϵ$, предсказываемому сетью.
2. Инженерное удобство: при $k\to 0$ score $\nabla \log p$ стремится к бесконечности (распределение данных становится очень острым), и такую величину трудно обучать нейросети. Шум $ϵ$ всегда подчиняется стандартному нормальному распределению, и его величина стабильна.
3. Предсказание шума = поиск градиента: когда вы обучаете U-Net предсказывать шум с помощью MSE, вы по сути учите сеть, как из области низкой вероятности (зашумлённая область) указать направление к области высокой вероятности (область данных).

Именно эта эквивалентность — фундамент, на котором стоит успех диффузионных моделей.

Почему собственные значения матрицы с отрицательной действительной частью обеспечивают устойчивость динамической системы?

Это очень классический и глубокий вопрос теории управления и динамических систем. Чтобы понять, почему «собственные значения с отрицательной действительной частью» равносильны «устойчивости системы», нужно рассмотреть решение дифференциального уравнения и физический смысл на комплексной плоскости.

В HiPPO и более общих моделях пространства состояний (SSM) эволюция состояния обычно подчиняется линейному обыкновенному дифференциальному уравнению:

$$\dot{h}(t)=Ah(t)+Bx(t)$$

Чтобы анализировать устойчивость, в первую очередь изучим «однородное решение» (то есть поведение самой системы без внешнего входа $x(t)$): $\dot{h}(t)=Ah(t)$.

1. Экспоненциальное затухание из общего решения

Для линейного дифференциального уравнения первого порядка $\dot{h}=Ah$ общее решение всегда связано с экспоненциальной функцией:

$$h(t)=e^{At}h(0)$$

Если разложить матрицу $A$ на собственные значения (предполагая, что её можно диагонализовать, $A=V\Lambda V^{-1}$), решение распадается на сумму нескольких собственных мод:

$$h(t)=\sum _i{c}_i{e}^{{\lambda }_{i}t}{v}_i$$

Здесь ${\lambda }_i$ — собственные значения матрицы $A$. Теперь посмотрим, как каждый член $e^{{\lambda }_{i}t}$ меняется со временем.

Поскольку собственные значения ${\lambda }_i$ обычно комплексные, запишем их как $\lambda =\sigma +j\omega$ (где $\sigma$ — действительная часть, $\omega$ — мнимая). По формуле Эйлера:

$$|e^{\lambda t}|=|e^{(\sigma +j\omega )t}|=|e^{\sigma t}\cdot e^{j\omega t}|=e^{\sigma t}$$

• Если действительная часть $\sigma >0$: $e^{\sigma t}$ неограниченно растёт со временем, система взрывается.
• Если действительная часть $\sigma =0$: система колеблется ($\omega \ne 0$) или остаётся постоянной, это называется критической устойчивостью.
• Если действительная часть $\sigma <0$: $e^{\sigma t}$ стремится к $0$ со временем. Система сходится к точке равновесия.

2. Физический смысл в матрице HiPPO

Задача HiPPO — «память». Если собственные значения имеют отрицательную действительную часть, это значит:

• Предотвращение численного переполнения: при обработке очень длинных последовательностей (например, 10 тысяч или даже миллион шагов), если система немного неустойчива (действительная часть положительна), ошибки экспоненциально усиливаются, и скрытое состояние $h$ превращается в NaN.
• Плавное затухание (забывание): отрицательная действительная часть обеспечивает управляемое постепенное затухание «исторической информации». Замечательность матрицы HiPPO в том, что её собственные значения располагаются в левой полуплоскости комплексной плоскости с определённым распределением, позволяющим улавливать связи разных временных масштабов, а не просто стирать всё подряд.
• «Сток» системы (Sink): на фазовой плоскости это означает, что все траектории состояния в конечном счёте притягиваются к началу координат, а не разлетаются.

3. Почему все элементы A у HiPPO отрицательные?

Рассмотрим уже упомянутую матрицу HiPPO-LegS:

$$A=\left[\begin{array}{ccc}-1& 0& 0\\ -3& -2& 0\\ -5& -5& -3\end{array}\right]$$

Это нижнетреугольная матрица. Для нижнетреугольной матрицы собственные значения — это элементы на её диагонали.

В этом примере собственные значения равны $\{-1,-2,-3\}$. Все они — отрицательные вещественные числа.

Это гарантирует:

1. Абсолютную устойчивость: мнимой части нет, значит, система не колеблется, а плавно сходится.
2. Многомасштабную память: собственные значения $-1,-2,-3$ соответствуют разным скоростям затухания. Эти различия в скорости как раз соответствуют полиномам Лежандра разных порядков, позволяя точно описывать «форму» исторического сигнала.

Итог:

Знак действительной части собственных значений определяет, выступает ли система как «усилитель» (рост) или как «демпфер» (потери). В HiPPO отрицательная действительная часть играет роль «силы тяжести»: когда система непрерывно получает новые сведения, она всё же остаётся на устойчивой траектории и не выходит из-под контроля из-за накопления информации.