Ответы на вопросы для собеседования по воплощённому ИИ, набор 1

1. Вы используете диффузионную модель. Сейчас все говорят об End-to-End. Почему вы разделили VLM и Diffusion? Если бы я напрямую использовал одну большую мультимодальную модель, которая выводит координаты точек, где бы, по-вашему, возникло главное узкое место в сценарии такой высокой точности, как хирургия?

Хотя сквозная архитектура (End-to-End) — главный тренд, в динамических сценах высочайшей точности, таких как хирургия, прямой вывод координат большой моделью несёт серьёзную проблему задержки между восприятием и исполнением.

• Логика разделения: VLM отвечает за низкочастотное высокоуровневое понимание семантики и планирование (это «мозг»), а Diffusion отвечает за высокочастотную непрерывную генерацию низкоуровневых действий (это «мозжечок»). Между дискретными визуальными обновлениями высокочастотная политика (например, ускорение инференса с единиц герц до десятков герц) необходима для непрерывной интерполяции траектории внутри кадра. Так действительно решается проблема задержки между восприятием и исполнением при динамических операциях в реальном мире.

• Узкое место сквозной архитектуры: главное узкое место — рассогласование частоты управления с реальными динамическими изменениями среды, а также катастрофа пространственного разрешения из-за дискретных токенов VLM. Пусть $f_{env}$ — частота реальных динамических изменений среды, а $f_{vlm}$ — частота инференса VLM. Когда $f_{vlm}\ll f_{env}$, поданная последовательность действий $a_t$ страдает от сильного фазового отставания:

  $$a_t={\pi }_{vlm}(o_{t-\Delta t})$$

  Здесь $\Delta t$ — задержка инференса VLM. В хирургии это означает, что когда манипулятор выполняет действие $a_t$, реальное состояние ткани уже эволюционировало от $o_{t-\Delta t}$ к $o_t$, что может привести к необратимой врачебной ошибке. После разделения мы можем выполнять $a_t\sim p_{\theta }(a_t|o_t,z_{vlm})$ с высокой частотой $f_{diff}\gg f_{env}$.

2. Диффузионная модель генерирует Action Chunk, но в хирургии деформация тканей происходит в реальном времени. Если ваш Chunk ещё не выполнен, а ткань уже сместилась нелинейно, как система выполняет замкнутую коррекцию?

Генерация Action Chunk диффузией создаёт «слепую зону» открытого контура управления. При нелинейных деформациях тканей в реальном времени во время хирургии нужна строгая замкнутая коррекция:

• Управление со скользящим горизонтом (Receding Horizon Control, RHC): модель генерирует Chunk из $T$ шагов траектории: ${\hat{A}}_t=[a_t,a_{t+1},\dots ,a_{t+T-1}]$. Но выполняются только первые $k$ шагов ($k\ll T$), и в момент $t+k$ заново получается наблюдение $o_{t+k}$ и генерируется новый Chunk.

• Высокочастотное прерывание по мультимодальным сигналам: в течение очень короткого времени учитывается сверхчастотная обратная связь по моменту (датчик силы/момента, Force/Torque Sensor). Пусть текущий измеренный вектор момента равен $F_{ext}$, а порог безопасности — ${\tau }_{safe}$. Логика контроллера:

  $$a_{exec}=\{\begin{array}{ll}{\hat{A}}_t[i],& \text{если }\Vert F_{ext}\Vert \le {\tau }_{safe}\\ a_{suspend},& \text{если }\Vert F_{ext}\Vert >{\tau }_{safe}\end{array}$$

  Как только $\Vert F_{ext}\Vert$ резко выходит за пределы (что означает непредвиденную деформацию ткани), низкоуровневый контроллер немедленно прерывает текущий Chunk.

3. Приведите пример мультимодального распределения в хирургии. Как модель избегает колебаний при выборе между двумя одинаково разумными путями обхода препятствия?

• Пример из хирургии: предположим, что при отслаивании ткани манипулятор встречает сосуд. Его можно обойти слева (траектория ${\mu }_{left}$) или справа (траектория ${\mu }_{right}$). Реальное распределение действий — бимодальное:

  $$p(a|o)=w_1\mathcal{N}({\mu }_{left},\Sigma )+w_2\mathcal{N}({\mu }_{right},\Sigma )$$

  При традиционной функции потерь MSE $\mathcal{L}=\Vert a-\hat{a}{\Vert }_2^2$ предсказанное действие $\hat{a}$ сходится к математическому ожиданию $\mathbb{E}[a|o]\approx \frac{{\mu }_{left}+{\mu }_{right}}{2}$, то есть манипулятор направляется прямо в центр — в сосуд. Процесс денойзинга в диффузии учит функцию оценки (score function) ${\nabla }_a\log p(a|o)$, точно аппроксимирует истинное распределение и с помощью сэмплирования Ланжевена (Langevin dynamics) схлопывается в «строго слева» или «строго справа».

• Как избежать колебаний решения: вводится экспоненциальное скользящее среднее действий (Action EMA). Пусть $a_t^{(final)}$ — действие, реально выполненное в момент $t$, тогда оно является взвешенной суммой текущего сгенерированного действия и истории:

  $$a_t^{(final)}=\alpha a_t^{(new)}+(1-\alpha )a_{t-1}^{(final)}$$

  Здесь $\alpha \in (0,1)$ — коэффициент сглаживания. Придавая вес истории решений, мы разрушаем симметричные колебания влево-вправо, вызванные случайностью сэмплирования.

4. Операции в хирургии могут длиться часами, и KV-кэш Transformer растёт со временем. Поэтому вы перешли на Mamba. Но линейное сжатие Mamba по сути с потерями. Как гарантировать, что после записи операций за предыдущий час модель всё ещё точно помнит текущую логику, а не начинает «галлюцинировать»?

Сжатие состояния в Mamba имеет фиксированную размерность скрытого состояния $h_t\in {\mathbb{R}}^n$, то есть по сути это марковское сжатие с потерями. Способы не допустить путаницы в логике, которая была несколько часов назад:

• Сброс состояния (State Reset): хирургия имеет строгое разделение по этапам. При переходе между этапами мы активно умножаем низкоуровневое физическое скрытое состояние $h_t$ на гейт затухания $g_t\to 0$, то есть $h_t\leftarrow g_t\odot h_{t-1}$, чтобы очистить ненужный высокочастотный исторический шум.

• Иерархические семантические якоря: не нужно, чтобы Mamba запоминала всю последовательность низкоуровневых действий $a_{0:t}$. Прошлая «крупная логика» абстрагируется VLM в дискретное множество вех (Milestone) $S=\{s_1,s_2,\dots ,s_k\}$ (например, «отслаивание ткани завершено»). Эти семантические сведения периодически подаются как высокоразмерный условный вектор $c_{semantic}$:

  $$h_t=\bar{A}{h}_{t-1}+\bar{B}{x}_t+W{c}_{semantic}$$

  ($W$ — матрица проекции), что поддерживает точную долгосрочную логику.

5. Вы упомянули Transformer и Mamba. Можете описать различие между этими двумя структурами?

• Transformer: основа — механизм самовнимания (Self-Attention), вычисляемый по формуле:

  $$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$$

  где $Q,K,V\in {\mathbb{R}}^{N\times d_k}$ ($N$ — длина последовательности, $d_k$ — размерность признаков). Он должен видеть все токены сразу и захватывать явные глобальные пространственно-временные зависимости.

• Mamba: основана на селективной модели пространства состояний (Selective SSM). Это дискретизация динамической системы с непрерывным временем. По сути это линейная RNN с гейтингом, зависящим от данных. Скрытое состояние $h_t$ рекуррентно обновляется по шагам времени:

  $$h^{\prime }(t)=Ah(t)+Bx(t)$$

  Ей не нужно в каждый момент оглядываться назад и пересчитывать все предыдущие токены.

6. Объясните, почему сложность Transformer пропорциональна квадрату N, а Mamba — линейна.

• Transformer ($O(N^2)$): при вычислении матрицы оценок внимания $S=Q{K}^T$ размерность $Q$ равна $N\times d_k$, а $K^T$ — $d_k\times N$. Сложность умножения матриц равна $\mathcal{O}(N^2\cdot d_k)$. Поскольку каждый токен должен вычислить скалярное произведение со всеми остальными $N-1$ токенами последовательности, память и вычисления растут квадратично с длиной $N$.
• Mamba ($O(N)$): Mamba обрабатывает последовательность через скрытое состояние $h_t\in {\mathbb{R}}^n$ фиксированной размерности. После дискретизации обновление состояния имеет вид $h_t=\bar{A}{h}_{t-1}+\bar{B}{x}_t$. Для каждого нового токена $x_t$ требуется лишь умножение вектора на матрицу, и сложность одного шага постоянна: $\mathcal{O}(n^2)$ или меньше (после диагонализации). Для последовательности длины $N$ общая сложность равна $\mathcal{O}(N\cdot n)$, то есть растёт линейно.

7. Проводили ли вы количественные эксперименты? Меняется ли производительность Mamba по сравнению с Transformer, в частности по точности?

В реальных экспериментах по воплощённому ИИ:

• Локальная потеря точности: на коротких последовательностях действий, требующих очень высокочастотной пространственной тонкой настройки, абсолютная успешность Mamba может быть немного ниже, чем у Transformer (обычно на 1–3%). С математической точки зрения это проблема информационного узкого места (Information Bottleneck). Пусть энтропия информации во входной последовательности равна $H(X)$, а ёмкость скрытого состояния фиксированной размерности — $C(h_t)$. Когда $H(X)>C(h_t)$, высокочастотные пространственные признаки неизбежно обрезаются и теряются.
• Преимущество на длинных последовательностях: при управлении на больших горизонтах времени ($N\to \infty$) распределение softmax у Transformer страдает от разбавления внимания (Attention Dilution) из-за слишком большого знаменателя ${\sum }_{j=1}^N\exp (q_i\cdot k_j)$, и производительность резко падает. Mamba сохраняет высокую частоту инференса и плавность.

8. Вы упомянули ещё одну высокоуровневую модель планирования. На чём она построена?

Обычно это мультимодальная большая языковая модель (VLM), например модель, дообученная на основе архитектур Qwen-VL, LLaVA или Gemini.

В виде функции:

$$z_t=f_{vlm}(I_{img},s_{proprio},P_{text};{\theta }_{vlm})$$

где $I_{img}$ — текущее изображение операционного поля, $s_{proprio}$ — состояние манипулятора, $P_{text}$ — текстовая инструкция, ${\theta }_{vlm}$ — веса модели. Выход $z_t$ — следующая дискретная подзадача (например, [GRASP, NEEDLE]).

9. Сколько исторических изображений вы подаёте? Если модель только высокоуровневого планирования использует три-пять кадров, может ли она запомнить все предыдущие операции? Почему?

Потому что высокоуровневая задача строго соответствует марковскому процессу принятия решений (MDP) на макроуровне семантики.

В MDP будущее состояние зависит только от текущего состояния и действия:

$$P(S_{t+1}|S_t,A_t,\dots ,S_0,A_0)=P(S_{t+1}|S_t,A_t)$$

Высокоуровневой модели не нужна микроскопическая траектория десятиминутной давности. Ей достаточно 3–5 изображений (текущий кадр и несколько исторических) для оценки первой производной текущего окружения, то есть динамической тенденции:

$${\dot{O}}_t\approx \frac{O_t-O_{t-k}}{k\cdot \Delta t}$$

«Текущее визуальное состояние» плюс «несколько исторических кадров», отражающих тенденцию, в сочетании с конечной целью из текстовой инструкции уже дают полный семантический контекст для решения MDP.

10. Как проходит обучение всей высокоуровневой модели?

Обучение состоит из трёх этапов:

1. Крупномасштабное предобучение: формирование базового представления изображения и текста.

2. SFT (контролируемое дообучение): используются большие объёмы видео хирургических операций врачей, из которых извлекаются ключевые кадры и размечаются действия. Минимизируется функция потерь отрицательного логарифмического правдоподобия:

   $${\mathcal{L}}_{SFT}=-\sum _{t=1}^T\log p_{\theta }(a_t^{\ast }|O_{\le t},P_{text})$$

   где $a_t^{\ast }$ — реальная инструкция по действию врача.

3. Выравнивание (RLHF/DPO): профессиональные врачи дают обратную связь о предпочтениях. На примере DPO (Direct Preference Optimization) политика ${\pi }_{\theta }$ оптимизируется для безопасных и опасных операций:

   $${\mathcal{L}}_{DPO}=-{\mathbb{E}}_{(x,y_w,y_l)}\left[\log \sigma \left(\beta \log \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{ref}(y_w|x)}-\beta \log \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{ref}(y_l|x)}\right)\right]$$

   где $y_w$ — безопасное предпочтительное действие, а $y_l$ — опасное нарушающее действие.

11. Как в Selective Scan Mamba определяется, что забыть, а что запомнить? Что делать, если система случайно забыла мгновенную мелкую точку?

• Что забыть, а что запомнить: параметр шага времени Mamba ${\Delta }_t$ является линейной проекцией входа $x_t$:

  $${\Delta }_t=\text{softplus}(\text{Linear}(x_t))$$

  Когда сеть выучивает, что $x_t$ — бесполезный фон, ${\Delta }_t\to 0$. Из формулы дискретизации $\bar{A}=\exp ({\Delta }_{t}A)$ следует, что $\bar{A}\to I$, а $\bar{B}\to 0$, поэтому обновление скрытого состояния принимает вид $h_t\approx I{h}_{t-1}+0\cdot x_t=h_{t-1}$. Это и есть «забыть текущее, запомнить историю». Наоборот, когда ${\Delta }_t$ велико, новый текущий признак записывается в состояние.

• Что делать, если потеряна мелкая точка: это структурный недостаток архитектуры. На уровне инженерии вводится гибридная архитектура: параллельно Mamba добавляется высокочастотная ветка обнаружения аномалий $f_{anomaly}(x_t)$. Её признаки напрямую через остаточное соединение (Residual Connection) объединяются с выходом:

  $$y_t=C{h}_t+\text{ReLU}(f_{anomaly}(x_t))$$

  Это гарантирует, что мгновенно появившиеся ключевые точки (например, точка кровотечения) обходят сжатие состояния Mamba.

12. Если отказ вызван окклюзией, можно ли работать «вслепую»? Или система может только приостановиться и ждать врача?

В реальных медицинских роботах чисто визуальная работа вслепую категорически недопустима.

Если происходит сильная окклюзия, уверенность визуального энкодера резко падает. Пусть уверенность визуального предсказания действия равна $c_{vis}={\max }_{a}P(a|o_{occluded})$, а порог уверенности — $\gamma$.

Когда $c_{vis}<\gamma$, система обязана понизить режим и опираться на обратную связь по шестимерному моменту концевого эффектора $F_{ext}$ (режим силового управления). Если в этом состоянии $\exists \Vert F_{ext}\Vert >{\tau }_{safe}$, немедленно выполняется стратегия безопасной приостановки $a_{suspend}$ (например, отвод инструмента на небольшое безопасное расстояние по его оси с фиксацией суставов), и подаётся сигнал тревоги для передачи управления врачу (контролируемая автономность, Supervised Autonomy).

13. Параметры механики тканей в симуляции (например, модуль Юнга) сильно отличаются от живой свиньи. Как вы выполняли согласование?

• Рандомизация доменов (Domain Randomization): в симуляции набор механических параметров ткани $\Phi$ (например, модуль Юнга $E$ и коэффициент Пуассона $\nu$) задаётся широким равномерным распределением ${\Phi }_{sim}\sim \mathcal{U}({\Phi }_{min},{\Phi }_{max})$. Политика управления ${\pi }_{\theta }$ вынуждена при обучении сохранять устойчивость к неизвестным механическим параметрам.

• Онлайн-идентификация системы + остаточное управление (Online System ID + Residual Policy): при операции на живом организме по реальным действиям $a_t$ и сигналам силы $F_t$ онлайн оценивается неявное механическое представление текущей ткани $z_{phy}=\varphi (a_{t-k:t},F_{t-k:t})$. Затем остаточная сеть политики ${\pi }_{res}$ компенсирует разрыв Sim-to-Real:

  $$a_{real}={\pi }_{sim}(o_t)+{\pi }_{res}(o_t,z_{phy},F_t)$$

14. Известно, что сжатие состояния Mamba — линейная рекуррентность. Если на второй час операции внезапно возникает «массивное обрушение ткани», которого не было в обучающей выборке (сценарий OOD), не возникнет ли у скрытого состояния Mamba инерция: из-за слишком тяжёлой истории оно насильно подгонит текущую аномалию под прошлую нормальную траекторию?

Да, возникнет инерция познания. Поскольку $h_{t-1}$ накопил сильный априор нормального состояния, а гейт входа ${\Delta }_t$ не может дать разумного отклика на OOD-признак $x_{ood}$, модель пассивно «продолжает по истории».

Стратегия противодействия: вводится системная оценка неопределённости познания (Uncertainty Estimation). Можно отслеживать ошибку реконструкции визуального энкодера:

$$E_{recon}=\Vert o_t-\text{Decoder}(\text{Encoder}(o_t)){\Vert }_2^2$$

Если $E_{recon}>{ϵ}_{threshold}$, это означает, что текущее изображение не принадлежит многообразию обучающей выборки (OOD), и напрямую запускается аппаратная защита, а не попытка навязать ситуацию внутренним весам Mamba.

15. Каков реальный уровень успешности при клинической проверке на животных?

На текущем уровне академических исследований (например, SOTA-статьи ICRA/IROS) успешность подзадачи $SR$ определяется так:

$$SR=\frac{1}{N}\sum _{i=1}^N\mathbb{I}\left(d(S_{end}^{(i)},S_{goal})<ϵ\right)$$

где $N$ — общее число испытаний, $\mathbb{I}$ — индикаторная функция, $d$ — метрика расстояния, $ϵ$ — допуск задачи.

Для конкретной ограниченной одиночной подзадачи (разрез по фиксированному пути, завязывание узла) успешность на живых свиньях обычно составляет 70–85%. Для сложной полной операции с сильной динамикой и кровотечением полностью автономная успешность крайне низка, поэтому сейчас форма — «врач ведёт, система помогает» (управление с участием человека).

16. Задачи на листке: 1. Вероятность того, что палочка, сломанная на три части, образует треугольник? 2. Дана двумерная сетка из ‘1’ (суша) и ‘0’ (вода). Посчитайте количество островов в сетке.

1. Вероятность того, что палочка, сломанная на три части, образует треугольник

Пусть длина палочки равна 1, а длины трёх частей — $x,y,z$. Выполняются условия:

$$x>0,y>0,z>0$$

$$x+y+z=1$$

Необходимое и достаточное условие того, что из отрезков получится треугольник, — сумма любых двух сторон больше третьей (что эквивалентно тому, что каждая сторона меньше 0.5):

$$x<0.5$$

$$y<0.5$$

$$z=1-x-y<0.5⟹x+y>0.5$$

В двумерной системе координат $x-y$ полное пространство выборки — прямоугольный треугольник, удовлетворяющий $x>0,y>0,x+y<1$, его площадь $S_{total}=\frac{1}{2}\times 1\times 1=\frac{1}{2}$.

Область, удовлетворяющая условию треугольника, — внутренний маленький треугольник с вершинами $(0.5,0),(0,0.5),(0.5,0.5)$, его площадь $S_{valid}=\frac{1}{2}\times 0.5\times 0.5=\frac{1}{8}$.

Поэтому вероятность — геометрическая:

$$P=\frac{S_{valid}}{S_{total}}=\frac{1/8}{1/2}=25\%$$

2. Количество островов (LeetCode 200)

Основная проверка — поиск в глубину (DFS).

def numIslands(grid):
    if not grid:
        return 0
    
    count = 0
    rows, cols = len(grid), len(grid[0])
    
    def dfs(r, c):
        # Проверка границ и того, является ли клетка водой
        if r < 0 or c < 0 or r >= rows or c >= cols or grid[r][c] == '0':
            return
        # Отмечаем как посещённую (меняем на '0' на месте, чтобы экономить память)
        grid[r][c] = '0'
        # Обход в глубину по четырём направлениям
        dfs(r+1, c)
        dfs(r-1, c)
        dfs(r, c+1)
        dfs(r, c-1)
        
    for i in range(rows):
        for j in range(cols):
            # Нашли сушу: запускаем обход DFS по одной связной компоненте
            if grid[i][j] == '1':
                dfs(i, j)
                count += 1
                
    return count

17. Можете перечислить математические уравнения вашей модели?

1. Основные уравнения непрерывной модели пространства состояний (SSM), на которую опирается Mamba

$$h^{\prime }(t)=Ah(t)+Bx(t)$$

$$y(t)=Ch(t)$$

• $t$: непрерывный шаг времени.
• $x(t)\in \mathbb{R}$: одномерный входной сигнал.
• $h(t)\in {\mathbb{R}}^n$: $n$-мерный вектор скрытого состояния непрерывной системы.
• $A\in {\mathbb{R}}^{n\times n}$: матрица перехода состояний.
• $B\in {\mathbb{R}}^{n\times 1}$: матрица проекции входа.
• $C\in {\mathbb{R}}^{1\times n}$: матрица проекции выхода.
• $y(t)\in \mathbb{R}$: выходной сигнал системы.

2. Дискретизация Mamba по схеме нулевого порядка (ZOH)

Для обработки дискретных токенов вводится зависящий от входа динамический шаг ${\Delta }_t\in \mathbb{R}$ для дискретизации.

Дискретная рекуррентная формула состояния после дискретизации:

$$h_t=\bar{A}{h}_{t-1}+\bar{B}{x}_t$$

$$y_t=C{h}_t$$

Строгий вывод параметров дискретизации:

$$\bar{A}=\exp ({\Delta }_{t}A)$$

$$\bar{B}=({\Delta }_{t}A{)}^{-1}(\exp ({\Delta }_{t}A)-I)\cdot {\Delta }_{t}B$$

• $x_t$: дискретный входной токен на шаге $t$.
• $h_t$: дискретное скрытое состояние на шаге $t$.
• $\bar{A}$: дискретная матрица перехода состояний (определяет, сколько истории сохранить).
• $\bar{B}$: дискретная матрица проекции входа (определяет, сколько нового входа принять).
• $I$: единичная матрица.

3. Уравнение обратного денойзингового сэмплирования диффузионной модели

$$p_{\theta }(x_{t-1}|x_t)=\mathcal{N}(x_{t-1};{\mu }_{\theta }(x_t,t),{\Sigma }_{\theta }(x_t,t))$$

• $\theta$: обучаемые параметры нейросети (например, U-Net или Transformer).
• $x_t$: зашумлённые данные на шаге $t$ диффузионного процесса (в управлении воплощённым агентом обычно зашумлённая траектория действий).
• $x_{t-1}$: состояние данных после одного шага денойзинга.
• $\mathcal{N}$: нормальное (гауссово) распределение.
• ${\mu }_{\theta }(x_t,t)$: среднее, предсказанное сетью (направляет денойзинг; обычно вычисляется через предсказание шума ${ϵ}_{\theta }$ или напрямую через предсказание чистого действия $x_0$).
• ${\Sigma }_{\theta }(x_t,t)$: матрица ковариации (определяет случайность и разнообразие процесса генерации).