Вопросы для собеседования, набор 6: DDPM и DDIM

Попробуйте почувствовать разницу между DDPM и DDIM. Готовы? Начнём!

Шаг 1: вспомогательная база (приём репараметризации)

В диффузионных моделях чаще всего используется такой приём: если у вас есть величина, распределённая по нормальному закону $X\sim \mathcal{N}(\mu ,{\sigma }^2)$ (среднее $\mu$, дисперсия ${\sigma }^2$), её можно записать так:

$$X=\mu +\sigma \cdot ϵ$$

Здесь $ϵ$ — чистый стандартный нормальный шум $ϵ\sim \mathcal{N}(0,1)$.

Проще говоря: любое состояние = определённая базовая величина + (случайный шум $\times$ сила шума). Запомните эту формулу: она лежит в основе всего вывода.

Шаг 2: базовая постановка DDPM (прямой процесс зашумления)

В исходном DDPM (денойзинговой диффузионной вероятностной модели) есть чёткий прямой процесс зашумления.

Пусть у нас есть чистое изображение (или идеальное действие робота) $x_0$. Мы постепенно добавляем к нему шум, и на шаге $t$ оно превращается в $x_t$.

DDPM доказала очень важный результат: не нужно добавлять шум шаг за шагом, можно перейти от $x_0$ сразу к $x_t$.

Формула такая:

$$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ$$

• $x_0$: исходные чистые данные.
• $x_t$: зашумлённые данные на шаге $t$.
• ${\bar{\alpha }}_t$: коэффициент от 0 до 1. Его можно понимать как «долю сохранённого сигнала». С ростом $t$ значение ${\bar{\alpha }}_t$ уменьшается и стремится к 0.
• $1-{\bar{\alpha }}_t$: «сила шума».
• $ϵ$: чистый стандартный нормальный шум.

Итог в одной фразе: данные $x_t$ на шаге $t$ — это «ослабленные чистые данные» плюс «постепенно усиливающийся шум».

Шаг 3: обратное рассуждение — как по $x_t$ угадать $x_0$?

Теперь переходим к той части, где работает большая модель: обратному денойзингу.

Большая модель (например, нейросеть U-Net) при инференсе получает зашумлённое $x_t$. Её задача — предсказать шум $ϵ$, который содержится в этих данных.

Пусть мы обучили модель ${ϵ}_{\theta }(x_t,t)$, которая точно угадывает шум в текущем $x_t$.

Раз шум угадан, можно воспользоваться формулой из шага 2 и восстановить (предположить) чистое $x_0$?

Перенесём члены в формуле $x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ$ и выразим $x_0$:

$$\text{предсказанное }{x}_0=\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}\cdot {ϵ}_{\theta }(x_t,t)}{\sqrt{{\bar{\alpha }}_t}}$$

(Это всего лишь перенос членов в школьной алгебре!)

Так модель на любом шаге $t$ «представляет» итоговый чистый результат.

Шаг 4: ключевая идея DDIM — пересборка $x_{t-1}$

В классическом DDPM обязательно нужно идти назад по марковской цепи шаг за шагом ($x_t\to x_{t-1}\to x_{t-2}$).

Гениальность DDIM в том, что правило «идти строго по шагам» нарушено. Авторы предложили: если сохранить итоговое маргинальное распределение, то путь между шагами может быть любым! Поэтому DDIM строит новую формулу для получения $x_{t-1}$.

DDIM считает, что $x_{t-1}$ можно собрать из трёх частей:

$$x_{t-1}=\text{часть 1}+\text{часть 2}+\text{часть 3}$$

Выпишем их подробно (не пугайтесь длинной формулы, разберём по кускам):

$$x_{t-1}=\underset{\text{часть 1: в сторону предсказанного }{x}_0}{\underbrace{\sqrt{{\bar{\alpha }}_{t-1}}\cdot \left(\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}\cdot {ϵ}_{\theta }(x_t,t)}{\sqrt{{\bar{\alpha }}_t}}\right)}}+\underset{\text{часть 2: в сторону }{x}_t}{\underbrace{\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}\cdot {ϵ}_{\theta }(x_t,t)}}+\underset{\text{часть 3: случайный шум}}{\underbrace{{\sigma }_t\cdot {ϵ}_t}}$$

Разберём каждую часть:

1. Часть 1 (в сторону $x_0$): то, что стоит в скобках, — это и есть предсказанное нами $x_0$ с шага 3. Множитель $\sqrt{{\bar{\alpha }}_{t-1}}$ означает, сколько сигнала $x_0$ мы сохраняем.
2. Часть 2 (в сторону $x_t$): для плавного перехода мы добавляем обратно немного только что предсказанного шума ${ϵ}_{\theta }(x_t,t)$. Коэффициент $\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}$ нужен, чтобы суммарная дисперсия совпадала.
3. Часть 3 (случайный шум): ${\sigma }_t$ — параметр дисперсии, который мы задаём сами, а ${ϵ}_t$ — новый случайный шум.

Шаг 5: момент чуда — почему это ускоряет процесс?

Формула выше — обобщённая формула сэмплирования диффузионной модели. Теперь видно, где DDIM раскрывает свою силу.

Операция 1: положим ${\sigma }_t=0$ (убираем случайность)

Авторы DDIM показали, что если полностью убрать случайность, то есть положить параметр дисперсии ${\sigma }_t=0$, то часть 3 исчезает!

$$x_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}\cdot (\text{предсказанное }{x}_0)+\sqrt{1-{\bar{\alpha }}_{t-1}}\cdot {ϵ}_{\theta }(x_t,t)$$

Что это значит? Переход от $x_t$ к $x_{t-1}$ становится полностью детерминированным: при фиксированном входном шуме результат будет одним и тем же, сколько бы раз мы ни запускали генерацию. Для стабильности робота это очень важно!

Операция 2: прыжки по шагам (ускоренное сэмплирование)

Посмотрите на упрощённую формулу: для вычисления $x_{t-1}$ нужны только $x_t$, предсказание модели ${ϵ}_{\theta }$ и ${\bar{\alpha }}_{t-1}$.

Индекс $t-1$ — лишь обозначение: он не обязан быть предыдущим целым числом!

То есть можно задать подпоследовательность шагов, например перейти от $t=1000$ сразу к $t=900$ и подставить $900$ вместо «$t-1$» в формулу.

Так достигается большой скачок: вместо 1000 итераций можно делать шаг каждые 50 шагов и получить результат за 20 итераций. Именно это и есть основа ускорения DDIM.

Итоговое обобщение

1. Модель предсказывает текущий шум ${ϵ}_{\theta }$.
2. По этому шуму восстанавливаем чистые данные $x_0$.
3. DDIM строит новую формулу, которая комбинирует предсказанное $x_0$ и предсказанный шум в определённых пропорциях и напрямую вычисляет детерминированное предыдущее состояние.
4. Поскольку формула не требует строгой непрерывности марковской цепи, можно «прыгать» по шагам и получить ускорение в несколько или даже десятки раз.

Первая расшифровка: почему можно перейти сразу от $x_0$ к $x_t$?

Чтобы это доказать, нужна базовая статистическая «шпаргалка» — свойство аддитивности нормальных распределений:

Теорема: если есть две независимые нормально распределённые величины с дисперсиями $A$ и $B$, то их сумма тоже нормальна, а её дисперсия равна сумме дисперсий, то есть $A+B$.

В диффузионных моделях одношаговый процесс зашумления выглядит так (каждый раз добавляется немного шума):

$$x_1=\sqrt{{\alpha }_1}{x}_0+\sqrt{1-{\alpha }_1}{ϵ}_0$$

$$x_2=\sqrt{{\alpha }_2}{x}_1+\sqrt{1-{\alpha }_2}{ϵ}_1$$

Здесь ${ϵ}_0,{ϵ}_1$ — чистый стандартный нормальный шум (среднее 0, дисперсия 1). Коэффициент $\alpha$ — это уже знакомая «доля сохранённого сигнала».

Теперь попробуем выразить $x_2$ напрямую через $x_0$.

Подставим формулу для $x_1$ в формулу для $x_2$:

$$x_2=\sqrt{{\alpha }_2}(\sqrt{{\alpha }_1}{x}_0+\sqrt{1-{\alpha }_1}{ϵ}_0)+\sqrt{1-{\alpha }_2}{ϵ}_1$$

Раскроем скобки:

$$x_2=\sqrt{{\alpha }_1{\alpha }_2}{x}_0+\underset{\text{здесь два куска шума складываются}}{\underbrace{\sqrt{{\alpha }_2(1-{\alpha }_1)}{ϵ}_0+\sqrt{1-{\alpha }_2}{ϵ}_1}}$$

Момент чуда! Объединим два куска шума с помощью теоремы о сумме дисперсий:

Дисперсия первого куска: ${\alpha }_2(1-{\alpha }_1)={\alpha }_2-{\alpha }_1{\alpha }_2$

Дисперсия второго куска: $1-{\alpha }_2$

Поскольку шумы складываются, дисперсии суммируются:

$$({\alpha }_2-{\alpha }_1{\alpha }_2)+(1-{\alpha }_2)=1-{\alpha }_1{\alpha }_2$$

То есть два куска шума объединяются в один новый стандартный шум с дисперсией $1-{\alpha }_1{\alpha }_2$ (назовём его $\overline{ϵ}$):

$$x_2=\sqrt{{\alpha }_1{\alpha }_2}{x}_0+\sqrt{1-{\alpha }_1{\alpha }_2}\overline{ϵ}$$

Видно, что промежуточное $x_1$ полностью исчезло!

Для краткости введём ${\bar{\alpha }}_t={\alpha }_1\times {\alpha }_2\times \dots \times {\alpha }_t$ (произведение долей сохранённого сигнала за первые $t$ шагов).

Продолжая эту подстановку до шага $t$, получаем основной результат:

$$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ$$

Вывод: благодаря свойству сложения нормальных шумов можно не проходить через промежуточные $x_1,x_2,\dots$ и сразу вычислить зашумлённое состояние на шаге $t$.

Вторая расшифровка: почему формула DDIM распадается на три части?

Это не магия: авторы подобрали формулу обратным выводом (reverse-engineering), чтобы получить распределение с нужными свойствами.

1. Какова конечная цель авторов DDIM?

Идея DDIM: мне не важно, как именно идёт обратный денойзинг, но результат $x_{t-1}$ обязан подчиняться закону прямого процесса, выведенному в первой расшифровке.

То есть $x_{t-1}$ должно удовлетворять:

$$x_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\bar{\alpha }}_{t-1}}\cdot (\text{полный шум})$$

2. «Разложение» полного шума (ключевой принцип)

Теперь у нас есть три известных сведения:

1. Предсказанное чистое изображение ($x_0$)
2. Текущее зашумлённое изображение ($x_t$)
3. Предсказанный модель шум, содержащийся в $x_t$ (${ϵ}_{\theta }$)

В формуле для конечной цели «полный шум» должен иметь дисперсию (то есть силу) $1-{\bar{\alpha }}_{t-1}$.

Авторы рассудили: если весь этот полный шум сделать случайным, получится обычный DDPM, и результат каждый раз будет разным. Можно ли «разрезать» полный шум на две части?

• Одна часть — детерминированная (Deterministic): используем уже предсказанный моделью шум ${ϵ}_{\theta }$. У него есть определённое направление (к $x_t$).
• Другая часть — стохастическая (Stochastic): добавляем немного совершенно нового случайного шума ${ϵ}_t$, дисперсию которого ${\sigma }_t^2$ задаём сами.

Как при разделе торта: общий бюджет дисперсии равен $1-{\bar{\alpha }}_{t-1}$.

Если часть отдана «случайному шуму» ${\sigma }_t^2$, то на «детерминированный шум» остаётся:

$$(1-{\bar{\alpha }}_{t-1})-{\sigma }_t^2$$

3. Сборка

По логике «раздела торта» перепишем формулу для $x_{t-1}$:

$$x_{t-1}=\text{часть с чистым сигналом}+\text{часть детерминированного шума}+\text{часть случайного шума}$$

Подставим соответствующие коэффициенты дисперсии:

$$x_{t-1}=\underset{\text{чистый сигнал}}{\underbrace{\sqrt{{\bar{\alpha }}_{t-1}}\cdot x_0}}+\underset{\text{детерминированный шум}}{\underbrace{\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}\cdot {ϵ}_{\theta }}}+\underset{\text{случайный шум}}{\underbrace{{\sigma }_t\cdot {ϵ}_t}}$$

Наконец, поскольку истинное $x_0$ нам неизвестно, в формуле вместо него подставляется предсказание модели (то самое, полученное переносом членов из школьной алгебры).

Вот откуда берутся «три части»!

Здесь нет никакой магии. Принцип: при неизменной суммарной дисперсии (силе шума) шум аккуратно делится на «предсказуемую часть» и «чисто случайную часть». Когда чисто случайная часть (дисперсия ${\sigma }_t$) равна нулю, весь процесс превращается в детерминированный ускоренный переход по шагам.

Основное правило: квадратичное масштабирование дисперсии

В теории вероятностей, если у случайной величины $X$ есть дисперсия $Var(X)$, и её умножить на константу $c$, то дисперсия новой величины равна старой, умноженной на квадрат константы:

$$Var(c\cdot X)=c^2\cdot Var(X)$$

Применяем правило к нашему выводу

В диффузионных моделях все базовые шумы $ϵ$ (будь то ${ϵ}_0$, ${ϵ}_1$ или ${ϵ}_t$) по определению стандартные нормальные.

У стандартного нормального распределения есть важнейшее свойство: среднее 0, дисперсия 1.

То есть $Var(ϵ)=1$.

Посмотрим на первый из двух кусков шума:

$$\underset{\text{постоянный коэффициент }c}{\underbrace{\sqrt{{\alpha }_2(1-{\alpha }_1)}}}\cdot \underset{\text{случайная величина }X}{\underbrace{{ϵ}_0}}$$

Вычислим дисперсию всего этого куска:

1. Константа $c=\sqrt{{\alpha }_2(1-{\alpha }_1)}$.
2. По указанному правилу дисперсия куска = $c^2\cdot Var({ϵ}_0)$.
3. Возводим $c$ в квадрат, корень исчезает: получаем ${\alpha }_2(1-{\alpha }_1)$.
4. Поскольку $Var({ϵ}_0)=1$.
5. Итог: дисперсия = ${\alpha }_2(1-{\alpha }_1)\cdot 1={\alpha }_2(1-{\alpha }_1)$.

Аналогично для второго куска:

$$\underset{\text{постоянный коэффициент }c}{\underbrace{\sqrt{1-{\alpha }_2}}}\cdot \underset{\text{случайная величина }X}{\underbrace{{ϵ}_1}}$$

Его дисперсия: $(\sqrt{1-{\alpha }_2}{)}^2\cdot 1=1-{\alpha }_2$.

Последний шаг: складываем и упаковываем обратно

Поскольку ${ϵ}_0$ и ${ϵ}_1$ — два независимых «розыгрыша» (независимые одинаково распределённые величины), их суммарная дисперсия равна сумме их дисперсий (это и есть «теорема о сумме» из первой расшифровки):

$$\text{суммарная дисперсия}={\alpha }_2(1-{\alpha }_1)+(1-{\alpha }_2)=1-{\alpha }_1{\alpha }_2$$

Получили, что суммарная дисперсия двух кусков шума равна $1-{\alpha }_1{\alpha }_2$.

Но в формулу нужно записать коэффициент, умноженный на стандартный шум.

По обратному рассуждению: раз дисперсия равна $1-{\alpha }_1{\alpha }_2$, то по правилу $Var(c\cdot X)=c^2\cdot Var(X)$ искомый коэффициент $c$ — это квадратный корень из суммарной дисперсии.

Поэтому объединённый шум записывается так:

$$\sqrt{1-{\alpha }_1{\alpha }_2}\cdot \overline{ϵ}$$

(где $\overline{ϵ}$ обозначает новый стандартный нормальный шум).

В embodied AI (например, в задаче управления манипулятором, который берёт чашку) Diffusion Policy выдаёт не картинку, а последовательность действий робота (например, углы суставов на следующие 16 шагов).

Ниже упрощённый псевдокод, который показывает, как описанная формула DDIM работает в «мозге» робота:

# Предположим, что обучена диффузионная большая модель (U-Net), которая по увиденной картинке предсказывает шум в действиях
# robot_camera_image: текущий кадр робота (служит условием генерации действий)

def ddim_fast_sample(robot_camera_image, unet_model, total_train_steps=1000, jump_steps=10):
    """
    Генерация траектории действий робота с ускорением DDIM.
    Вместо 1000 шагов вычисляем лишь 10 прыжков (сильно повышает скорость, нужную для управления в реальном времени).
    """
    # 1. Инициализация: создаём совершенно случайную траекторию действий (чистый шум)
    # Например, случайные команды для суставов на 16 шагов вперёд; сейчас движения полностью хаотичны
    action_t = generate_random_noise(shape=(16, joint_dim)) 
    
    # 2. Маршрут прыжков: например, 1000 -> 900 -> 800 ... -> 0
    timesteps = get_jump_sequence(total_train_steps, jump_steps)
    
    # 3. Основной цикл обратного денойзинга (здесь работает DDIM)
    for i in range(len(timesteps)):
        t = timesteps[i]                     # текущий шаг времени
        t_prev = timesteps[i+1] if i < len(timesteps)-1 else 0 # следующий шаг, к которому прыгаем
        
        # [соответствует выводу]: вызываем большую модель, которая по текущим зашумлённым действиям и кадру предсказывает шум
        predicted_noise = unet_model(action_t, t, condition=robot_camera_image)
        
        # [формула переноса членов]: по зашумлённым действиям и предсказанному шуму восстанавливаем чистые действия (x_0)
        predicted_x0 = calculate_clean_x0(action_t, predicted_noise, t)
        
        # [сборка из трёх частей]: детерминированная формула DDIM
        # Случайная часть обнулена (sigma_t = 0), для шага t_prev строим действия только из x_0 и предсказанного шума
        action_t = ddim_assemble_formula(predicted_x0, predicted_noise, t_prev)
        
    # После цикла action_t превращается из хаотичного набора чисел в плавную и точную траекторию захвата!
    return action_t


# ==========================================
# Реальный цикл управления робота (например, 10 раз в секунду)
# ==========================================
while robot_is_turned_on:
    # A. Смотрим на окружение
    current_image = get_camera_frame()
    
    # B. Мозг быстро работает: вызываем DDIM и за 10 шагов получаем действия на 16 шагов вперёд
    action_trajectory = ddim_fast_sample(current_image, my_diffusion_model)
    
    # C. Приём воплощённого ИИ: Receding Horizon Control (управление со скользящим горизонтом)
    # Модель предсказывает 16 шагов вперёд, но выполняется только первые 8. Затем снова смотрим и пересчитываем!
    execute_on_physical_robot(action_trajectory[0:8])

Три ключевых момента этого псевдокода:

1. condition=robot_camera_image (условное управление): в этом суть воплощённого ИИ. Обычная диффузионная модель генерирует картинки по тексту, а здесь модель опирается на текущую визуальную картину, чтобы управлять предсказанием шума и генерировать действия, соответствующие окружению.
2. Всего 10 итераций цикла (сверхбыстрый инференс): благодаря формуле прыжков DDIM (ddim_assemble_formula) цикл for, который мог бы выполняться 1000 раз, выполняется 10 или 20 раз. Задержка вычислений сокращается с нескольких секунд до десятков миллисекунд, и робот может двигаться плавно, без рывков.
3. Скользящее исполнение (Receding Horizon): в главном цикле робот предсказывает длинную последовательность действий, но выполняет только её начало. Это похоже на вождение автомобиля: взгляд направлен вдаль (прогноз на 16 шагов), а руки крутят руль на ближайший участок (выполнение 8 шагов); процесс постоянно повторяется. Так поведение безопасно и устойчиво.