Основы инференса

Обслуживание модели в масштабе определяется математикой очередей и физикой кэша ключей и значений. Это приложение развивает аналитические модели обслуживания, на которые опираются главы книги об инференсе и эксплуатации, и показывает, как динамика очередей и арифметика памяти кэша внимания складываются в единое ограничение обслуживания при жестких целях уровня обслуживания по задержке (SLO). В терминах C³ инференс превращает вычислительную мощность, коммуникацию с памятью и клиентами и координацию между очередями в одно ограничение обслуживания.

Как пользоваться этим приложением

Это приложение — количественный справочник по системам обслуживания. Используйте модель очередей, чтобы выбрать размер батча или предсказать хвостовую задержку при заданной интенсивности поступления; используйте арифметику кэша ключей и значений, чтобы оценить память или определить, когда пропускную способность ограничивает кэш, а не вычисления.

Обращайтесь к нему из глав об инференсе и эксплуатации: когда те главы ссылаются на результат обслуживания, вывод лежит здесь. Читайте его линейно ради полной аргументации или обращайтесь к разобранному примеру GPT-3 и системе выбора размера батча как к шаблонам, напрямую применимым в промышленных системах.

Анализ производительности обслуживания

Анализ производительности обслуживания состоит из двух связанных слоев. Очередь определяет, как запросы ждут, группируются в батчи и отбрасываются при стохастическом поступлении; кэш ключей и значений определяет, сколько живого состояния ускоритель может удерживать, укладываясь в бюджет задержки. В следующих подразделах сначала выводится модель очередей, а затем она связывается с пределами емкости памяти в разобранных примерах обслуживания.

Теория массового обслуживания для батчевого инференса

Кривая эффективности батчинга дает интуицию о компромиссах между пропускной способностью и задержкой, но промышленным системам нужен строгий анализ, чтобы определить оптимальные размеры батчей при стохастических паттернах поступления. Теория массового обслуживания дает математический аппарат, чтобы вывести эти оптимальные рабочие точки и понять, почему одни размеры батчей лучше других в определенных условиях.

Обозначения очередей и суррогат M/G/1 для батчей

Обозначение M/G/c/K называет четыре характеристики, которые может понадобиться отразить в промышленной модели обслуживания на GPU:

• M (марковское поступление): запросы поступают по пуассоновскому процессу с интенсивностью ${\lambda }_{\text{arr}}$. Это моделирует свойство отсутствия памяти у пользовательских запросов: поступление одного запроса не предсказывает момента следующего.
• G (общее распределение обслуживания): время обслуживания подчиняется общему распределению, не ограниченному экспоненциальным. Время инференса на GPU зависит от размера батча и сочетает детерминированные компоненты (вычисления) со стохастическими вариациями (конкуренция за память, планирование ядер).
• c (число серверов): в системе $c$ параллельных рабочих GPU, каждый из которых может обслуживать запросы независимо.
• K (емкость очереди): в системе поддерживается конечная очередь емкостью $K$ запросов. Запросы, пришедшие в заполненную очередь, отклоняются (сброс нагрузки).

Это обозначение происходит из той же линии системной производительности, которая задавала размеры телефонных сетей, прежде чем ее применили к кластерам GPU.

Перспектива: теория массового обслуживания и производительность

Теория массового обслуживания, развитая Агнером Крарупом Эрлангом в 1909 году для анализа телефонных сетей, остается основой инженерии системной производительности (Erlang, 1909). Тот же математический аппарат, который определял размеры телефонных станций, теперь определяет мощность кластеров GPU. Стандартные тексты по системам развивают составные модели очередей и приближения, на которых строится это обозначение (Jain, 1991; Kleinrock, 1975).

Для системы батчевого инференса с размером батча $B$ время обслуживания становится функцией размера батча. Пусть $T_{\text{svc}}(B)$ — время обработки батча из $B$ запросов. Из физики батчинга (раздел «Стратегии батчинга в масштабе») уравнение моделирует это так:

$$T_{\text{svc}}(B)=T_{\text{fixed}}+t_{\text{req}}\cdot B$$

где $T_{\text{fixed}}$ — фиксированные накладные расходы обслуживания (запуск ядер, загрузка весов из памяти с высокой пропускной способностью (HBM)), а $t_{\text{req}}$ — предельное время вычислений на запрос. Эта линейная модель отражает поведение первого порядка, наблюдаемое в промышленных системах, хотя реальное время обслуживания может демонстрировать небольшую сублинейность из-за насыщения пропускной способности памяти при больших батчах.

Эффективная скорость обслуживания при батчевой обработке равна:

$${\mu }_{\text{eff}}(B)=\frac{B}{T_{\text{svc}}(B)}=\frac{B}{T_{\text{fixed}}+t_{\text{req}}\cdot B}$$

Эффективная скорость растет с размером батча и приближается к асимптотическому пределу $1/t_{\text{req}}$ при $B\to \infty$.

Анализ времени отклика

Полное время отклика $T$ запроса состоит из трех компонентов:

$$E[T]=E[W]+E[T_{\text{batch}}]+E[T_{\text{svc}}]$$

где:

• $E[W]$ — ожидаемое время ожидания в очереди до включения в батч
• $E[T_{\text{batch}}]$ — ожидаемая задержка накопления батча на запрос перед отправкой
• $E[T_{\text{svc}}]$ — ожидаемое время инференса после запуска батча

При динамическом батчинге с максимальным временем ожидания $T_{\text{max}}$ и максимальным размером батча $B_{\text{max}}$ окно батчинга открывает первый запрос. Пусть $N\sim \mathrm{Poisson}({\lambda }_{\text{arr}}{T}_{\text{max}})$ считает последующие поступления в этом окне, а $k=B_{\text{max}}-1$. При $B_{\text{max}}>1$ фактический размер батча равен $B=\min (B_{\text{max}},1+N)$ с учетом запускающего запроса, поэтому:

$$E[B]=\sum _{n=0}^{k-1}(n+1)\mathrm{Pr}(N=n)+B_{\text{max}}\mathrm{Pr}(N\ge k)$$

Пусть ${\tau }_k$ — распределенное по Эрлангу время $k$-го последующего поступления. Полный батч закрывается, когда ${\tau }_k\le T_{\text{max}}$, а батч по таймауту закрывается в момент $T_{\text{max}}$ при $N=n<k$. Средняя задержка накопления на запрос внутри каждого реализованного батча равна:

$$E[T_{\text{batch}}\mid \text{полный}]=\frac{1}{2}E[{\tau }_k\mid {\tau }_k\le T_{\text{max}}]$$

$$E[T_{\text{batch}}\mid N=n,\text{таймаут}]=\frac{T_{\text{max}}}{2}\left(1+\frac{1}{n+1}\right),0\le n<k$$

Если взвесить каждый исход батча по реализованному числу запросов, получится средняя задержка случайно выбранного запроса:

$$E[T_{\text{batch}}]=\frac{B_{\text{max}}\mathrm{Pr}(N\ge k)E[{\tau }_k/2\mid {\tau }_k\le T_{\text{max}}]+{\sum }_{n=0}^{k-1}(n+1)\mathrm{Pr}(N=n)E[T_{\text{batch}}\mid N=n,\text{таймаут}]}{E[B]}$$

Когда батчи надежно заполняются до таймаута, это выражение приближается к $E[{\tau }_k]/2=(B_{\text{max}}-1)/(2{\lambda }_{\text{arr}})$. При $B_{\text{max}}=1$ батч содержит только запускающий запрос, и задержка накопления равна нулю.

Вывод оптимального размера батча

Оптимальный размер батча $B$ минимизирует ожидаемое время отклика при ограничениях на пропускную способность:

$$B={\mathrm{argmin}}_{B}E[T(B)]\text{при условии}{\mu }_{\text{eff}}(B)\ge {\lambda }_{\text{arr}}$$

Ограничение обеспечивает устойчивость системы (скорость обслуживания превышает интенсивность поступления).

Для режима высокого трафика, в котором батчи размера $B$ надежно заполняются до таймаута, подстановка компонентов времени отклика дает:

$$E[T(B)]=E[W(B)]+\frac{B-1}{2{\lambda }_{\text{arr}}}+T_{\text{svc}}(B)$$

Для удобной оценки времени ожидания используйте суррогат M/G/1, который рассматривает батчи как пуассоновские «суперзапросы». Если интенсивность поступления запросов равна ${\lambda }_{\text{arr}}$, а средний размер батча равен $B$, суррогат использует интенсивность поступления батчей ${\lambda }_{\text{batch}}={\lambda }_{\text{arr}}/B$. Это не точный процесс, порождаемый группировкой пуассоновских поступлений запросов, потому что группировка фиксированного размера дает эрланговские интервалы между батчами; конечное $K$ или $c>1$ требует модели группового обслуживания или симуляции. В рамках явного суррогата формула Поллачека—Хинчина дает:

$$E[W]=\frac{{\lambda }_{\text{batch}}\cdot E[T_{\text{svc}}^2]}{2(1-{\rho }_{\text{serv}})}$$

где ${\rho }_{\text{serv}}={\lambda }_{\text{batch}}\cdot E[T_{\text{svc}}]={\lambda }_{\text{arr}}\cdot E[T_{\text{svc}}]/B$ — загрузка сервера. Второй момент $E[T_{\text{svc}}^2]$ отражает вариативность времени обслуживания.

Для линейной модели времени обслуживания с детерминированным обслуживанием в этом суррогате:

$$E[W(B)]=\frac{{\lambda }_{\text{arr}}\cdot T_{\text{svc}}(B{)}^2}{2B(1-{\lambda }_{\text{arr}}\cdot T_{\text{svc}}(B)/B)}$$

Для промышленного подбора размеров команды часто сначала задают целевой запас по загрузке, а не решают полную задачу минимизации задержки. При $T_{\text{svc}}(B)=T_{\text{fixed}}+t_{\text{req}}B$ ограничение ${\rho }_{\text{serv}}={\lambda }_{\text{arr}}{T}_{\text{svc}}(B)/B\le {\rho }_{\text{target}}$ дает границу размера батча по целевой загрузке (уравнение):

$$B_{\min }({\rho }_{\text{target}})=\frac{{\lambda }_{\text{arr}}{T}_{\text{fixed}}}{{\rho }_{\text{target}}-{\lambda }_{\text{arr}}{t}_{\text{req}}}$$

где ${\rho }_{\text{target}}$ — целевая загрузка (обычно 0,7–0,8 для промышленных систем, чтобы сохранить запас по задержке), причем ${\rho }_{\text{target}}>{\lambda }_{\text{arr}}{t}_{\text{req}}$.

Перспектива: подбор размера батча по целевой загрузке

Граница размера батча по целевой загрузке (уравнение) раскрывает фундаментальную мысль: минимальный устойчивый размер батча растет с фиксированными накладными расходами и интенсивностью поступления. Это означает:

1. Более высокий трафик $({\lambda }_{\text{arr}})$: требуемый размер батча растет.
2. Более высокие фиксированные накладные расходы $(T_{\text{fixed}})$: требуемый размер батча растет, чтобы амортизировать накладные расходы.
3. Более высокая целевая загрузка $({\rho }_{\text{target}})$: требуемый размер батча уменьшается, но запас по задержке сокращается.

Такой подбор по загрузке объясняет, почему большим языковым моделям (LLM) (высокий $T_{\text{fixed}}$ из-за загрузки весов) нужны батчи крупнее, чем моделям зрения (низкий $T_{\text{fixed}}$), даже при той же интенсивности поступления.

Разобранный пример: обслуживание GPT-3 при 100 QPS

Рассмотрим обслуживание модели класса GPT-3 (175 млрд параметров) при следующих параметрах системы:

• Интенсивность поступления: ${\lambda }_{\text{arr}}=100$ запросов в секунду
• Железо: 8$\times$ GPU A100 с тензорным параллелизмом
• Накладные расходы загрузки весов: $T_{\text{fixed}}=50$ мс (время загрузки матриц внимания на проход вперед)
• Вычисления на токен: $t_{\text{req}}=0,5$ мс на запрос (амортизировано по батчу)
• Средняя длина выхода: 100 токенов на запрос
• Целевая загрузка: ${\rho }_{\text{target}}=0,75$

Для фазы предзаполнения (обработка входного промпта) время обслуживания определяет уравнение:

$$T_{\text{svc}}(B)=50+0,5\cdot B\text{ мс}$$

Применяя уравнение, вычислим минимальный размер батча, при котором достигается целевая загрузка 75 % (с запасом 25 %):

$$B_{\min }\approx \frac{100\times 0,05}{0,75-100\times 0,0005}=\frac{5}{0,70}\approx 7,14$$

Округление вверх дает $B=8$ как наименьший размер батча, соответствующий целевому запасу по загрузке. Выражение времени отклика для суррогата при допущении полных батчей затем показывает, как более крупные батчи снижают загрузку, но добавляют задержку накопления батча:

Оценка производительности обслуживания GPT-3 при разных размерах батча (таблица «Влияние размера батча на производительность обслуживания GPT-3») обнажает компромисс между задержкой в очереди и загрузкой сервера:

Влияние размера батча на производительность обслуживания GPT-3: батчи размером меньше 8 не выдерживают 100 QPS (загрузка превышает 100 %). С учетом задержки накопления батча минимум задержки в этой простой модели приходится примерно на $B=8$; у $B=16$ почти такая же средняя задержка при меньшей загрузке, а $B=32$ оставляет больше запаса, но платит большим штрафом за задержку накопления.

Для этих размеров батча получаются четыре операционных режима:

1. Неустойчивый режим (размеры батча 1–4): загрузка превышает 100 %, то есть система не успевает за поступлениями. Очереди растут неограниченно.
2. Порог устойчивости (размер батча 8): при загрузке 67,5 % система устойчива, но задержки в очереди вносят значительный вклад в задержку (56,1 мс), и задержка в очереди взрывно растет вблизи насыщения (рисунок «Хоккейная клюшка очередей»).
3. Излом задержки (размеры батча 8–16): размер батча 8 дает наименьшую среднюю задержку в этой модели. Размер батча 16 обменивает несколько миллисекунд дополнительной полной задержки на меньшую загрузку и меньшее ожидание в очереди (16,5 мс против 56,1 мс), а $B=32$ оставляет еще больше запаса по загрузке, но платит слишком большую задержку накопления батча.
4. Убывающая отдача (размеры батча выше 32): дальнейшее увеличение размера батча снизило бы загрузку, но ограничения памяти не позволяют это исследовать.

Хоккейная клюшка очередей: для очереди M/M/1 величина ${\rho }_{\text{serv}}/(1-{\rho }_{\text{serv}})$ — ожидаемое число запросов в системе, включая запрос в обслуживании. Ее гиперболический рост вблизи насыщения объясняет, почему промышленные системы сохраняют запас по загрузке; заштрихованные рабочие полосы иллюстративны и не являются универсальными порогами.

Закон Литтла дает проверку этих результатов на внутреннюю согласованность.

Сценарий: применение закона Литтла для проверки

Проверка: по закону Литтла (Little, 1961) $Q_{\text{req}}={\lambda }_{\text{arr}}\cdot T_{\text{lat}}$:

При $B=16$, ${\lambda }_{\text{arr}}=100$ запр./с и $E[T]=$ 149,5 мс:

$Q_{\text{req}}=100\times$ 0,1495 с = 14,95 запросов в системе

При размере батча 16 и загрузке 36,3 %:

• Ожидаемое число запросов в обслуживании: 16 $\times$ 0,363 = 5,8
• Ожидаемое число запросов в очереди: 14,95 - 5,8 = 9,14

Это согласуется с разложением времени отклика: в среднем примерно 6 запросов находятся в обслуживании и примерно 9 ждут или накапливаются в батчи.

Система принятия решений: выбор размера батча при заданном SLA

Промышленные системы должны выбирать размер батча так, чтобы выполнять цели уровня обслуживания (SLO), которые обычно задают как процентили задержки (например, задержка P99 < 200 мс). Следующая схема систематизирует это решение:

Шаг 1: охарактеризовать время обслуживания

Измерьте $T_{\text{fixed}}$ и $t_{\text{req}}$ эмпирически, профилируя инференс при размерах батча 1, 8 и 32. Подберите линейную модель $T_{\text{svc}}(B)=T_{\text{fixed}}+t_{\text{req}}B$.

Шаг 2: вычислить порог устойчивости

Найдите минимальный размер батча $B_{\text{min}}$, при котором ${\mu }_{\text{eff}}(B_{\text{min}})>{\lambda }_{\text{arr}}$:

$$B_{\text{min}}=\frac{T_{\text{fixed}}{\lambda }_{\text{arr}}}{1-t_{\text{req}}{\lambda }_{\text{arr}}}$$

Любой размер батча ниже $B_{\text{min}}$ приводит к неустойчивой системе.

Шаг 3: вычислить задержку при кандидатных размерах батча

При том же суррогате пуассоновских суперзапросов и допущении полных батчей для каждого кандидата $B\in \{B_{\text{min}},2B_{\text{min}},\dots ,B_{\text{max}}\}$ вычислите:

$$E[T(B)]=\frac{{\lambda }_{\text{arr}}\cdot T_{\text{svc}}(B{)}^2}{2B(1-{\lambda }_{\text{arr}}{T}_{\text{svc}}(B)/B)}+\frac{B-1}{2{\lambda }_{\text{arr}}}+T_{\text{svc}}(B)$$

Шаг 4: учесть хвостовую задержку

Если измеренное время отклика приблизительно гауссово, его P99 можно оценить как:

$$T_{\text{P99}}\approx E[T]+2,33\cdot {\sigma }_T$$

где ${\sigma }_T$ — стандартное отклонение времени отклика. Это гауссово правило не является общим приближением для режима высокой нагрузки, потому что времена отклика в системах очередей обычно асимметричны. Для экспоненциального времени отклика P99 равен $-\ln (0,01)E[T]\approx 4,6\cdot E[T]$; для промышленного подбора размеров используйте измеренные процентили.

Шаг 5: выбрать оптимальный размер батча

Выберите наибольшее $B$, при котором $T_{\text{P99}}(B)\le \text{SLO}$:

$$B=\max \{B:T_{\text{P99}}(B)\le \text{SLO}\}$$

Операционные правила выбора размера батча (таблица «Система принятия решений по размеру батча») уравновешивают устойчивость, SLO по задержке и экономическую эффективность:

Система принятия решений по размеру батча: систематический подход к выбору размера батча на основе устойчивости, SLO по задержке и целевых значений загрузки.

Применение этих операционных правил обеспечивает отзывчивость развертывания обслуживания под нагрузкой и экономическую эффективность в окна низкого трафика.

Кривые компромисса: визуализация рабочей области

Кривые компромисса между пропускной способностью и задержкой (рисунок «Кривые компромисса размера батча») определяют допустимую рабочую область:

Кривые компромисса размера батча: по мере роста размера батча по оси x пропускная способность (левая ось y, синяя) растет сублинейно, а задержка P50 (правая ось y, красная) — почти линейно. Оптимальная точка отмечена при B=16; заштрихованная область емкости (нехватка памяти, OOM) показывает размеры батча, превышающие память устройства. Бенчмарк: Llama-2 70B в FP16 с тензорным параллелизмом на четырех GPU A100 по 80 ГБ.

Кривая компромисса демонстрирует несколько ключевых выводов:

1. Граница Парето: рабочая точка эффективна по Парето, когда ни одна другая кандидатная точка не дает как минимум такой же пропускной способности при не большей задержке и со строгим улучшением хотя бы по одной цели. Граница — это множество таких недоминируемых точек.
2. Излом кривой: оптимальный размер батча часто лежит в «изломе», где прирост пропускной способности убывает, а задержка продолжает расти линейно.
3. Оптимум с ограничением SLO: когда SLO ограничивает максимальную задержку, оптимальная точка лежит там, где кривая пересекает границу SLO.
4. Убывающая отдача: за изломом удвоение размера батча может увеличивать пропускную способность лишь на 10–20 %, при этом удваивая задержку.

Теоретико-очередная рамка дает математическую основу для стратегий батчинга, введенных в разделе «Стратегии батчинга в масштабе». Если интуиция подсказывает, что «большие батчи лучше для пропускной способности», то ограничения устойчивости, цели по задержке и убывающая отдача задают четко определенную оптимальную рабочую область, которая зависит от типа модели и требований развертывания.

Основы KV-кэша

Формальное определение KV-кэша дано в основном разделе об управлении памятью при инференсе (введено в разделе «Управление памятью: от предварительного выделения к страницам»). Это приложение раскрывает арифметику размеров, лежащую за этим определением: почему кэш сокращает вычисления на токен, почему его память растет с длиной последовательности и размером батча и почему неуправляемое выделение может фрагментировать HBM (Kwon et al., 2023).

Авторегрессивная генерация без кэширования требует $\mathcal{O}(t^2)$ вычислений на токен, потому что каждый слой трансформера должен заново вычислять ключи и значения внимания для всех предыдущих токенов. KV-кэш хранит эти вычисленные векторы ключей и значений и снижает генерацию до $\mathcal{O}(t)$ на токен. При обслуживании в масштабе такая экономия вычислений создает критическую задачу управления памятью, поскольку память KV-кэша при длинных контекстах может превышать веса модели.

Размер кэша растет с контекстом по уравнению:

$$M_{\text{KV}}=2\times N_L\times d\times S\times B\times s_{\text{elem}}$$

где $N_L$ — число слоев, $d$ — скрытая размерность, $S$ — длина последовательности, $B$ — размер батча, $s_{\text{elem}}$ — размер хранения одного элемента в байтах, а множитель 2 учитывает и ключи, и значения.

Для модели GPT-3 на 175 млрд ($N_L=96$, $d=12288$, FP16 $s_{\text{elem}}=2$ байта) при длине последовательности $S=2048$ каждому запросу требуется:

$$M_{\text{KV/запрос}}=2\times 96\times 12288\times 2048\times 2\text{ Б}\approx 9,66\text{ ГБ/запрос}$$

На 8$\times$ GPU A100 по 80 ГБ (640 ГБ суммарной HBM) хранение весов модели в FP16 занимает 350 ГБ, оставляя 290 ГБ под активации и память KV-кэша. Неуправляемое непрерывное выделение ограничивает максимальный одновременный размер батча значением $B_{\text{max}}\le 290/9,66\approx$ 30 запросов до нехватки памяти (OOM), что показывает, как емкость KV-кэша ограничивает пропускную способность обслуживания.

Итоги

Промышленный инференс требует баланса динамики очередей и емкости памяти железа. Количественные соотношения, выведенные в этом приложении, определяют выбор размера батча, бюджеты задержки и пределы памяти ускорителей в развертываниях обслуживания:

Ключевые выводы: производительность обслуживания ограничена очередями и памятью

• У загрузки есть жесткий потолок: по мере приближения загрузки ${\rho }_{\text{serv}}$ к 1 глубина очереди и задержка растут без предела. Промышленное обслуживание ориентируется на ${\rho }_{\text{serv}}\le 0,7$, чтобы сохранить запас по задержке; оставшиеся 30 % — не потери, а буфер, который держит хвостовую задержку конечной.
• У размера батча есть оптимум, а не максимум: большие батчи повышают пропускную способность, но добавляют задержку накопления батча, давая излом задержки, а не монотонное улучшение. За изломом удвоение батча может купить лишь на 10–20 % больше пропускной способности ценой удвоенной задержки.
• Закон Литтла связывает систему воедино: $Q_{\text{req}}={\lambda }_{\text{arr}}{T}_{\text{lat}}$ связывает число запросов в полете с интенсивностью поступления и временем в системе и дает однострочную проверку согласованности для любого измерения обслуживания.
• KV-кэш — связывающее ограничение: память кэша растет линейно с длиной последовательности и размером батча и регулярно превышает веса модели, ограничивая одновременную емкость (авторегрессивное узкое место, принцип «авторегрессивное узкое место»). Наивное выделение теряет 60–80 % на фрагментацию, поэтому промышленные системы управляют ею схемой виртуальной памяти.