Обозначения

Инженерия ML-систем соединяет машинное обучение (информатику и статистику) и системы (архитектуру компьютеров и аппаратуру). Каждая из этих областей выработала свои обозначения независимо, и многие символы означают разное в разных сообществах и публикациях. Это столкновение создает реальную путаницу, когда дисциплины сливаются. Приведенные ниже соглашения вводят единое обозначение, которое устраняет эту неоднозначность.

Рассмотрим простое утверждение: «Увеличение $B$ повышает пропускную способность». Для исследователя ML $B$ означает размер батча. Для инженера-аппаратчика $B$ означает пропускную способность. Обе трактовки верны в своих областях, но в ML-системах нам нужны оба понятия в одном уравнении — отсюда необходимость единого последовательного соглашения.

Железный закон систем машинного обучения

Для последовательных фаз исполнения декомпозиция производительности по железному закону такова:

$T = Время памяти \frac{D _{vol}}{BW} + Время вычислений \frac{O}{R _{peak} \cdot η _{hw}} + Накладные расходы задержки L_{lat}$

Каждая переменная выбрана намеренно, чтобы не совпадать с обычной ML-терминологией.

Символ	Определение	Единица	Почему именно этот символ?
$T$	Время	секунды	Однозначно. Фактическое время выполнения операции.
$D_{vol}$	Объем данных	байты	Избегает совпадения с $D$ (размер набора данных). В законах масштабирования $D$ означает обучающие токены. Здесь нам нужны байты, прошедшие через память. Индекс устраняет неоднозначность.
$BW$	Пропускная способность	байт/с	Избегает совпадения с $B$ (размер батча). В литературе по системам $B$ часто означает пропускную способность, а в ML — размер батча. Обозначение сохраняет соглашение ML.
$O$	Операции	FLOP	Общее число операций с плавающей запятой. Аккуратно выглядит в формулах (в отличие от « $Ops$ »).
$R_{peak}$	Пиковая скорость	FLOP/s	Избегает совпадения с $P$ (параметры). В презентациях Roofline для производительности часто используют $P$ , а в ML — для числа параметров. Обозначение сохраняет соглашение ML.
$η_{hw}$	Эффективность	—	Загрузка аппаратуры $(0 \leq η_{hw} \leq 1)$ . Избегает совпадения со скоростью обучения $(η)$ .
$L_{lat}$	Задержка	секунды	Избегает совпадения с $L$ (функция потерь). Фиксированное время накладных расходов (запуск ядра, RTT сети). Индекс отличает его от функции потерь.

Почему эти выборы важны

Без аккуратных обозначений предложения становятся двусмысленными:

«Уменьшение $D$ улучшает производительность».

У предложения два возможных прочтения:

Уменьшение размера набора данных (меньше обучающих примеров) может ускорить обучение, но может снизить точность.
Уменьшение перемещаемого объема данных (например, за счет сжатия или квантования) может ускорить инференс, а влияние на точность зависит от метода и калибровки.

С нашими обозначениями можно записать точно:

«Уменьшение $D_{vol}$ за счет квантования FP32 в INT8 сокращает трафик памяти параметров вчетверо, а $D$ (обучающие данные) остается неизменным».

Наше обозначение устраняет эту неоднозначность: « $BW$ ограничивает пропускную способность» допускает только одно прочтение.

Варианты с индексами

Прямой корень называет величину, а индекс указывает, какой ее экземпляр имеется в виду. Соглашение разводит близкие измерения по разным обозначениям, не сводя их к одному символу:

$BW_{disk}$ , $BW_{network}$ , $BW_{accelerator}$ : пропускная способность в трех точках пути данных
$D_{vol}$ , $R_{peak}$ , $L_{lat}$ , $η_{hw}$ : члены железного закона, каждый из которых отделен от общего ML-символа
$E_{move}$ , $E_{compute}$ , $E_{total}$ : один энергетический бюджет, разделенный на части, которые можно обменивать

Поэтому индекс несет часть утверждения. Пропускные способности диска и ускорителя различаются на порядки, поэтому значение воспроизводимо только тогда, когда индекс говорит, где было выполнено измерение.

Уравнение деградации

Уравнение деградации — подогнанная локальная модель. Одно лишь расхождение не определяет направление изменения точности, поэтому $λ$ оценивается по размеченным исходам. Некоторые символы ниже, например $τ$ , встречаются в тексте глав, а не в уравнении.

$Точность (t) \approx Точность_{0} - λ \cdot D (P_{t} ∥ P_{0})$

Символ	Определение	Единица/тип	Примечания
$Точность (t)$	Точность в момент $t$	скаляр	Точность модели после того, как она проработала в эксплуатации время $t$ .
$Точность_{0}$	Начальная точность	скаляр	Точность модели в момент развертывания.
$λ$	Подогнанная чувствительность	скаляр	Локальный коэффициент, оцененный по исходам на заявленном диапазоне; не универсальная константа. (Не длина волны.)
$P_{t}$	Текущее распределение	распределение	Распределение данных в момент $t$ . (Не параметры — для числа параметров используйте $P$ .)
$P_{0}$	Обучающее распределение	распределение	Распределение данных в момент обучения.
$D (P_{t} ∥ P_{0})$	Статистическое расхождение	скаляр $\geq 0$	Измеряет, насколько $P_{t}$ ушло от $P_{0}$ . Обычные варианты: расхождение Кульбака–Лейблера, полная вариация, расстояние Вассерштейна. (Каллиграфический, чтобы не совпадать с $D$ = размер набора данных.)
$τ$	Порог реакции	скаляр $> 0$	Эксплуатационный порог для расследования; он не запускает переобучение автоматически.

Следствие для энергии

При эффективных стоимостях на байт и на операцию энергия нагрузки приближенно равна:

$E_{total} \approx D_{vol} \times E_{move} + O \times E_{compute}$

Символ	Определение	Единица	Примечания
$E_{total}$	Полная энергия	джоули	Полная энергия, потребленная ML-нагрузкой и разложенная на члены перемещения данных и вычислений.
$E_{move}$	Энергия на перемещенный байт	джоули/байт	Эффективная стоимость перемещения; полная энергия зависит также от перемещенных байтов и выполненных операций.
$E_{compute}$	Энергия на операцию	джоули/FLOP	Энергетическая стоимость одной арифметической операции.

Обозначения глубокого обучения

Книга следует стандартным соглашениям глубокого обучения (Goodfellow et al., 2016) с явным различением системных переменных.

Символ	Определение	Размерность/тип
$B$	Размер батча	Целое. Число образцов, обрабатываемых параллельно. (Никогда не пропускная способность.)
$P$	Параметры	Целое. Общее число скалярных параметров модели, включая веса и смещения. (Никогда не пиковые FLOP/s.)
$D$	Размер набора данных	Целое. Число обучающих образцов или токенов. (Никогда не объем данных в байтах — используйте $D_{vol}$ .)
$S$	Длина последовательности	Целое. Число токенов или временных шагов.
$d$	Размерность скрытого состояния	Целое. Размер вектора скрытого состояния.
$d_{head}$	Размерность головы внимания	Целое. Размерность скрытого состояния одной головы в слоях внимания.
$N_{L}$	Число слоев	Целое. Общее число слоев в сети.
$N_{heads}$	Число голов внимания	Целое. Число голов внимания в слое многоголового внимания.
$H_{KV}$	Число голов ключ–значение	Целое. Число голов ключ–значение в групповом (grouped-query) или многозапросном (multi-query) внимании.
$ℓ$	Индекс слоя	Целое. Индекс слоя. Используйте вместо голого $L$ при индексации слоев, потому что $L$ совпадает с потерями и задержкой.
$L$	Функция потерь	Скаляр. Целевая функция, которую минимизируют при обучении.
$η$	Скорость обучения	Скаляр. Размер шага оптимизатора. (Никогда без индекса для эффективности аппаратуры — используйте $η_{hw}$ .)
$θ$	Параметры модели	Набор параметров, часто трактуемый как вектор. Множество всех обучаемых параметров.
$p (x)$	Распределение	Вероятностная масса или плотность случайной величины. Для общих распределений используйте строчное $p (\cdot)$ , чтобы не совпадать с $P$ (число параметров).
$p (y ∣ x)$	Условное распределение	Условная вероятность или плотность. Эту форму используйте для общих зависимостей меток; $P_{0}$ и $P_{t}$ оставьте для обучающего и текущего распределений в уравнении деградации.
$Pr (E)$	Вероятность события	Вероятность события $E$ . Используйте для утверждений о событиях, например $Pr (batch = 0)$ ; для распределений используйте $p (x)$ и $p (y ∣ x)$ .

Латинские матрицы и векторы набираются полужирным ( $W$ , $x$ ); скаляры, размерности, индексы и отдельные элементы матриц остаются курсивом ( $N$ , $d$ , $i$ , $W_{ij}$ ). Общий символ параметров $θ$ — единственное обычное исключение, и он остается курсивом. Локальная матричная алгебра следует тому же правилу полужирного: операнды-матрицы полужирные ( $A$ , $B$ , $C$ ), как в общем матричном умножении (GEMM) $C = α AB + β C$ . Полужирная форма отмечает матричный операнд и отличается от курсивного скалярного размера батча $B$ , который в скалярных контекстах остается размером батча.

Обозначения производительности, обслуживания и памяти

Повторно используемые величины производительности и обслуживания следуют тому же правилу избегания коллизий, что и железный закон. Скорости обозначаются через $R$ или описательные греческие символы; число запросов — через $Q_{req}$ , а не перегруженным $N$ ; загрузка очереди — через $ρ$ с индексом, чтобы голое $ρ$ оставалось доступным для других моделей отношений.

Символ	Определение	Единица/тип	Примечания
$I$	Арифметическая интенсивность	FLOP/байт	FLOP нагрузки на перемещенный байт. Модель Roofline использует $I$ как независимую переменную.
$I_{ridge}$	Точка перехода Roofline	FLOP/байт	$I_{ridge} = R_{peak} / BW$ . Предпочитается эта явная форма вместо краткой записи со звездочкой, чтобы смысл оставался ясным в тексте.
$R_{attain}$	Достижимая скорость вычислений	FLOP/s	Граница Roofline: $R_{attain} \leq min (R_{peak}, I \times BW)$ . Использует $R$ , а не $T$ , потому что величина — скорость.
$MFU$	Утилизация FLOP модели	безразмерная	Полезные FLOP/s модели, деленные на доступные пиковые FLOP/s. Текстовая аббревиатура не перегружает $η$ .
$r_{comp}$	Коэффициент сжатия	безразмерный	Размер без сжатия, деленный на размер после сжатия. Сжатая полезная нагрузка имеет $1/ r_{comp}$ несжатого размера; индекс избегает голого $C$ .
$Q_{req}$	Одновременность запросов	запросы	Среднее число запросов в обработке в устойчивой системе обслуживания ( $Q_{req} = λ_{arr} \cdot T_{lat}$ по закону Литтла). Избегает совпадения с $N$ как числом устройств в распределенных системах.
$λ_{arr}$	Интенсивность прихода	запросы/с	Интенсивность прихода запросов. Индекс избегает совпадения с $λ$ как чувствительностью деградации или интенсивностью отказов.
$T_{lat}$	Время запроса в системе	секунды	Сквозная задержка очереди и обслуживания для закона Литтла. Отличается от $L_{lat}$ , фиксированного члена задержки в железном законе.
$T_{svc} (B)$	Время обслуживания батча	секунды	Время обслуживания батча размера $B$ .
$μ_{eff} (B)$	Эффективная скорость обслуживания	запросы/с	Скорость обслуживания при батчинге, обычно $μ_{eff} (B) = B / T_{svc} (B)$ .
$ρ_{serv}$	Загрузка обслуживания	безразмерная	Загрузка очереди или сервера. Используется вместо голого $ρ$ , которое в распределенных контекстах зарезервировано за отношением коммуникации к вычислениям.
$M_{total}$	Полный объем памяти	байты	Сумма явных компонентов памяти; избегает неоднозначности голого $M$ .
$M_{weights}$	Память весов	байты	Память, занятая параметрами модели.
$M_{gradients}$	Память градиентов	байты	Память, занятая сохраненными градиентами.
$M_{optimizer}$	Память состояния оптимизатора	байты	Моменты, дисперсии, основные веса и другие буферы оптимизатора.
$M_{activations}$	Память активаций	байты	Сохраненные активации для обратного прохода или промежуточные данные обслуживания.
$s_{elem}$	Размер хранения элемента	байты/элемент	Байты на один хранимый элемент тензора.

Единицы измерения и точность

Физические единицы: книга во всем тексте использует метрические единицы СИ — метры, килограммы, секунды, ватты и градусы Цельсия, в соответствии со стандартной инженерной и научной практикой. Если исходные данные были приведены во внесистемных единицах, книга переводит их в СИ и в скобках указывает исходные значения. Между числом и единицей всегда ставится пробел (например, 100 мс, 2 ТБ/с).
Данные и память: книга использует только десятичные приставки СИ: КБ = $1 0^{3}$ байт, МБ = $1 0^{6}$ , ГБ = $1 0^{9}$ , ТБ = $1 0^{12}$ . Двоичные приставки в тексте не встречаются; все емкости, пропускные способности и размеры моделей приводятся в десятичных единицах (например, 80 ГБ, 2 ТБ/с, 102 МБ).
Вычисления: обозначения различают число операций и скорости. Общий объем работы измеряется в FLOP (например, GFLOP, TFLOP), а пропускная способность — в FLOP/s с десятичными приставками (например, GFLOP/s, TFLOP/s).
- 1 TFLOP = $1 0^{12}$ FLOP
- 1 TFLOP/s = $1 0^{12}$ FLOP в секунду
- Арифметическая интенсивность обычно выражается в FLOP/байт как единичное отношение (операции с плавающей запятой на перемещенный байт). Это единица отношения, а не символ общего объема работы или пропускной способности.
Валюта: суммы в долларах обозначаются знаком доллара ($); если не указано иное, стоимости в долларах — это доллары США (USD).
Точность:
- FP64: двойная точность (8 байт)
- FP32: одинарная точность (4 байта)
- TF32: TensorFloat-32 (режим вычислений тензорных ядер с 19-битным представлением; входы и хранение остаются FP32)
- FP16: половинная точность (2 байта, стандартный диапазон)
- BF16: brain float (2 байта, широкий динамический диапазон)
- FP8: четверть точности (1 байт, формат E4M3 или E5M2)
- FP4: 4-битный формат с плавающей запятой
- INT8: 8-битное целое (1 байт)
- INT4: 4-битное целое; более низкие целочисленные точности следуют тому же шаблону записи INTn заглавными буквами (например, INT3, INT2)

Краткая справка: разрешение коллизий

Частые точки коллизий в литературе по системам машинного обучения:

Символ	Значение в ML	Значение в системах	Соглашение книги
$B$	Размер батча	Пропускная способность	Размер батча. Для пропускной способности используйте $BW$ .
$P$	Параметры	Пиковые FLOP/s	Параметры. Для пиковой скорости используйте $R_{peak}$ .
$D$	Размер набора данных	Объем данных	Размер набора данных. Для перемещенных байтов используйте $D_{vol}$ .
$L$	Потери	Задержка	Потери $(L)$ . Для задержки используйте $L_{lat}$ .
$η$	Скорость обучения	Эффективность	Скорость обучения. Для эффективности используйте $η_{hw}$ .

Как общий принцип, соглашения ML имеют приоритет для одиночных букв, тогда как системные понятия получают индексы или многобуквенные символы. Это отражает основную аудиторию (практиков ML, изучающих системы) и сохраняет совместимость с обширной литературой по ML.

Обозначения распределенных систем

Работа с распределенными системами вводит второй слой обозначений для координации, коммуникации и надежности. Некоторые из приведенных ниже символов закреплены за контекстами синхронизации, восстановления и оценки размера градиентов; их централизованное определение сохраняет каноническую форму однозначной там, где они встречаются. Центральное уравнение — закон парка (закон времени распределенного шага):

$T_{step} (N) = \frac{T _{compute}}{N} + T_{comm} (N) + T_{sync} (N) - T_{overlap}$

Символ	Определение	Единица	Примечания
$N$	Число устройств	целое	Число ускорителей в распределенном задании. (Не число параметров, для него используйте $P$ .)
$T_{step} (N)$	Время распределенного шага	секунды	Фактическое время одного шага обучения в масштабе $N$ .
$T_{compute}$	Время вычислений на одном устройстве	секунды	Проходы вперед и назад на одном устройстве.
$T_{comm} (N)$	Время коммуникации	секунды	Время коллективных операций (AllReduce, AllGather). Растет с $N$ .
$T_{overlap}$	Перекрытое время	секунды	Коммуникация, скрытая за вычислениями. Снижает эффективные накладные расходы.
$T_{sync} (N)$	Время синхронизации	секунды	Суммарная неперекрытая стоимость синхронизации или координации на шаг в масштабе $N$ .
$ρ$	Отношение коммуникации к вычислениям	безразмерная	$ρ = T_{comm} (N) / (T_{compute} / N)$ . Значения около 1 и выше указывают на масштабирование, ограниченное коммуникацией.

Модель коммуникации $α$ - $β$

Время сетевой коммуникации раскладывается на фиксированную задержку и передачу, зависящую от пропускной способности:

$T (n) = α + \frac{n}{β}$

Символ	Определение	Единица	Примечания
$T (n)$	Время коммуникации	секунды	Фактическое время передачи сообщения размера $n$ по одному каналу.
$α$	Сетевая задержка	секунды	Фиксированные накладные расходы на сообщение. (Не скорость обучения, контекст снимает неоднозначность.)
$β$	Пропускная способность канала	байт/с	Эффективная пропускная способность на канал.
$n$	Размер сообщения	байты	Размер полезной нагрузки (например, тензора градиентов).
*$n^{}$**	Точка перехода	байты	$n^{} = α \cdot β$ . Ниже $n^{}$ : ограничение задержкой. Выше: ограничение пропускной способностью.

Расширение LogGP

LogGP уточняет модель $α$ - $β$ , разделяя сетевую задержку, накладные расходы процессора и интервалы впрыскивания длинных сообщений. Стандартные названия короткие, но для самого конфликтного члена книга использует описательные индексы.

Символ	Определение	Единица	Примечания
$T_{long} (n)$	Время длинного сообщения в LogGP	секунды	Время передачи длинного сообщения в $n$ байт. Использует $n$ из модели $α$ - $β$ .
$L_{LogGP}$	Сетевая задержка LogGP	секунды	Стандартный параметр задержки LogGP; индекс избегает коллизий с голым $L$ .
$o_{send}$	Накладные расходы отправителя	секунды	Накладные расходы процессора или сетевой карты на инициирование сообщения.
$o_{recv}$	Накладные расходы получателя	секунды	Накладные расходы процессора или сетевой карты на завершение сообщения.
$g$	Интервал впрыскивания сообщений	секунды	Минимальный интервал между последовательными впрыскиваниями сообщений.
$G$	Интервал длинного сообщения на байт	секунды/байт	Интервал длинного сообщения на байт; не путать с пропускной способностью канала $β$ .

Эффективность масштабирования

$η_{scaling} = \frac{T _{1}}{N \times T _{N}}$

Символ	Определение	Единица	Примечания
$η_{scaling}$	Эффективность масштабирования	безразмерная	Отношение измеренного ускорения к идеальному линейному. Значение $1, 0$ — идеальная линейная база, а не жесткая верхняя граница.
$T_{1}$	Время на одном устройстве	секунды	Базовое фактическое время той же полезной работы на одном устройстве.
$T_{N}$	Время на $N$ устройствах	секунды	Фактическое время той же полезной работы на $N$ устройствах; не включает операционный простой, учитываемый в $η_{goodput}$ .

Отказоустойчивость и надежность

Надежность системы деградирует с масштабом. При независимых компонентах с экспоненциальным распределением отказов надежность системы из $N$ компонентов равна:

$R_{system} (t) = e^{- N λ t}$

В суммарном показателе экспоненты используется интенсивность отказов на уровне системы $N λ$ , где $λ$ — интенсивность отказов одного компонента при допущении независимых одинаковых компонентов. Показатель $N λ t$ безразмерен, поэтому $t$ должно измеряться в тех же единицах времени, что и $λ$ (в часах, когда $λ$ получена из приведенных ниже интенсивностей в единицах FIT).

Оптимальный интервал контрольных точек уравновешивает стоимость ввода-вывода и стоимость повторной работы:

$τ_{opt} = 2 \cdot T_{write} \cdot MTBF_{system}$

В формуле используется среднее время между отказами (MTBF) всей системы (интервал между отказами для всего задания), а не MTBF компонента; подстановка значения компонента завысила бы $τ_{opt}$ в $N$ раз. Для согласованности размерностей $T_{write}$ и $MTBF_{system}$ должны быть в одних и тех же единицах времени. Стандартный в отрасли $MTBF$ указывают в часах; чтобы объединить его со временем записи в масштабе секунд, выполните пересчет: $MTBF_{s} = MTBF_{h} \times 3600$ . Результат $τ_{opt}$ затем выражается в тех же единицах времени, что выбраны для входных данных.

Символ	Определение	Единица	Примечания
$R_{system} (t)$	Функция надежности	вероятность	Вероятность отсутствия отказов во всей системе до момента $t$ .
$λ$	Интенсивность отказов компонента	отказов/час	Интенсивность отказов одного компонента; интенсивность отказов системы равна $N λ$ при независимых одинаковых компонентах. Стандартная отраслевая единица — FIT (отказов на $1 0^{9}$ устройство-часов): $λ_{hour} = FIT \times 1 0^{- 9}$ . (Не чувствительность — контекст снимает неоднозначность.)
$MTBF$	Среднее время между отказами	часы	Среднее время между последовательными отказами. $MTBF_{system} = MTBF_{component} / N$ .
$MTTF$	Среднее время до отказа	часы	Показатель срока службы компонента, выведенный из интенсивностей FIT. Отличается от $MTBF$ системы, когда моделируются циклы ремонта или замены.
$MTTR$	Среднее время восстановления	часы	Среднее время восстановления после отказа.
$τ_{opt}$	Оптимальный интервал контрольных точек	секунды	Формула Янга–Дэйли. Минимизирует суммарное потерянное время.
$T_{write}$	Время записи контрольной точки	секунды	Время сохранения состояния модели в хранилище.

Измерения параллелизма

3D-параллелизм разбивает нагрузку обучения по трем ортогональным измерениям:

$N_{total} = d \times p \times t$

Символ	Определение	Единица	Примечания
$N_{total}$	Общее число устройств	целое	Произведение трех измерений параллелизма. Общее число ускорителей в задании.
$d$	Параллелизм по данным	целое	Число реплик модели. (Также скрытая размерность, контекст снимает неоднозначность.)
$p$	Физические стадии конвейера	целое	Число физических стадий конвейера при разбиении по глубине модели.
$t$	Тензорный параллелизм	целое	Степень внутрислойного разбиения (по ширине модели). (Также время, контекст снимает неоднозначность.)
$m$	Число микробатчей	целое	Число микробатчей, которыми заполняют и опустошают конвейер.
$b_{pipe}$	Доля пузыря конвейера	безразмерная	Доля времени GPU конвейера, проведенная в простое; избегает голого $b$ .
$V$	Виртуальные стадии конвейера на устройство	целое	Число чередующихся виртуальных фрагментов, назначенных каждой физической стадии конвейера.
$M$	Размер полезной нагрузки сообщения	байты	Общий размер градиента, состояния модели, активации или сжатой полезной нагрузки сообщения для передачи.

Факторы емкости парка

Расчеты емкости в масштабе парка перемножают эффективность модели на одном устройстве, эффективность масштабирования продуктивных шагов и операционную полезную загрузку (goodput), измеряемую вне этих шагов.

Символ	Определение	Единица	Примечания
$f_{compute}$	Доля полезного времени вычислений	безразмерная	$(T_{compute} / N) / T_{step} (N)$ . Показывает, какая часть времени шага приходится на полезную локальную арифметику после распределения.
$f_{overhead}$	Доля операционных накладных расходов	безразмерная	Доля выделенного фактического времени, потерянная вне продуктивных шагов, измеряемых $T_{N}$ : паузы на контрольные точки, восстановление после отказов, вытеснение планировщиком или обслуживание.
$η_{goodput}$	Коэффициент goodput	безразмерная	Доля выделенного фактического времени, остающаяся после потерь вне шагов, учтенных в $f_{overhead}$ ; часто $η_{goodput} = 1 - f_{overhead}$ .
$R_{eff}$	Эффективная пропускная способность парка	FLOP/с	$R_{eff} = (N R_{peak}) \times MFU \times η_{scaling} \times η_{goodput}$ , где $MFU$ — база на одном устройстве, $η_{scaling}$ отражает все потери масштабирования внутри шага, а $η_{goodput}$ — только операционные потери вне шагов, исключенные из $T_{N}$ .

Экономика сжатия

Модели сжатия сравнивают накладные расходы кодека со временем коммуникации, сэкономленным за счет уменьшения полезной нагрузки.

Символ	Определение	Единица	Примечания
$T_{transfer} (x)$	Время передачи полезной нагрузки $x$	секунды	Время коммуникации для полезной нагрузки в $x$ байт в соответствующей модели канала или коллективной операции.
$T_{compressed}$	Время коммуникации со сжатием	секунды	Суммарное время после кодирования, передачи $M / r_{comp}$ и декодирования.
$T_{encode}$	Время кодирования кодеком	секунды	Локальные накладные расходы сжатия перед передачей.
$T_{decode}$	Время декодирования кодеком	секунды	Локальные накладные расходы распаковки после передачи.

Память обслуживания в масштабе

Символ	Определение	Единица	Примечания
$M_{KV}$	Память KV-кэша	байты	Объем кэша ключей и значений при авторегрессивном обслуживании.

Дополнительные точки коллизий

Распределенный контекст вносит дополнительные коллизии символов сверх отмеченных в базовых обозначениях:

Символ	Значение в ML	Значение в распределенных системах	Соглашение книги
$N$	—	Число устройств	Число устройств в распределенном контексте (ускорители, а не хост-узлы).
$λ$	Чувствительность	Интенсивность отказов	Зависит от контекста. Чувствительность при деградации; интенсивность отказов в надежности.
$d$	Скрытая размерность	Степень параллелизма по данным	Зависит от контекста. Параллелизм в 3D-обозначениях; скрытая размерность в архитектурах.
$t$	—	Тензорный параллелизм / время	Зависит от контекста. Тензорный параллелизм в 3D-обозначениях; время в надежности.
$τ$	Порог дрейфа	Локальный интервал / задержка	Избегайте голого повторного использования. Используйте $τ_{ckpt}$ для общих интервалов контрольных точек, $τ_{opt}$ для оптимума Янга–Дэйли и $τ_{stale}$ для устаревания градиентов.

Дополнительные единицы

Пропускная способность сети: указывается и в байтах в секунду (ГБ/с, ТБ/с), и в битах в секунду (Гбит/с) в зависимости от соглашения. Спецификации InfiniBand и Ethernet используют Гбит/с; пропускная способность на уровне приложений — ГБ/с. Соглашение отмечается при первом использовании.
Мощность в контекстах устойчивости: физическая мощность может обозначаться явно индексированными переменными $P_{\dots}$ (например, $P_{IT}$ , $P_{dynamic}$ , $P_{average}$ ), когда окружающий раздел посвящен мощности или энергии. Голое $P$ остается зарезервированным за числом параметров.

Keyboard shortcuts

Масштабирование систем машинного обучения