Обозначения

Инженерия ML-систем соединяет машинное обучение (информатику и статистику) и системы (архитектуру компьютеров и аппаратуру). Каждая из этих областей выработала свои обозначения независимо, и многие символы означают разное в разных сообществах и публикациях. Это столкновение создает реальную путаницу, когда дисциплины сливаются. Приведенные ниже соглашения вводят единое обозначение, которое устраняет эту неоднозначность.

Рассмотрим простое утверждение: «Увеличение $B$ повышает пропускную способность». Для исследователя ML $B$ означает размер батча. Для инженера-аппаратчика $B$ означает пропускную способность. Обе трактовки верны в своих областях, но в ML-системах нам нужны оба понятия в одном уравнении — отсюда необходимость единого последовательного соглашения.

Железный закон систем машинного обучения

Для последовательных фаз исполнения декомпозиция производительности по железному закону такова:

$T = Время памяти \frac{D _{vol}}{BW} + Время вычислений \frac{O}{R _{peak} \cdot η _{hw}} + Накладные расходы задержки L_{lat}$

Каждая переменная выбрана намеренно, чтобы не совпадать с обычной ML-терминологией.

Символ	Определение	Единица	Почему именно этот символ?
$T$	Время	секунды	Однозначно. Фактическое время выполнения операции.
$D_{vol}$	Объем данных	байты	Избегает совпадения с $D$ (размер набора данных). В законах масштабирования $D$ означает обучающие токены. Здесь нам нужны байты, прошедшие через память. Индекс устраняет неоднозначность.
$BW$	Пропускная способность	байт/с	Избегает совпадения с $B$ (размер батча). В литературе по системам $B$ часто означает пропускную способность, а в ML — размер батча. Обозначение сохраняет соглашение ML.
$O$	Операции	FLOP	Общее число операций с плавающей запятой. Аккуратно выглядит в формулах (в отличие от « $Ops$ »).
$R_{peak}$	Пиковая скорость	FLOP/s	Избегает совпадения с $P$ (параметры). В презентациях Roofline для производительности часто используют $P$ , а в ML — для числа параметров. Обозначение сохраняет соглашение ML.
$η_{hw}$	Эффективность	—	Загрузка аппаратуры $(0 \leq η_{hw} \leq 1)$ . Избегает совпадения со скоростью обучения $(η)$ .
$L_{lat}$	Задержка	секунды	Избегает совпадения с $L$ (функция потерь). Фиксированное время накладных расходов (запуск ядра, RTT сети). Индекс отличает его от функции потерь.

Почему эти выборы важны

Без аккуратных обозначений предложения становятся двусмысленными:

«Уменьшение $D$ улучшает производительность».

У предложения два возможных прочтения:

Уменьшение размера набора данных (меньше обучающих примеров) может ускорить обучение, но может снизить точность.
Уменьшение перемещаемого объема данных (например, за счет сжатия или квантования) может ускорить вывод, а влияние на точность зависит от метода и калибровки.

С нашими обозначениями можно записать точно:

«Уменьшение $D_{vol}$ за счет квантования FP32 в INT8 сокращает трафик памяти параметров вчетверо, а $D$ (обучающие данные) остается неизменным».

Наше обозначение устраняет эту неоднозначность: « $BW$ ограничивает пропускную способность» допускает только одно прочтение.

Варианты с индексами

Прямой корень называет величину, а индекс указывает, какой ее экземпляр имеется в виду. Соглашение разводит близкие измерения по разным обозначениям, не сводя их к одному символу:

$BW_{disk}$ , $BW_{network}$ , $BW_{accelerator}$ : пропускная способность в трех точках пути данных
$D_{vol}$ , $R_{peak}$ , $L_{lat}$ , $η_{hw}$ : члены железного закона, каждый из которых отделен от общего ML-символа
$E_{move}$ , $E_{compute}$ , $E_{total}$ : один энергетический бюджет, разделенный на части, которые можно обменивать

Поэтому индекс несет часть утверждения. Пропускные способности диска и ускорителя различаются на порядки, поэтому значение воспроизводимо только тогда, когда индекс говорит, где было выполнено измерение.

Уравнение деградации

Уравнение деградации — подогнанная локальная модель. Одно лишь расхождение не определяет направление изменения точности, поэтому $λ$ оценивается по размеченным исходам. Некоторые символы ниже, например $τ$ , встречаются в тексте глав, а не в уравнении.

$Точность (t) \approx Точность_{0} - λ \cdot D (P_{t} ∥ P_{0})$

Символ	Определение	Единица/тип	Примечания
$Точность (t)$	Точность в момент $t$	скаляр	Точность модели после того, как она проработала в эксплуатации время $t$ .
$Точность_{0}$	Начальная точность	скаляр	Точность модели в момент развертывания.
$λ$	Подогнанная чувствительность	скаляр	Локальный коэффициент, оцененный по исходам на заявленном диапазоне; не универсальная константа. (Не длина волны.)
$P_{t}$	Текущее распределение	распределение	Распределение данных в момент $t$ . (Не параметры — для числа параметров используйте $P$ .)
$P_{0}$	Обучающее распределение	распределение	Распределение данных в момент обучения.
$D (P_{t} ∥ P_{0})$	Статистическое расхождение	скаляр $\geq 0$	Измеряет, насколько $P_{t}$ ушло от $P_{0}$ . Обычные варианты: расхождение Кульбака–Лейблера, полная вариация, расстояние Вассерштейна. (Каллиграфический, чтобы не совпадать с $D$ = размер набора данных.)
$τ$	Порог реакции	скаляр $> 0$	Эксплуатационный порог для расследования; он не запускает переобучение автоматически.

Следствие для энергии

При эффективных стоимостях на байт и на операцию энергия нагрузки приближенно равна:

$E_{total} \approx D_{vol} \times E_{move} + O \times E_{compute}$

Символ	Определение	Единица	Примечания
$E_{total}$	Полная энергия	джоули	Полная энергия, потребленная ML-нагрузкой и разложенная на члены перемещения данных и вычислений.
$E_{move}$	Энергия на перемещенный байт	джоули/байт	Эффективная стоимость перемещения; полная энергия зависит также от перемещенных байтов и выполненных операций.
$E_{compute}$	Энергия на операцию	джоули/FLOP	Энергетическая стоимость одной арифметической операции.

Обозначения глубокого обучения

Книга следует стандартным соглашениям глубокого обучения (Goodfellow et al., 2016) с явным различением системных переменных.

Символ	Определение	Размерность/тип
$B$	Размер батча	Целое. Число образцов, обрабатываемых параллельно. (Никогда не пропускная способность.)
$P$	Параметры	Целое. Общее число скалярных параметров модели, включая веса и смещения. (Никогда не пиковые FLOP/s.)
$D$	Размер набора данных	Целое. Число обучающих образцов или токенов. (Никогда не объем данных в байтах — используйте $D_{vol}$ .)
$S$	Длина последовательности	Целое. Число токенов или временных шагов.
$d$	Размерность скрытого состояния	Целое. Размер вектора скрытого состояния.
$d_{head}$	Размерность головы внимания	Целое. Размерность скрытого состояния одной головы в слоях внимания.
$N_{L}$	Число слоев	Целое. Общее число слоев в сети.
$N_{heads}$	Число голов внимания	Целое. Число голов внимания в слое многоголового внимания.
$H_{KV}$	Число голов ключ–значение	Целое. Число голов ключ–значение в групповом (grouped-query) или многозапросном (multi-query) внимании.
$ℓ$	Индекс слоя	Целое. Индекс слоя. Используйте вместо голого $L$ при индексации слоев, потому что $L$ совпадает с потерями и задержкой.
$L$	Функция потерь	Скаляр. Целевая функция, которую минимизируют при обучении.
$η$	Скорость обучения	Скаляр. Размер шага оптимизатора. (Никогда без индекса для эффективности аппаратуры — используйте $η_{hw}$ .)
$θ$	Параметры модели	Набор параметров, часто трактуемый как вектор. Множество всех обучаемых параметров.
$p (x)$	Распределение	Вероятностная масса или плотность случайной величины. Для общих распределений используйте строчное $p (\cdot)$ , чтобы не совпадать с $P$ (число параметров).
$p (y ∣ x)$	Условное распределение	Условная вероятность или плотность. Эту форму используйте для общих зависимостей меток; $P_{0}$ и $P_{t}$ оставьте для обучающего и текущего распределений в уравнении деградации.
$Pr (E)$	Вероятность события	Вероятность события $E$ . Используйте для утверждений о событиях, например $Pr (batch = 0)$ ; для распределений используйте $p (x)$ и $p (y ∣ x)$ .

Латинские матрицы и векторы набираются полужирным ( $W$ , $x$ ); скаляры, размерности, индексы и отдельные элементы матриц остаются курсивом ( $N$ , $d$ , $i$ , $W_{ij}$ ). Общий символ параметров $θ$ — единственное обычное исключение, и он остается курсивом. Локальная матричная алгебра следует тому же правилу полужирного: операнды-матрицы полужирные ( $A$ , $B$ , $C$ ), как в общем матричном умножении (GEMM) $C = α AB + β C$ . Полужирная форма отмечает матричный операнд и отличается от курсивного скалярного размера батча $B$ , который в скалярных контекстах остается размером батча.

Обозначения производительности, обслуживания и памяти

Повторно используемые величины производительности и обслуживания следуют тому же правилу избегания коллизий, что и железный закон. Скорости обозначаются через $R$ или описательные греческие символы; число запросов — через $Q_{req}$ , а не перегруженным $N$ ; загрузка очереди — через $ρ$ с индексом, чтобы голое $ρ$ оставалось доступным для других моделей отношений.

Символ	Определение	Единица/тип	Примечания
$I$	Арифметическая интенсивность	FLOP/байт	FLOP нагрузки на перемещенный байт. Модель Roofline использует $I$ как независимую переменную.
$I_{ridge}$	Точка перехода Roofline	FLOP/байт	$I_{ridge} = R_{peak} / BW$ . Предпочитается эта явная форма вместо краткой записи со звездочкой, чтобы смысл оставался ясным в тексте.
$R_{attain}$	Достижимая скорость вычислений	FLOP/s	Граница Roofline: $R_{attain} \leq min (R_{peak}, I \times BW)$ . Использует $R$ , а не $T$ , потому что величина — скорость.
$MFU$	Утилизация FLOP модели	безразмерная	Полезные FLOP/s модели, деленные на доступные пиковые FLOP/s. Текстовая аббревиатура не перегружает $η$ .
$r_{comp}$	Коэффициент сжатия	безразмерный	Размер без сжатия, деленный на размер после сжатия. Сжатая полезная нагрузка имеет $1/ r_{comp}$ несжатого размера; индекс избегает голого $C$ .
$Q_{req}$	Одновременность запросов	запросы	Среднее число запросов в обработке в устойчивой системе обслуживания ( $Q_{req} = λ_{arr} \cdot T_{lat}$ по закону Литтла). Избегает совпадения с $N$ как числом устройств в распределенных системах.
$λ_{arr}$	Интенсивность прихода	запросы/с	Интенсивность прихода запросов. Индекс избегает совпадения с $λ$ как чувствительностью деградации или интенсивностью отказов.
$T_{lat}$	Время запроса в системе	секунды	Сквозная задержка очереди и обслуживания для закона Литтла. Отличается от $L_{lat}$ , фиксированного члена задержки в железном законе.
$T_{svc} (B)$	Время обслуживания батча	секунды	Время обслуживания батча размера $B$ .
$μ_{eff} (B)$	Эффективная скорость обслуживания	запросы/с	Скорость обслуживания при батчинге, обычно $μ_{eff} (B) = B / T_{svc} (B)$ .
$ρ_{serv}$	Загрузка обслуживания	безразмерная	Загрузка очереди или сервера. Используется вместо голого $ρ$ , которое в распределенных контекстах зарезервировано за отношением коммуникации к вычислениям.
$M_{total}$	Полный объем памяти	байты	Сумма явных компонентов памяти; избегает неоднозначности голого $M$ .
$M_{weights}$	Память весов	байты	Память, занятая параметрами модели.
$M_{gradients}$	Память градиентов	байты	Память, занятая сохраненными градиентами.
$M_{optimizer}$	Память состояния оптимизатора	байты	Моменты, дисперсии, основные веса и другие буферы оптимизатора.
$M_{activations}$	Память активаций	байты	Сохраненные активации для обратного прохода или промежуточные данные обслуживания.
$s_{elem}$	Размер хранения элемента	байты/элемент	Байты на один хранимый элемент тензора.

Единицы измерения и точность

Физические единицы: книга во всем тексте использует метрические единицы СИ — метры, килограммы, секунды, ватты и градусы Цельсия, в соответствии со стандартной инженерной и научной практикой. Если исходные данные были приведены во внесистемных единицах, книга переводит их в СИ и в скобках указывает исходные значения. Между числом и единицей всегда ставится пробел (например, 100 мс, 2 ТБ/с).
Данные и память: книга использует только десятичные приставки СИ: КБ = $1 0^{3}$ байт, МБ = $1 0^{6}$ , ГБ = $1 0^{9}$ , ТБ = $1 0^{12}$ . Двоичные приставки в тексте не встречаются; все емкости, пропускные способности и размеры моделей приводятся в десятичных единицах (например, 80 ГБ, 2 ТБ/с, 102 МБ).
Вычисления: обозначения различают число операций и скорости. Общий объем работы измеряется в FLOP (например, GFLOP, TFLOP), а пропускная способность — в FLOP/s с десятичными приставками (например, GFLOP/s, TFLOP/s).
- 1 TFLOP = $1 0^{12}$ FLOP
- 1 TFLOP/s = $1 0^{12}$ FLOP в секунду
- Арифметическая интенсивность обычно выражается в FLOP/байт как единичное отношение (операции с плавающей запятой на перемещенный байт). Это единица отношения, а не символ общего объема работы или пропускной способности.
Валюта: суммы в долларах обозначаются знаком доллара ($); если не указано иное, стоимости в долларах — это доллары США (USD).
Точность:
- FP64: двойная точность (8 байт)
- FP32: одинарная точность (4 байта)
- TF32: TensorFloat-32 (режим вычислений тензорных ядер с 19-битным представлением; входы и хранение остаются FP32)
- FP16: половинная точность (2 байта, стандартный диапазон)
- BF16: brain float (2 байта, широкий динамический диапазон)
- FP8: четверть точности (1 байт, формат E4M3 или E5M2)
- FP4: 4-битный формат с плавающей запятой
- INT8: 8-битное целое (1 байт)
- INT4: 4-битное целое; более низкие целочисленные точности следуют тому же шаблону записи INTn заглавными буквами (например, INT3, INT2)

Краткая справка: разрешение коллизий

Частые точки коллизий в литературе по системам машинного обучения:

Символ	Значение в ML	Значение в системах	Соглашение книги
$B$	Размер батча	Пропускная способность	Размер батча. Для пропускной способности используйте $BW$ .
$P$	Параметры	Пиковые FLOP/s	Параметры. Для пиковой скорости используйте $R_{peak}$ .
$D$	Размер набора данных	Объем данных	Размер набора данных. Для перемещенных байтов используйте $D_{vol}$ .
$L$	Потери	Задержка	Потери $(L)$ . Для задержки используйте $L_{lat}$ .
$η$	Скорость обучения	Эффективность	Скорость обучения. Для эффективности используйте $η_{hw}$ .

Как общий принцип, соглашения ML имеют приоритет для одиночных букв, тогда как системные понятия получают индексы или многобуквенные символы. Это отражает основную аудиторию (практиков ML, изучающих системы) и сохраняет совместимость с обширной литературой по ML.

Keyboard shortcuts

Введение в системы машинного обучения