Системные допущения

Прикидочный расчет заслуживает доверия только настолько, насколько доверяемы его входные данные, а их легко потерять из виду: пиковая скорость ускорителя, число параметров модели, стоимость электроэнергии, энергия одной операции. Это приложение собирает канонические значения и соглашения о единицах в один справочный лист, чтобы любую количественную оценку в книге можно было проверить, обновить новыми данными или сверить между главами. Здесь также зафиксированы соглашения о единицах, от которых зависят эти оценки. Главы могут рассуждать на основе чисел, не повторяя, откуда каждое из них взято.

Как пользоваться этим приложением

Когда глава утверждает, что у H100 есть определенная точка перехода, или что обучение модели на 7 млрд параметров требует определенного объема памяти, лежащие в основе пропускные способности, емкости и размеры моделей перечислены здесь. Локальная оценка может использовать соответствующие записи «Значение» и «Единица». Таблицы сгруппированы по темам: ускорители, справочные модели, энергия обращения, пропускная способность межсоединений, экономика, опорные величины производственного масштаба и соглашения о единицах. Допущения взяты из паспортных пиковых значений производителей, опубликованных исследований или отраслевых отчетов, иллюстративной статистики рынка или сетей электроснабжения и соглашений книги; «Происхождение допущений» сводит происхождение всех их в одном месте.

Расчеты ниже показывают, какие допущения доминируют в каждой оценке, поэтому изменение характеристики аппаратуры или цены может распространиться без изменения метода.

Константы этого приложения поддерживают быстрые и воспроизводимые расчеты. Три примера ниже применяют их к производительности, емкости и стоимости.

Классифицировать режим Roofline

Задача: Для заданных H100 и интенсивностей нагрузок: какие операции ограничены вычислениями, а какие — памятью?

Исходные данные: Для H100 при пике FP16/BF16 используйте пиковую скорость вычислений 989 TFLOP/s и пропускную способность памяти 3,35 ТБ/с.

Расчет: Разделите пиковые FLOP/s на пропускную способность памяти, чтобы получить точку перехода Roofline: 989 TFLOP/s/3,35 ТБ/с $\approx$ 295,2 FLOP/байт. Большое обобщенное матричное умножение (GEMM) при $n=$ 4 096 имеет интенсивность $n/3\approx$ 1 365,3 FLOP/байт.

Результат: Операции выше 295,2 FLOP/байт ограничены вычислениями; операции ниже — памятью. Пример GEMM ограничен вычислениями, тогда как одношаговое авторегрессионное декодирование с интенсивностью $\approx 1$ FLOP/байт сильно ограничено памятью.

Системный вывод: Тот же ускоритель может быть богат вычислениями и одновременно ограничен памятью. Арифметическая интенсивность определяет, какой ресурс нагрузка действительно потребляет.

Пропускная способность — лишь одно ограничение. Обучению также нужна достаточная емкость для весов, градиентов и состояния оптимизатора.

Оценить память состояния обучения

Задача: Сколько памяти состояния модели требуется, чтобы обучить модель на 7 млрд параметров с оптимизатором Adaptive Moment Estimation (Adam) в смешанной точности?

Исходные данные: Adam в смешанной точности хранит веса BF16, градиенты, мастер-веса FP32, моменты и дисперсию. Бюджет состояния модели составляет 16 байт на параметр.

Расчет: Для 7 млрд параметров состояние модели равно 7 $\times 10^9\times$ 16 байт = 112 ГБ.

Результат: У H100 есть 80 ГБ памяти с высокой пропускной способностью (HBM), поэтому одно только состояние модели превышает емкость одного ускорителя еще до учета активаций.

Системный вывод: Состояние оптимизатора, а не только веса, задает нижнюю границу памяти обучения. Планирование емкости, которое начинается с байтов параметров, занижает реальные требования.

Умещение модели в памяти устанавливает осуществимость, но не эксплуатационную стоимость. Мощность и время работы дают остальные величины для первой оценки стоимости электроэнергии.

Оценить стоимость электроэнергии ускорителей

Задача: Какова стоимость электроэнергии только ускорителей для сценария уровня GPT-3, описанного в редакционном порядке?

Исходные данные: Используйте 1 024 A100, 400 Вт на ускоритель, ~25 дней календарного времени и тариф электроэнергии $0,12/кВт·ч.

Расчет: Запуск требует около $3,14\times 10^{23}$ FLOP. Оценка стоимости электроэнергии в эквиваленте A100: ~25 дней календарного времени $\times$ 1 024 A100 $\times$ 24 ч/сутки $\times$ 0,4 кВт $\times$ $0,12/кВт·ч = ~$29 491,2.

Результат: Стоимость электроэнергии только ускорителей составляет примерно $29 491,2. Эта оценка только по расчетной тепловой мощности (TDP) ускорителей исключает центральные процессоры хоста, сеть, хранилище, охлаждение и накладные расходы объекта. Исходный запуск GPT-3 использовал инфраструктуру уровня V100; это редакционный сценарий в эквиваленте A100, а не сообщаемая конфигурация и не длительность, выведенная из одних лишь пиковых FLOP/s.

Системный вывод: Энергию можно измерить по мощности и времени, но полный учет стоимости должен также включать загрузку капитальных затрат, сеть, хранилище, персонал и неудачные или повторные запуски.

Характеристики ускорителей

Это допущения об ускорителях, которые используются в примерах книги по Roofline, памяти обучения, энергии и стоимости: пиковая пропускная способность, пропускная способность памяти, емкость памяти и TDP для каждого поколения, на которое ссылаются главы. Значения — паспортные пиковые показатели производителей, то есть потолки для прикидочных расчетов, а не устойчивая загрузка. Они взяты из документации NVIDIA и архитектурных статей IEEE Micro (NVIDIA Corporation, 2017; NVIDIA Corporation, 2020; NVIDIA Corporation, 2020; NVIDIA Corporation, 2021; Choquette et al., 2021; Choquette, 2023; NVIDIA Corporation, 2018; NVIDIA Corporation, 2024), документации AMD MI300X (AMD, 2023), публикаций о тензорных процессорах Google (TPU) (Jouppi et al., 2023) и текущей спецификации Google Cloud для TPU v6e (Google Cloud, 2026). Строки емкости сохраняют официальные паспортные значения в десятичных ГБ. Таблицы идут от «NVIDIA V100 (Volta)» (Volta) и «NVIDIA T4 (Turing)» (Turing) к текущим и перспективным поколениям.

Сводная матрица характеристик ускорителей

Сводная матрица ускорителей в «Сводной матрице характеристик ускорителей» объединяет характеристики основных GPU, TPU, пластинных (wafer-scale) и предметно-ориентированных ускорителей ИИ.

Сводная матрица характеристик ускорителей: полная справочная матрица, сравнивающая промышленное ИИ-оборудование по архитектурам, технологическим нормам, TDP, пиковой пропускной способности вычислений для нескольких точностей (от FP64 до INT8), емкости и пропускной способности памяти, объему SRAM на кристалле и точке перехода Roofline для FP16 ($I_{\text{ridge}}=\text{пиковые FP16 TFLOP/s}/\text{пропускная способность памяти (ТБ/с)}$).

NVIDIA V100

NVIDIA V100 (Volta): пиковые характеристики из архитектурного документа NVIDIA и паспорта продукта (NVIDIA Corporation, 2017; NVIDIA Corporation, 2020). V100 ввел тензорные ядра для обучения в смешанной точности и служит базовой точкой сравнения поколений.

NVIDIA T4

NVIDIA T4 (Turing): пиковые характеристики из документации продукта NVIDIA Tesla T4 (NVIDIA Corporation, 2018). TDP 70 Вт делает этот маломощный ускоритель вывода полезной опорой для стоимости одного вывода.

NVIDIA A100

Характеристики поколения Ampere («NVIDIA A100 (Ampere)») служат опорой для большинства примеров обучения в книге.

NVIDIA A100 (Ampere): пиковые характеристики из архитектурного документа NVIDIA, паспорта 80 ГБ и архитектурной статьи (NVIDIA Corporation, 2020; NVIDIA Corporation, 2021; Choquette et al., 2021). A100 — наиболее часто упоминаемый ускоритель в примерах обучения; 80 ГБ HBM2e и тензорные ядра TF32 задают опоры по емкости памяти и вычислительной интенсивности.

NVIDIA H100

Для оценок эпохи Hopper справочные значения включают тензорные ядра FP8 и Transformer Engine («NVIDIA H100 (Hopper)»).

NVIDIA H100 (Hopper): пиковые характеристики из обзора архитектуры Hopper (Choquette, 2023). Тензорные ядра FP8 и Transformer Engine определяют оценки обучения и обслуживания поколения Hopper.

NVIDIA B200

Перспективные примеры планирования емкости опираются на характеристики поколения Blackwell («NVIDIA B200 (Blackwell)»).

NVIDIA B200 (Blackwell): пиковые характеристики из документации продуктов NVIDIA Blackwell (NVIDIA Corporation, 2024). Перспективные примеры планирования емкости используют пропускную способность HBM3e и пропускную способность FP8.

AMD Instinct MI300X

Для сравнения с аппаратурой класса H100, используемой в других местах, характеристики емкости, пропускной способности, производительности и мощности MI300X дают межвендорную базовую линию («AMD Instinct MI300X»).

AMD Instinct MI300X: пиковые характеристики из документации продукта AMD Instinct MI300X (AMD, 2023). Большая емкость HBM (192 ГБ) и пропускная способность делают его частой межвендорной базой для нагрузок, ограниченных памятью.

Google TPU v4 и v6e

При сравнении экономики обучения семейств ускорителей показатели TPU предлагают альтернативу на основе специализированной интегральной схемы (ASIC) («Google TPU v4 и v6e (Trillium)»).

Google TPU v4 и v6e (Trillium): значения TPU v4 взяты из публикаций Google о TPU (Jouppi et al., 2023), а значения TPU v6e — из текущей спецификации Trillium на странице Google Cloud (Google Cloud, 2026).

Процессоры CPU, мобильные и периферийные

Примеры периферийного и мобильного ИИ опираются на иную базу производительности («Характеристики CPU, мобильных NPU и периферийных устройств»); она резко контрастирует с производительностью дата-центров и иллюстрирует, почему целевая среда развертывания определяет каждое проектное решение.

Характеристики CPU, мобильных NPU и периферийных устройств: иллюстративные опорные точки для периферийных и мобильных примеров (не паспортные пики одной модели). Контраст с ускорителями дата-центров показывает, почему целевая среда развертывания определяет каждое проектное решение.

Характеристики моделей

Это справочные допущения о моделях, лежащие в основе примеров стоимости обучения, объема памяти и нагрузки вывода: число параметров, бюджеты FLOP на один вывод и опорные величины масштаба обучения из публикаций. Размеры опубликованных моделей следуют первоисточникам, отчетам о моделях и официальной документации (Devlin et al., 2019; Radford et al., 2019; Brown et al., 2020; Dubey et al., 2024; He et al., 2016; Sandler et al., 2018; Ultralytics, 2023). Бюджеты FLOP на вывод — производные значения книги: для BERT-Base использована длина последовательности 128, для ResNet-50 и MobileNetV2 — изображения 224 $\times$ 224, для YOLOv8-Nano — 640 $\times$ 640; для моделей зрения учитываются два FLOP на умножение с накоплением. Затраты FLOP на обучение GPT-3 следуют Brown et al. (2020); сочетание 25 дней и 1 024 A100 — редакционное. Число параметров GPT-4 и GPU-дни обучения — публичные оценки смеси экспертов (MoE) от сторонних аналитиков (Patel and Wong, 2023), поскольку технический отчет GPT-4 не раскрывает размер архитектуры. Когда глава оценивает время обучения уровня GPT-3, она использует «Справочные характеристики моделей».

Справочные характеристики моделей: число параметров и бюджеты FLOP для разобранных примеров. Строки BERT, GPT-2, GPT-3, Llama, ResNet-50, MobileNetV2 и YOLOv8 опираются на первоисточники, отчеты о моделях или официальную документацию (Devlin et al., 2019; Radford et al., 2019; Brown et al., 2020; Dubey et al., 2024; He et al., 2016; Sandler et al., 2018; Ultralytics, 2023). Строки GPT-4 ссылаются на официальное семейство моделей (OpenAI et al., 2023) и на публичные оценки параметров MoE и GPU-дней (Patel and Wong, 2023), использованные в этом издании.

Соглашения о памяти обучения

Расчет памяти обучения предполагает модель хранения Adam в смешанной точности, которая используется в блоке «Расчет на салфетке» и в нескольких главах об обучении: веса BF16, градиенты BF16 и мастер-веса FP32 плюс буферы первого и второго моментов Adam (всего 16 байт на параметр). Это соглашение книги, а не измеренная константа аппаратуры. Путь данных BF16 следует установившейся практике смешанной точности BFLOAT16 (Kalamkar et al., 2019); схема мастер-весов FP32 следует более ранней работе с FP16 (Micikevicius et al., 2017; NVIDIA, 2017), а буферы первого и второго моментов Adam — Kingma and Ba (2015). «Соглашения о памяти обучения» перечисляет ширину байтов по компонентам; умножение байтов на параметр (Adam в смешанной точности) на число параметров дает объем состояния обучения без учета активаций.

Соглашения о памяти обучения: хранение на параметр для Adam в смешанной точности (2 + 2 + 12 = 16 байт до учета активаций). Соглашение книги для прикидочных расчетов; контекст обучения в смешанной точности см. в NVIDIA (2017).

Допущения об аппаратуре и моделях фиксируют, что и где выполняется; допущения об энергии определяют, жизнеспособен ли проект с точки зрения тепла и экономики на уровне операций и обращений к памяти.

Энергетические константы

Оценки Horowitz для арифметики 45 нм и 32-битного DRAM (Horowitz, 2014), вместе с иллюстративными опорами книги для доступа к регистрам и SRAM, вывода MobileNetV2 и передачи 5G, лежат в основе сравнений эффективности книги, но не независимы от техпроцесса. «Энергия на операцию и обращение» перечисляет иерархию энергии доступа от регистров до DRAM. Эта иерархия количественно объясняет, почему повторное использование данных доминирует при проектировании ядер.

Энергия на операцию и обращение: оценки арифметики и DRAM на 32 бита взяты из модели Horowitz для 45 нм (Horowitz, 2014), строка DRAM на байт выведена из этой оценки. Строки регистров, SRAM, MobileNetV2 и 5G — иллюстративные опоры книги. Разрыв примерно в 6 400 раз между обращением к регистру 0,1 пДж и обращением к DRAM 640 пДж объясняет, почему повторное использование данных доминирует в оптимизации ядер ML.

Иерархия энергии точности и арифметики

Иерархия энергии арифметики в «Иерархии энергии точности и арифметики» сравнивает энергию на операцию ($E_{\text{op}}$ в пДж/оп) для сложения и умножения в форматах с плавающей запятой, тензорных и целочисленных точностях на современных техпроцессах 7 нм, 5 нм и 3 нм.

Иерархия энергии точности и арифметики: энергия на операцию ($E_{\text{op}}$ в пДж/оп) для сложения и умножения в форматах данных (FP64, FP32, TF32, FP16, BF16, FP8 E4M3/E5M2, INT32, INT8, INT4) и полупроводниковых техпроцессах (7 нм, 5 нм, 3 нм). Масштабирование энергии иллюстрирует квадратичную зависимость умножителя $O(b^2)$ и линейную зависимость сумматора $O(b)$ от разрядности (Horowitz, 2014; Dally et al., 2021).

Энергетические затраты действуют на уровне чипа, но реальные ML-системы также перемещают данные по межсоединениям — между ускорителями, между стойками и по глобальным сетям. Следующий раздел перечисляет допущения о пропускной способности, которые используются, когда главы оценивают накладные расходы на коммуникацию.

Межсоединения и сетевая пропускная способность

Эти допущения о пропускной способности применяются, когда главы рассуждают о синхронизации градиентов, пузырях конвейера, вводе-выводе контрольных точек или задержке между центрами обработки данных. Скорости NVLink и PCIe следуют документации продуктов ускорителей (NVIDIA Corporation, 2017; NVIDIA Corporation, 2020; Choquette, 2023); спецификация архитектуры InfiniBand задает семейство протоколов (InfiniBand Trade Association, 2000), а текущие высокоскоростные семейства продуктов и дорожные карты Ethernet задают примеры современных скоростей линков (NVIDIA, 2026; Ethernet Alliance, 2025); нижний предел скорости света в волокне — тождество физики. «Пропускная способность межсоединений и сети» перечисляет скорости NVLink, InfiniBand, PCIe, NVMe и Ethernet вместе со скоростью распространения света в волокне.

Пропускная способность межсоединений и сети: пропускные способности семейств линков взяты из паспортов вендоров, спецификации архитектуры InfiniBand и текущей документации продуктов и дорожных карт (InfiniBand Trade Association, 2000; NVIDIA, 2026; Ethernet Alliance, 2025). Скорости NVLink — суммарные двунаправленные; остальные скорости линков номинальны на направление. Скорость света в волокне задает нижний предел задержки между центрами обработки данных.

Паспорт физических характеристик межсоединений и сетевых фабрик

Паспорт физических характеристик в «Паспорте физических характеристик межсоединений и сетевых фабрик» детализирует пропускную способность, задержку, кадрирование, поддержку прямого доступа к памяти (DMA) и энергию на бит для шин хоста, межсоединений ускорителей, сетевых фабрик и интерфейсов с когерентностью кэшей.

Паспорт физических характеристик межсоединений и сетевых фабрик: полный паспорт для шин хоста, межсоединений GPU, коммутаторов, сетевых фабрик и когерентных интерфейсов (PCIe Gen3–Gen7, NVLink 1–5, NVSwitch 1–4, InfiniBand EDR–XDR, RoCE v2, CXL 1.1–3.1). Столбцы перечисляют пропускную способность по направлению и суммарную, задержку PHY/линка, линейное кодирование и кадрирование, возможности DMA и GPUDirect, а также энергетическую стоимость физического уровня ($E_{\text{link}}$ в пДж/бит).

Экономические константы

Эти ценовые допущения лежат в основе оценок совокупной стоимости владения (TCO) и стоимости электроэнергии в прикидочных расчетах «Экономических допущений». Это иллюстративные ставки уровня гиперскейлеров для анализа отношений (по духу похожие на примеры учета углерода в Patterson et al., 2021), а не котировки для конкретного региона или контракта. Когда абсолютная цена доминирует, локальные значения должны заменить эти опорные величины.

Экономические допущения: иллюстративные облачные ставки электроэнергии и исходящего трафика для прикидочных расчетов TCO (порядок величины 2024–2025 годов). Структуры затрат собственной инфраструктуры отличаются; относительные величины помогают ориентироваться в проектных компромиссах.

Экономические константы задают цену единицы вычислений и передачи данных, но без представления о задействованных объемах они мало что значат. Производственные ML-системы обрабатывают миллионы — миллиарды запросов в день; эти числа достаточно велики, чтобы их трудно было осмыслить без конкретных опорных точек.

Опорные величины масштаба

Эти допущения о масштабе в «Опорных величинах производственного масштаба и скорости данных» задают ответ на вопрос «насколько велико „велико“?» для примеров планирования емкости. Они дают иллюстративные базовые величины порядка для объемов электронной почты и поиска, потоков сенсоров беспилотных автомобилей и стандартных видеоформатов 1080p и 4K. Это ориентиры величины, а не аудированная статистика для конкретного года.

Опорные величины производственного масштаба и скорости данных: иллюстративные опорные точки нагрузки и скорости сенсоров, а также стандартные параметры видео 1080p и UHD 4K.

Допущения выше используют общие соглашения о единицах: десятичные приставки данных, раздельные величины FLOP и FLOP/s, а также псевдонимы, определенные в следующем разделе.

Соглашения о единицах

«Соглашения о единицах» фиксирует соглашения, которые используются в каждом количественном примере книги. Каждая строка задает множитель $k$ в 1 псевдоним $=$ $k$ базовая единица. Приставки данных — десятичные SI ($\mathrm{KB}=10^3$ байт, а не 1024). Двоичные приставки IEC для хранения появляются в нескольких обсуждениях конкретных накопителей, но здесь опущены, потому что большинство оценок масштаба парка в книге использует десятичные КБ/ГБ/ТБ. Величины пропускной способности (FLOP/s, ГБ/с) сочетают эти псевдонимы со временем; складывать несовместимые размерности (байты с FLOP/s) — категориальная ошибка прикидочного расчета, а не пересчет единиц.

Емкость аппаратуры — одно намеренное исключение. Производители маркируют память десятичными символами, но поставляют двоичные величины. Ускоритель, продаваемый как устройство 80 ГБ, предоставляет $80\times 2^{30}$ байт, а микроконтроллер с 512 КБ SRAM — $512\times 2^{10}$ байт. Книга сохраняет и число производителя, и его обозначение, так что емкость, напечатанная как 80 ГБ, — это паспортная цифра, а не десятичный пересчет. Все остальные величины данных, включая объем памяти моделей, размеры активаций и объемы передачи, используют указанные десятичные приставки. Там, где разобранный пример вычитает вычисленный объем памяти из емкости устройства, оба слагаемых приводятся в десятичных единицах, чтобы арифметика на странице была той, которую читатель может воспроизвести.

Соглашения о единицах: десятичные псевдонимы SI и масштабные множители (соглашение книги для прикидочных расчетов). Формы пропускной способности, такие как FLOP/s и ГБ/с, делят работу или данные на время по тем же соглашениям.

Для каждого допущения также ведется запись о происхождении, которая позволяет читателю проследить число до первоисточника.

Происхождение допущений

«Каталог происхождения допущений» группирует количественные входные данные приложения по классам доказательств и указывает основные источники для каждой группы. Паспортные характеристики производителей и стандарты задают опубликованные пределы, рецензируемые измерения дают эмпирические опоры, а явно помеченные редакционные сценарии дают иллюстративные значения там, где нет устойчивой универсальной константы. Это различие позволяет читателю оценить доказательную силу входного данного, обновить чувствительные во времени значения и воспроизвести оценку с подходящей локальной заменой.

Каталог происхождения допущений: краткая карта от раздела приложения к классу источника и библиографии.

Итоги

Это приложение — справочный каталог количественных входных данных, которые используются в книге. Оно собирает характеристики ускорителей и моделей, соглашения о памяти обучения, энергетические константы, пропускные способности межсоединений, экономические и масштабные опоры, соглашения о единицах и происхождение. Значения взяты из паспортных пиков, опубликованных измерений, стандартов и редакционных сценариев, поэтому они имеют разную доказательную силу и устаревают с разной скоростью.

Используйте эти таблицы как стартовые входные данные, а не как универсальные константы. Для каждой оценки фиксируйте строку таблицы, соглашение о единицах и происхождение; заменяйте чувствительные во времени пики, цены и ставки локальными значениями; отличайте физический потолок от измеренной рабочей точки и от допущения сценария; и сообщайте, какие допущения доминируют в результате. Так прикидочные расчеты остаются воспроизводимыми и ясно видно, какой входной параметр определяет вывод.