Допущения системы

Каждый количественный пример в этой книге, от интенсивности отказов кластера до стоимости коллективной коммуникации и оценок углеродного следа, использует определенный набор допущенных чисел: типовые размеры кластеров, пропускную способность фабрик, надежность ускорителей, эффективность использования энергии, региональную углеродную интенсивность и диапазоны утилизации модели. Это приложение собирает эти допущения масштаба парка в одном месте, чтобы арифметику книги можно было проверить, сверить с расчетами «на салфетке» в главах или подставить в разобранные примеры.

Как пользоваться этим приложением

Используйте это приложение, чтобы проверить оценку масштаба парка, подставить альтернативное допущение (например, фабрика NDR вместо HDR, углеродную интенсивность Квебека вместо Польши или другую утилизацию FLOP модели (MFU)) или выяснить, от каких числовых констант зависит расчет в главе. Найдите нужный раздел, прочитайте столбцы «Значение» и «Единица» и подставьте эти значения в целевую арифметику.

Короткий блок с расчетом «на салфетке» в начале показывает, как несколько допущений складываются вместе (интенсивность отказов, время AllReduce, углеродный след). Пропускная способность железа и каналов — потолки, если только в главе не заявлена скидка на эффективную пропускную способность. Относитесь к таблицам как к общему листу допущений этого издания, а не как к неизменным физическим законам.

Сценарий: быстрые расчеты с этими допущениями

Эти таблицы поддерживают быстрые расчеты «на салфетке» для распределенных систем. Три примера показывают, как несколько допущений складываются вместе.

Задача: Оценить, сколько отказов GPU кластеру следует ожидать в сутки.

Переменные: Возьмем кластер из 8 192 GPU и среднее время до отказа (MTTF) отдельного GPU 50 000 ч.

Расчет: Интенсивность отказов GPU равна 8 192 GPU/50 000 ч $\approx$ 0,16 отказа в час, то есть ~3,9 отказа в сутки.

Результат: Эта оценка не учитывает отказы сетевых карт (NIC), блоков питания и кабелей. При 100 000 GPU интенсивность одних GPU составляет около ~48 отказов в сутки; с учетом отказов NIC, PSU и кабелей поток эксплуатационных инцидентов может вырасти примерно вдвое.

Системный вывод: В масштабе парка отказ становится непрерывным фоновым процессом, а не исключительным событием.

Задача: Оценить, сколько времени занимает AllReduce для модели на 70 млрд параметров.

Переменные: Возьмем параметры в BF16 и InfiniBand NDR с номинальной скоростью в байтах 50 ГБ/с на порт.

Расчет: Объем градиентов равен 70 $\times 10^9\times$ 2 байта = 140 ГБ. Оценка кольцевого AllReduce «на салфетке»: 2 $\times$ 140 ГБ/50 ГБ/с $\approx$ 5,6 с.

Результат: Коллективная операция может занимать значительную долю шага обучения.

Системный вывод: Конвейерный и тензорный параллелизм существуют отчасти для того, чтобы сократить объем градиентов, который должен передавать каждый ранг.

Задача: Оценить углеродный след запуска обучения на 10 000 GPU.

Переменные: Каждый H100 потребляет 700 Вт при расчетной тепловой мощности (TDP). Возьмем эффективность использования энергии (PUE) 1,12, интенсивность сети Квебека 20 г/кВт·ч и интенсивность сети Польши 820 г/кВт·ч.

Расчет: Полная мощность объекта равна 10 000 GPU $\times$ 700 Вт $\times$ 1,12 = 7,84 МВт. В Квебеке 7,84 МВт $\times$ 720 ч/месяц $\times$ 20 г/кВт·ч = 112,9 т CO${}_2$ в месяц.

Результат: Тот же запуск в Польше выбрасывает 4 628,7 т, то есть разница составляет 41×.

Системный вывод: Углеродная интенсивность сети может доминировать в разнице выбросов для того же железа, той же модели и той же длительности обучения.

Справка по базовому железу

Рассуждения о распределенных системах в этой книге опираются на границы производительности одного узла. Таблица «Допущения для одного узла H100» напоминает допущения для H100, используемого в книге как основной эталонный ускоритель.

Допущения для одного узла H100: пиковые характеристики из (Choquette, 2023) и документации NVIDIA H100. Дают базовые значения $R_{\text{peak}}$ и $\text{BW}$ для расчетов по железному закону.

Эталонные конфигурации кластеров

В книге используются четыре типовых яруса кластеров (256, 2 048, 8 192 и 100 000 GPU), чтобы показать, как меняется поведение системы с масштабом. Это редакционные эталонные точки, соответствующие типичным паркам исследовательских лабораторий, промышленной эксплуатации, крупного обучения и гипермасштаба, а не измерения одного развертывания. Таблица «Типовые размеры кластеров» задает число GPU; главы выводят число узлов, интенсивность отказов и требования к сети из этих базовых значений и допущений в последующих таблицах.

Типовые размеры кластеров: размеры ярусов по соглашению книги для примеров масштаба парка. При 8 GPU на узел: 32 узла, 256 узлов, 1 024 узла и 12 500 узлов. Обработка отказов переходит от исключения к устойчивому состоянию между ярусами 256 и 8 192 GPU (Kokolis et al., 2025).

Связь между размером кластера и поведением системы нелинейна. Кластер из 256 GPU может обходиться без отказов несколько суток; кластер из 100 000 GPU переживает несколько отказов в час. Эта нелинейность — причина, по которой главы об отказоустойчивости («Отказоустойчивость») и оркестрации парка («Оркестрация парка») рассматривают отказ как непрерывный фоновый процесс, а не как исключительное событие.

Сетевая фабрика определяет, занимает ли синхронизация градиентов миллисекунды или секунды и жизнеспособен ли конвейерный параллелизм через границы узлов.

Спецификации сети и межсоединений

Распределенное обучение и инференс упираются в перемещение данных между машинами не реже, чем в вычисления внутри них. Допущения о сети фиксируют пропускную способность и задержку для каждого яруса межсоединений: от NVLink и PCIe внутри узла (NVIDIA Corporation, 2017; NVIDIA Corporation, 2020; Choquette, 2023) через InfiniBand, удаленный прямой доступ к памяти (RDMA) и фабрики Ethernet (InfiniBand Trade Association, 2000; Gangidi et al., 2024; NVIDIA, 2026; Ethernet Alliance, 2025) до нижней границы глобальной сети, задаваемой скоростью света (тождество физики).

Межсоединения внутри узла

Внутри одного узла GPU общаются по NVLink или PCIe. Эти значения пропускной способности (таблица «Пропускная способность и задержка межсоединений внутри узла») определяют, жизнеспособен ли тензорный параллелизм (которому нужна коммуникация с высокой пропускной способностью и низкой задержкой) в границах узла. Значения собраны здесь для удобства и повторно используются в главах о масштабе парка.

Пропускная способность и задержка межсоединений внутри узла: пики NVLink/PCIe из документации вендоров (NVIDIA Corporation, 2017; NVIDIA Corporation, 2020; Choquette, 2023). NVLink в 7–10× быстрее PCIe того же поколения, поэтому тензорный параллелизм остается внутри узла.

Межузловые соединения

Когда данные пересекают границу узла, пропускная способность падает на порядок, а задержка растет в 5–10$\times$. Этот обрыв определяет каждое решение о стратегии параллелизма: операции, требующие частой мелкозернистой коммуникации (тензорный параллелизм), остаются внутри узла, а операции с более грубыми паттернами коммуникации (параллелизм по данным, конвейерный параллелизм) охватывают узлы. Чтобы учесть разные соглашения в разных главах, таблица «Пропускная способность и задержка межузловой сети» приводит и форму в битах, и форму в байтах для каждой фабрики.

Пропускная способность и задержка межузловой сети: скорости каналов фабрик из (InfiniBand Trade Association, 2000) и спецификаций линеек продуктов. Разрыв 9× между NVLink и NDR объясняет параллелизм с учетом топологии («Коллективные коммуникации», «Распределенное обучение»).

Глобальная сеть

Межрегиональная коммуникация вносит нижние границы задержки, которые задает скорость света в оптоволокне. Для канала в 5 000 км (примерно Нью-Йорк — Лондон) минимальная односторонняя задержка равна 5 000 км/200 000 км/с = 25 мс, то есть на порядки выше задержки внутри дата-центра. Именно это физическое ограничение объясняет, почему геораспределенное обучение использует асинхронные методы или аккуратное размещение стадий конвейера и почему федеративное обучение («Граничный интеллект») терпит устаревшие градиенты.

Сетевые спецификации определяют, как быстро движутся данные, но ничего не говорят о том, как часто отказывают машины, которые их отправляют. Следующий раздел количественно оценивает надежность отдельных компонентов — строительных блоков, из которых выводится интенсивность отказов на уровне кластера.

Допущения о надежности

В масштабе парка отказы компонентов — не исключительные события, а статистические неизбежности. Допущения о надежности фиксируют здесь MTTF для каждого основного класса компонентов в узле GPU дата-центра и время обнаружения отказов и восстановления после них. Эти значения определяют анализ в главе «Отказоустойчивость» и планирование в главе «Оркестрация парка»; более глубокое моделирование отказов приведено в приложении «Основы надежности».

MTTF компонентов

Таблица «Среднее время до отказа компонентов» перечисляет MTTF для каждого класса компонентов. Это стационарные значения, не включающие период «детской смертности» (первые 30–90 суток) и период износа (за пределами расчетного срока службы). Источники включают анализ крупного исследовательского кластера GPU (Kokolis et al., 2025), данные об устойчивости и эксплуатации суперкомпьютера TPUv4 (Zu et al., 2024) и проектирование складских машин (Barroso et al., 2019).

Среднее время до отказа компонентов: стационарные опорные значения MTTF из (Kokolis et al., 2025; Zu et al., 2024; Barroso et al., 2019). Суммарный MTTF узла $\approx$ 3 592,8 ч (149,7 сут.) при 8 GPU на узел.

Допущения о времени восстановления

Обнаружение отказов и восстановление вносят простой, который накапливается с ростом кластера. Таблица «Параметры времени восстановления» перечисляет допущения, используемые при оптимизации интервала контрольных точек (формула Янга–Дэйли в главе «Отказоустойчивость») и в расчетах эффективной пропускной способности по всей книге.

Параметры времени восстановления: проектные допущения для heartbeat, перепланирования и пропускной способности записи контрольных точек (контекст Янга–Дэйли: Young, 1974; Daly, 2006). Полное восстановление $\approx$ обнаружение + перепланирование + размер контрольной точки, деленный на пропускную способность записи; пример для 70B в FP32 $\approx$ 92,8 с на отказ.

Константы надежности количественно показывают, как часто случаются отказы и сколько длится восстановление. Стоимость каждого отказа зависит от того, сколько коммуникации приходится повторять. Следующие параметры моделируют эти накладные расходы на коммуникацию.

Параметры модели коммуникации

Эта книга моделирует стоимость коммуникации рамкой $\alpha$-$\beta$: $T(n)=\alpha +n/\beta$, где $\alpha$ — задержка запуска, а $\beta$ — устойчивая пропускная способность (Hockney, 1994). Таблица «Параметры модели коммуникации ($\alpha$-$\beta$)» перечисляет значения из спецификаций фабрик, документации вендоров и исследований обучения на больших кластерах (InfiniBand Trade Association, 2000; Gangidi et al., 2024; NVIDIA, 2026; Ethernet Alliance, 2025; Jiang et al., 2024). Они питают модели коллективной коммуникации в главе «Коллективные коммуникации» и сравнения параллелизма в главе «Распределенное обучение».

Параметры модели коммуникации ($\alpha$-$\beta$): $\alpha$ (запуск) и $\beta$ (пропускная способность) из спецификаций фабрик и измеренных исследований кластеров (InfiniBand Trade Association, 2000; Jiang et al., 2024). Разрыв 10× между NDR и TCP объясняет, почему в синхронном обучении доминируют фабрики RDMA.

Модель стоимости AllReduce

Кольцевой AllReduce (самая распространенная коллективная операция для синхронизации градиентов) передает $2(N_{\text{rank}}-1)M/N_{\text{rank}}$ байт на ранг, где $N_{\text{rank}}$ — число рангов, а $M$ — размер сообщения. При большом $N_{\text{rank}}$ это приближается к $2M$ байт на ранг. Таблица «Параметры стоимости AllReduce» перечисляет константы, используемые в оценке стоимости AllReduce.

Параметры стоимости AllReduce: множитель кольцевого AllReduce, равный 2, из стандартного кольцевого алгоритма (Gibiansky, 2017). Systems.Nodes.DGX_H100 (8 GPU на узел) задает границу между внутриузловым и межузловым уровнями в иерархических коллективных операциях.

Модели коммуникации количественно показывают накладные расходы координации. Для оценки устойчивости цены этой координации (потребляемой мощности, расходуемой воды, выбрасываемого углерода) нужны отдельные допущения о физической инфраструктуре вокруг вычислений.

Допущения об устойчивости

Влияние ML в масштабе парка на окружающую среду зависит от трех факторов: сколько мощности объект потребляет сверх ИТ-оборудования (PUE), сколько воды потребляет система охлаждения (эффективность использования воды (WUE)) и сколько углерода выбрасывает местная сеть на киловатт-час. Допущения об устойчивости здесь поддерживают главу «Устойчивый ИИ» и оценки совокупной стоимости владения в главе «Эксплуатация ML-систем в масштабе».

Эффективность использования энергии

PUE — отношение полной мощности объекта к мощности ИТ-оборудования. PUE, равный 1,0, означал бы нулевые накладные расходы на охлаждение; реальные дата-центры лежат в диапазоне от 1,06 (жидкостное охлаждение) до 1,58 (устаревшее воздушное охлаждение). Таблица «Эффективность использования энергии (PUE)» перечисляет эталонные значения PUE, используемые по всей книге.

Эффективность использования энергии (PUE): иллюстративные ярусы PUE из обзоров гипермасштабных операторов и определений Green Grid (Uptime Institute, 2022; The Green Grid, 2007). Разрыв между устаревшим и жидкостным охлаждением: на 49,1 % больше мощности объекта при той же ИТ-нагрузке.

Эффективность использования воды

WUE измеряет литры воды, потребляемой на киловатт-час энергии ИТ (The Green Grid, 2011). Испарительные градирни дают превосходный PUE, но потребляют много воды; замкнутое жидкостное охлаждение расходует почти ноль воды, но требует более высоких капитальных вложений. Таблица «Эффективность использования воды (WUE)» перечисляет эталонные значения WUE.

Эффективность использования воды (WUE): иллюстративные ярусы WUE для сравнения классов охлаждения (The Green Grid, 2011; Uptime Institute, 2022). Пример с испарительным охлаждением при ИТ-нагрузке 10 МВт: 432 000 л/сут.

Региональная углеродная интенсивность

Один и тот же запуск обучения выбрасывает совершенно разное количество CO${}_2$ в зависимости от сети, которая поставляет ему электричество. Таблица «Региональная углеродная интенсивность сети» перечисляет региональные углеродные интенсивности сетей по данным IEA и канадского правительства о коэффициентах выбросов (International Energy Agency, 2024; Environment and Climate Change Canada, 2026), округленные для расчетов «на салфетке». Эти значения занимают центральное место в планировании с учетом местоположения в главе «Устойчивый ИИ».

Региональная углеродная интенсивность сети: углеродная интенсивность сети в г CO${}_2$/кВт·ч, привязанная к данным о коэффициентах выбросов (International Energy Agency, 2024; Environment and Climate Change Canada, 2026) и упорядоченная от низкой (Норвегия) к высокой (Польша). Местоположение дает разброс углеродных выбросов в 82×, часто больший, чем от алгоритмических ухищрений.

Плотность мощности

Стойки с ускорителями ИИ потребляют в 6–8$\times$ больше мощности, чем традиционные стойки дата-центров, что создает проблемы тепловой плотности и вынуждает переходить с воздушного охлаждения на жидкостное. Таблица «Плотность мощности стойки» перечисляет эталонные уровни мощности стоек, используемые в главах «Вычислительная инфраструктура» и «Устойчивый ИИ», привязанные к текущим публикациям о питании и охлаждении систем ИИ (Dell Technologies, 2026; Schneider Electric, 2024).

Плотность мощности стойки: иллюстративные ярусы мощности стойки и предел воздушного охлаждения (Uptime Institute, 2022; Dell Technologies, 2026; Schneider Electric, 2024). Стойки ИИ (70 кВт–100 кВт) превышают практический предел воздушного охлаждения 30 кВт.

Константы устойчивости фиксируют физические и экологические затраты на эксплуатацию парка. Экономические константы в следующем разделе переводят эти физические затраты в доллары и завершают картину совокупной стоимости владения.

Экономические допущения

Оценки стоимости в масштабе парка зависят от ставок аренды GPU, цен на электроэнергию и платы за передачу данных. Это иллюстративные ставки порядка гипермасштабных операторов (величины 2024–2025 годов) для анализа отношений, а не расценки конкретного контракта. Таблица «Экономические параметры масштаба парка» поддерживает расчеты «на салфетке» совокупной стоимости владения (TCO) в главах «Эксплуатация ML-систем в масштабе» и «Инференс в масштабе».

Экономические параметры масштаба парка: иллюстративные ставки облачных GPU, электроэнергии и исходящего трафика для примеров TCO (для абсолютных бюджетов подставляйте цены контракта).

Экономические константы задают цену за единицу ресурса. Планирование емкости вместо этого спрашивает, какая доля каждой единицы ресурса выполняет полезную работу. Константы планирования емкости количественно показывают разрыв между пиковыми возможностями и достижимой пропускной способностью.

Допущения для планирования емкости

Допущения для планирования емкости количественно описывают два связанных явления: (1) долю пиковой производительности железа, которую достигают реальные нагрузки (утилизация FLOP модели), и (2) насколько эффективно эта производительность масштабируется при добавлении машин (эффективность масштабирования). Вместе они определяют эффективные вычисления, доступные при заданном размере кластера и бюджете, — число, которое важно для планирования проектов.

Уравнение планирования мультипликативно: $$R_{\text{eff}}=N{R}_{\text{peak}}\times \text{MFU}\times {\eta }_{\text{scaling}}\times (1-f_{\text{overhead}})$$

Здесь $R_{\text{eff}}$ — эффективная пропускная способность парка, $N{R}_{\text{peak}}$ — номинальный пик пропускной способности кластера, MFU снижает пиковую мощность железа до реализованной пропускной способности модели, ${\eta }_{\text{scaling}}$ учитывает потери коммуникации и координации при добавлении машин, а $f_{\text{overhead}}$ вычитает время по часам, потраченное на пузыри конвейера, контрольные точки, восстановление после отказов и обслуживание. Следующие три подраздела по порядку фиксируют эти факторы.

Утилизация FLOP модели

MFU измеряет отношение фактической вычислительной пропускной способности к теоретическому пику железа. MFU 0,50 означает, что нагрузка достигает половины пиковых FLOP/с. Таблица «Диапазоны утилизации FLOP модели (MFU)» перечисляет эталонные диапазоны MFU, используемые в оценках времени и стоимости обучения по всей книге.

Диапазоны утилизации FLOP модели (MFU): MFU обучения 0,3–0,5 из отчетов об обучении больших моделей (Chowdhery et al., 2022; Narayanan et al., 2021); MFU инференса при батче 1 около 5 % из работы (Pope et al., 2023) (декодирование, ограниченное памятью).

Эффективность масштабирования

Эффективность масштабирования ${\eta }_{\text{scaling}}=T_1/(N\times T_N)$ измеряет, какая часть добавленных вычислений действительно сокращает время обучения. Таблица «Эффективность масштабирования по размеру кластера» перечисляет иллюстративные ярусы эффективности, согласованные с опубликованным крупномасштабным обучением больших языковых моделей (LLM) (Chowdhery et al., 2022; Jiang et al., 2024); значения зависят от нагрузки и фабрики.

Эффективность масштабирования по размеру кластера: иллюстративные ярусы ${\eta }_{\text{scaling}}$ из (Chowdhery et al., 2022; Jiang et al., 2024). На 8 192 GPU эффективных GPU 2 867,2 из 8 192 номинальных.

Бюджеты накладных расходов

Реальные задания обучения тратят долю времени по часам на невычислительную деятельность: простой из-за пузырей конвейера, записи контрольных точек, восстановление после отказов и плановое обслуживание. Таблица «Бюджеты накладных расходов (доля времени по часам)» перечисляет бюджеты накладных расходов, принятые по всей книге. Эти доли аддитивны: суммарные накладные расходы в масштабе парка составляют примерно 5 % + 3 % + 10 % + 5 % = 23 %, то есть лишь 77 % времени по часам дают полезный прогресс обучения.

Бюджеты накладных расходов (доля времени по часам): доли времени по часам по соглашению книги для пузырей конвейера, контрольных точек, восстановления после отказов и обслуживания — это инженерные цели, а не физические константы. Суммарные накладные расходы 23 % $\Rightarrow$ 23,1 сут. эффективной работы в 30-суточном запуске.

Таблицы выше используют соглашения об единицах из таблицы «Соглашения об единицах»: десятичные приставки для данных (КБ $=10^3$ байт), разделение работы (FLOP) и пропускной способности (FLOP/с) и псевдонимы ниже.

Соглашения об единицах

Таблица «Соглашения об единицах» фиксирует соглашения об единицах, используемые в каждом количественном примере книги. В каждой строке указан множитель $k$ в 1 псевдоним $=$ $k$ базовых. Приставки данных десятичные по СИ ($\mathrm{КБ}=10^3$ байт, а не 1024). Величины пропускной способности (FLOP/с, ГБ/с) объединяют эти псевдонимы со временем; сложение несовместимых размерностей (байт и FLOP/с) — категориальная ошибка в расчетах «на салфетке», а не пересчет единиц.

Емкость железа — единственное сознательное исключение. Вендоры маркируют память десятичными символами, но поставляют двоичные величины. Ускоритель, проданный как устройство на 80 ГБ, дает $80\times 2^{30}$ байт, поэтому узел из восьми таких устройств содержит $640\times 2^{30}$ байт, а не $640\times 10^9$. Эта книга сохраняет и число вендора, и его обозначение, так что емкость, напечатанная как 80 ГБ, — паспортная цифра, а не ее десятичный пересчет. Все остальные величины данных, включая объемы моделей, размеры KV-кэша, объемы контрольных точек и полезные нагрузки коллективных операций, используют десятичные приставки выше. Там, где разобранный пример вычитает вычисленный объем из емкости устройства, оба члена приводятся в десятичных единицах, чтобы напечатанная на странице арифметика была той, которую читатель может воспроизвести.

Соглашения об единицах: десятичные псевдонимы СИ и масштабные множители (соглашение книги). Формы пропускной способности (FLOP/с, ГБ/с) делят работу или данные на время по тем же соглашениям.

Два соглашения масштаба парка заслуживают подчеркивания сверх таблицы:

• Сетевая пропускная способность указывается и в битах в секунду (Гбит/с), и в байтах в секунду (ГБ/с). Чтобы перевести Гбит/с в ГБ/с, разделите на 8 (например, 400 Гбит/с = 50 ГБ/с для InfiniBand NDR). Главы используют ту форму, которая подходит для расчета; скорость в байтах обычно удобнее для оценки времени передачи.
• Углеродная интенсивность выражается в г CO${}_2$/кВт·ч (граммы CO${}_2$ на киловатт-час). Умножьте суммарную энергию (кВт·ч) на региональную углеродную интенсивность, чтобы получить выбросы в граммах, затем разделите на $10^6$, чтобы получить тонны.

Происхождение допущений

Каталог ниже сопоставляет каждый раздел приложения с категорией источника и основной литературой и дает прозрачный след аудита для числовых констант книги. Полную таблицу см. в таблице «Каталог происхождения допущений парка».

Каталог происхождения допущений парка: быстрая карта от раздела приложения к классу источника и библиографии.

Итоги

Это приложение — общий лист допущений масштаба парка: каждая оценка «на салфетке» в этой книге должна прослеживаться до строки в таблицах выше и, где это важно, до разделов о происхождении и каталога в этом приложении.

Ключевые выводы: как пользоваться таблицами допущений парка

• Одно место для общих чисел парка: ярусы кластеров, пропускная способность фабрик, MTTF и время восстановления, параметры коммуникации $\alpha$–$\beta$, эффективность объектов, расход воды, углеродная интенсивность, цены облака, MFU, эффективность масштабирования и бюджеты накладных расходов, использованные в разобранных примерах, перечислены здесь, чтобы их можно было проверить или подставить без повторного вывода из прозы.
• Допущения о надежности задают часы отказов: строки MTTF и времени восстановления определяют, как часто отказы прерывают обучение и сколько времени по часам теряется. На 10 000+ GPU отказ — устойчивое состояние, а не исключение; более глубокое моделирование см. в приложении «Основы надежности».
• Допущения о коммуникации определяют жизнеспособность: значения $\alpha$–$\beta$ определяют, жизнеспособно ли синхронное распределенное обучение для заданного размера модели и фабрики. Разрыв по задержке 10× между RDMA и TCP объясняет, почему кластеры обучения предпочитают InfiniBand.
• Допущения об устойчивости показывают рычаг местоположения: эффективность объектов, расход воды и углеродная интенсивность показывают, что местоположение дата-центра и охлаждение могут перевешивать многие алгоритмические ухищрения. Разброс 82× между углеродной интенсивностью сетей Норвегии и Польши — часто самый сильный рычаг.
• Допущения о емкости количественно определяют используемую пропускную способность: MFU, эффективность масштабирования и бюджеты накладных расходов связывают пик железа с полезной пропускной способностью. На 8 192 GPU реализуется лишь около 35 % идеального масштабирования, а суммарные накладные расходы поглощают примерно 23 % времени по часам.
• Подстановка собственных параметров: когда развертывание отличается по фабрике, региону, MFU или размеру кластера, замените столбец «Значение» и пересчитайте соответствующие формулы.
• Проверяйте происхождение, прежде чем спорить о числе: пики из технических описаний, исследования парков, иллюстративные ставки и соглашения книги имеют разные источники; таблица «Каталог происхождения допущений парка» и подписи разделов говорят, что есть что.