Глоссарий

В глоссарии собраны ключевые термины, которые используются в книге. Термины расположены по алфавиту, чтобы ими можно было пользоваться вместе с главами. Английский вариант термина дан в скобках курсивом.

3

3DMark (3DMark): набор тестов производительности графики, который оценивает возможности трехмерной визуализации в реальном времени: пропускную способность треугольников, скорость заполнения текстур и современные функции вроде трассировки лучей и DLSS.

A

A/B-тестирование (A/B testing): контролируемый эксперимент, в котором пользователи случайно делятся на группы, чтобы сравнить две версии системы или модели по измеримым различиям в показателях.

абляционное исследование (ablation study): эксперимент, в котором по очереди удаляется, отключается или изолируется один компонент, чтобы измерить его вклад в поведение модели или системы.

прореживание на основе активаций (activation-based pruning): метод прореживания, который оценивает средние значения активаций нейронов или фильтров на наборе данных и удаляет те, что стабильно дают низкие активации и мало несут информации для решения сети.

контрольные точки активаций (activation checkpointing): прием экономии памяти при обратном распространении: часть активаций не хранится, а пересчитывается по мере необходимости вместо хранения всех промежуточных результатов.

функция активации (activation function): математическая функция, применяемая к взвешенной сумме входов нейрона; вносит нелинейность и позволяет сети выучивать сложные закономерности, а не только линейные комбинации.

память активаций (activation memory): память, в которой хранятся промежуточные выходы слоев, нужные для вычисления градиентов при обучении; растет с размером батча, длиной последовательности и глубиной модели.

активное обучение (active learning): подход, который выбирает для разметки человеком самые информативные примеры на основе неопределенности модели, сокращая объем размеченных данных, нужных для обучения.

оптимизатор Adam (Adam optimization): алгоритм оптимизации с адаптивной скоростью обучения, который сочетает импульс и RMSprop и поддерживает экспоненциально затухающие средние градиентов и квадратов градиентов для каждого параметра.

AdamW (AdamW): вариант Adam, который отделяет затухание весов от адаптивного обновления градиентом; улучшает регуляризацию и сохраняет адаптивные моменты оптимизатора.

триада ИИ (AI Triad): рамка, которая описывает системы ML как три взаимозависимых компонента: данные, направляющие поведение; алгоритмы, выучивающие закономерности; и вычислительную инфраструктуру, которая обеспечивает обучение и вывод. Ограничение любого компонента сдерживает возможности остальных.

алертинг (alerting): автоматические уведомления, которые сообщают командам, когда метрики выходят за заданные пороги или в производственной ML-системе обнаружена аномалия.

AlexNet (AlexNet): знаковая сверточная архитектура, которая выиграла конкурс ImageNet в 2012 году, снизив долю ошибок с 26 до 16 процентов, и запустила ренессанс глубокого обучения.

AllReduce (AllReduce): коллективная операция распределенных вычислений, в которой каждый процесс вносит свои данные, а все процессы получают объединенный результат; обычно используется для агрегации градиентов при распределенном обучении.

коммуникация «все со всеми» (all-to-all communication): паттерн обмена, в котором каждое устройство обменивается данными с каждым другим; характерен для шардированных таблиц вложений и нагрузок с экспертным параллелизмом.

AlphaFold (AlphaFold): знаковая система ИИ, разработанная DeepMind, которая предсказывает трехмерную структуру многих белков по последовательности аминокислот; достигла прорывной точности, не решая каждую задачу сворачивания, и показала, как крупномасштабные ML-системы ускоряют научные открытия. Ее предсказания по-прежнему требуют интерпретации уверенности и, во многих случаях, экспериментальной проверки.

закон Амдала (Amdahl’s Law): верхняя граница ускорения: общее улучшение ограничено долей нагрузки или конвейера, которая остается последовательной или неоптимизированной.

компиляция AOT (AOT compilation): компиляция заранее (ahead-of-time), которая превращает модель, граф или программу в оптимизированный исполняемый код до развертывания или запуска; обменивает гибкость на меньшие накладные расходы времени исполнения.

Apache Kafka (Apache Kafka): распределенная платформа потоковой передачи данных, которая обрабатывает потоки в реальном времени через систему публикации и подписки; часто используется для построения ML-конвейеров данных с высокой пропускной способностью и отказоустойчивостью.

Apache Spark (Apache Spark): открытая распределенная вычислительная платформа для обработки больших данных на кластерах компьютеров; благодаря вычислениям в памяти изменила подход к ETL-операциям.

специализированная интегральная схема (ASIC) (application-specific integrated circuit (ASIC)): чип, спроектированный под конкретную вычислительную задачу; дает более высокую производительность и энергоэффективность, чем универсальные процессоры, ценой утраты универсальной гибкости. Примеры: TPU Google, Cerebras Wafer-Scale Engine и ASIC для майнинга биткоина.

архитектурная эффективность (architectural efficiency): направление оптимизации моделей, которое связано с тем, как эффективно выполняются вычисления при обучении и выводе: через использование разреженности, факторизацию крупных компонентов и динамическую подстройку вычислений под сложность входа.

арифметическая интенсивность (arithmetic intensity): отношение операций с плавающей запятой к байтам, прочитанным из памяти (FLOP/байт); используется в анализе Roofline, чтобы определить, ограничена ли нагрузка памятью или вычислениями, и задать приоритеты оптимизации.

искусственный общий интеллект (artificial general intelligence): системы ИИ, которые должны сравняться с человеческим уровнем в широком круге когнитивных задач; общепринятого порога возможностей для этого понятия нет, и оно не подразумевает какой-либо конкретной архитектуры.

искусственный интеллект (artificial intelligence): область информатики, которая занимается созданием систем, способных выполнять задачи, обычно требующие человеческого интеллекта: восприятие, рассуждение, обучение и принятие решений.

искусственная нейронная сеть (artificial neural network): вычислительная модель, вдохновленная биологическими нейронными сетями; состоит из связанных узлов (нейронов), организованных в слои, и выучивает закономерности из данных через настраиваемые веса и смещения.

искусственные нейроны (artificial neurons): базовые вычислительные единицы нейронных сетей, которые подобны биологическим нейронам: принимают несколько входов, применяют веса и смещения и выдают выходной сигнал через функцию активации.

механизм внимания (attention mechanism): компонент нейронной сети, который вычисляет взвешенные связи между элементами на основе их содержания и позволяет динамически фокусироваться на релевантных частях входа, а не опираться на фиксированные архитектурные связи.

AUC (AUC): площадь под ROC-кривой; метрика классификации, не зависящая от порога, которая сравнивает доли истинно положительных и ложно положительных срабатываний при разных порогах решения.

журнал аудита (audit trail): журнал, в который только добавляются записи о том, кто и когда получал доступ к данным, моделям или артефактам системы или изменял их; поддерживает подотчетность, отладку и соответствие требованиям.

лента автограда (autograd tape): временная запись операций и сохраненных значений, которая строится во время прямого прохода, чтобы автоматическое дифференцирование в обратном режиме могло вычислить градиенты на обратном проходе.

автоматическое дифференцирование (automatic differentiation): вычислительный прием, который автоматически находит точные производные функций, реализованных как программы, систематически применяя правило цепочки на уровне элементарных операций; необходим для обучения нейронных сетей градиентными методами.

автоматическое смешанное вычисление точности (automatic mixed precision): прием обучения, который автоматически управляет использованием разных численных точностей (FP16, FP32), чтобы экономить память и ускорять вычисления при сохранении точности модели.

AutoML (AutoML): автоматизированное машинное обучение, которое автоматизирует решения о проектировании модели, включая поиск архитектур, оптимизацию гиперпараметров и отбор признаков, чтобы сократить ручной труд.

автомасштабирование (autoscaling): динамическая подстройка вычислительных ресурсов под спрос: при пиках нагрузки ресурсы наращиваются, при спаде сокращаются, чтобы оптимизировать стоимость и производительность.

B

обратное распространение (backpropagation): алгоритм, который вычисляет градиенты функции потерь по весам сети, распространяя сигналы ошибки назад через слои; позволяет систематически обновлять веса при обучении.

обратный проход (backward pass): фаза обучения, в которой градиенты распространяются от функции потерь назад через сеть, чтобы вычислить градиенты параметров; парная к прямому проходу.

пропускная способность (bandwidth): максимальная скорость передачи данных по каналу связи или интерфейсу памяти, обычно измеряется в байтах в секунду; критична для оптимизации перемещения данных в ИИ-ускорителях.

пакетный вывод (batch inference): выполнение вывода над большим набором данных сразу, обычно как плановое задание, в отличие от вывода в реальном времени по отдельным запросам. Пакетный вывод повышает пропускную способность, распределяя накладные расходы по множеству входов.

пакетная загрузка (batch ingestion): паттерн обработки данных, при котором данные собираются и обрабатываются группами по расписанию; подходит, когда обработка в реальном времени не критична.

пакетная нормализация (batch normalization): прием, который нормализует входы каждого слоя так, чтобы их среднее было нулевым, а дисперсия единичной; стабилизирует обучение, часто позволяет брать большую скорость обучения и быстрее сходиться; затем применяет обучаемый масштаб и сдвиг, сохраняя выразительную мощность.

пакетная обработка (batch processing): обработка нескольких образцов данных одновременно, чтобы распределить стоимость вычислений и обращений к памяти и повысить общую пропускную способность при обучении и выводе нейронных сетей.

размер батча (batch size): число обучающих примеров, обрабатываемых одновременно за одну итерацию обучения; влияет и на вычислительную эффективность, и на качество оценки градиента.

оптимизация пропускной способности батча (batch throughput optimization): приемы максимизации числа образцов, обрабатываемых за единицу времени при одновременной обработке нескольких входов, с использованием параллелизма и эффектов батчинга.

батчевые операции (batched operations): матричные вычисления, которые обрабатывают сразу несколько входов и превращают операции «матрица–вектор» в более эффективные «матрица–матрица», повышая загрузку аппаратуры.

инженерия бенчмарков (benchmark engineering): систематическое проектирование и разработка систем оценки производительности, включая создание обвязки тестов, выбор метрик и методику интерпретации результатов.

обвязка бенчмарка (benchmark harness): инфраструктурный компонент, который управляет выполнением тестов, подает входные данные и собирает измерения в контролируемых условиях, обеспечивая воспроизводимость оценок.

бенчмаркинг (benchmarking): систематическая оценка вычислительной производительности, эффективности алгоритмов и качества данных в системах машинного обучения, чтобы оптимизировать производительность на разных нагрузках и обеспечить воспроизводимость.

BERT (BERT): двунаправленная модель представлений из трансформеров (Bidirectional Encoder Representations from Transformers), языковая модель на основе трансформера, которую представила Google в 2018 году; изменила обработку естественного языка за счет предобучения маскированным языковым моделированием.

BF16 (BF16): 16-битный формат с плавающей запятой, разработанный в Google Brain; сохраняет тот же динамический диапазон, что и FP32, но с меньшей точностью, что делает его удобным для обучения глубоких сетей.

смещение (bias): обучаемый параметр, который добавляется к взвешенной сумме в каждом нейроне и сдвигает функцию активации; позволяет нейрону срабатывать даже при нулевых входах и дает сети дополнительную гибкость для подгонки сложных закономерностей.

бинаризация (binarization): экстремальный прием квантования, который сводит веса, активации или то и другое к двоичным значениям (обычно −1 и +1); дает максимальное сжатие, но часто требует особых процедур обучения и аппаратной поддержки.

биологический нейрон (biological neuron): клетка нервной системы, которая принимает, обрабатывает и передает информацию с помощью электрических и химических сигналов; вдохновила создание искусственных нейронных сетей.

горький урок (bitter lesson): наблюдение Ричарда Саттона 2019 года: общие методы, опирающиеся на вычисления, неизменно превосходят подходы, которые кодируют человеческую экспертизу; отсюда следует, что системная инженерия, обеспечивающая вычислительный масштаб, стоит в центре прогресса ИИ.

черный ящик (black box): система, у которой наблюдаемы входы и выходы, но внутреннее устройство недоступно или непрозрачно. Такая непрозрачность особенно проблематична, когда система принимает значимые решения и не объясняет их.

BLAS (BLAS): спецификация низкоуровневых подпрограмм линейной алгебры (Basic Linear Algebra Subprograms) для типовых операций: сложение векторов, умножение на скаляр, скалярные произведения и матричные операции; служит вычислительной основой современных ML-фреймворков.

блочно-разреженная матрица (block sparse matrix): разреженная матрица, ненулевые значения которой собраны в плотные блоки, а не разбросаны отдельными элементами; сохраняет структуру, которую аппаратные ядра могут эффективно использовать.

сине-зеленое развертывание (blue-green deployment): стратегия развертывания с двумя производственными средами: трафик переключается на проверенную новую версию, а старая остается доступной для отката.

ограничивающий прямоугольник (bounding box): прямоугольная аннотация, которая задает положение объектов на изображении, обводя каждый интересующий объект; часто используется в наборах данных для обучения компьютерному зрению.

хрупкость (brittleness): склонность систем, основанных на правилах, полностью отказывать на входах, которые выходят за пределы запрограммированных сценариев, даже если эти входы очень похожи на те, для которых система создавалась.

C

кэширование (caching): прием хранения часто запрашиваемых данных в быстрой памяти, чтобы сократить задержку доступа и повысить производительность ML-конвейеров.

аллокатор с кэшированием (caching allocator): менеджер памяти фреймворка, который переиспользует блоки памяти устройства вместо того, чтобы для каждого тензора обращаться к аппаратному аллокатору; сокращает задержку выделения и фрагментацию.

калибровка (calibration): этап квантования после обучения, на котором анализируется репрезентативный набор данных, чтобы подобрать оптимальные параметры квантования (коэффициенты масштаба и нулевые точки), минимизирующие потерю точности при переходе с высокой точности на низкую.

канареечное развертывание (canary deployment): стратегия, при которой новая версия модели получает небольшую долю производственного трафика для проверки поведения перед полным выкатом; позволяет рано обнаружить проблемы с минимальным влиянием на пользователей.

теорема CAP (CAP theorem): принцип распределенных систем: при разделении сети хранилище данных не может одновременно гарантировать линеаризуемую согласованность и доступность для каждого запроса.

углеродный след (carbon footprint): суммарные выбросы парниковых газов, обычно выраженные в эквиваленте CO₂, которые прямо и косвенно производятся при обучении и эксплуатации ML-системы.

углеродоемкость (carbon intensity): выбросы на единицу энергии, обычно в килограммах CO₂-эквивалента на кВт·ч; используется, чтобы перевести энергопотребление ML в углеродное воздействие.

Cerebras Wafer-Scale Engine (Cerebras Wafer-Scale Engine): в поколении CS-2 — процессор на целой пластине, содержащий 2,6 трлн транзисторов и 850 000 ядер; создан, чтобы устранить узкие места межустройственной коммуникации при крупномасштабном обучении.

правило цепочки (chain rule): правило математического анализа, которое позволяет вычислять производные сложных функций; основа обратного распространения.

поканальное квантование (channelwise quantization): подход к гранулярности квантования, при котором каждый канал слоя имеет собственный набор параметров квантования; дает более точное представление, чем квантование по слою, сохраняя эффективность аппаратуры.

конвейеры CI/CD (CI/CD pipelines): автоматизированные рабочие процессы непрерывной интеграции и непрерывной поставки, которые упрощают разработку моделей, объединяя тестирование, валидацию и развертывание.

паттерн автоматического выключателя (circuit breaker pattern): паттерн устойчивости, который после повторных сбоев прекращает или перенаправляет вызовы нездорового сервиса, чтобы предотвратить каскадные отказы и включить резервное поведение.

классификационные метки (classification labels): простые категориальные аннотации, которые присваивают примерам данных конкретные метки или категории; это самая базовая форма разметки для обучения с учителем.

CloudSuite (CloudSuite): набор бенчмарков, разработанный в EPFL, который охватывает нагрузки дата-центров: веб-поиск, аналитику данных и потоковое медиа; измеряет сквозную производительность по сети, хранилищу и вычислениям.

производительность холодного старта (cold-start performance): время, за которое система переходит из простоя в активное исполнение; особенно важно в бессерверных средах, где модели загружаются по требованию.

коллаборативная фильтрация (collaborative filtering): прием рекомендательных систем, который предсказывает предпочтения пользователя, находя закономерности во взаимодействиях многих пользователей; опирается на коллективное поведение, а не только на свойства объектов.

коммуникационный налог (communication tax): потеря производительности в распределенных системах из-за задержки и затрат пропускной способности на синхронизацию состояния между узлами.

составные ИИ-системы (compound AI systems): архитектуры ИИ, которые объединяют несколько специализированных моделей и компонентов, а не полагаются на одну монолитную модель; дают модульность, специализацию и лучшую интерпретируемость.

сжатый разреженный строчный формат (CSR) (compressed sparse row (CSR)): эффективный по памяти формат хранения разреженных матриц; использует три массива (значения, индексы столбцов и указатели строк), чтобы хранить только ненулевые элементы, снижая память с $\mathcal{O}(N^2)$ (для матрицы $N\times N$) до $\mathcal{O}(K+N)$, где $K$ — число ненулевых элементов.

вычислительный граф (computational graph): ориентированный граф, который представляет последовательность операций в вычислении нейронной сети; позволяет автоматически дифференцировать.

инженерия вычислительных систем (computer engineering): инженерная дисциплина, возникшая в конце 1960-х для решения задач растущей сложности интеграции аппаратуры и программного обеспечения; объединяет знания электротехники и информатики для проектирования сложных вычислительных систем.

дрейф концепции (concept drift): явление, когда $P(Y\mid X)$ — статистическая связь между входами и целевыми значениями — меняется со временем; отличается от дрейфа данных в $P(X)$. Это может, но не обязано ухудшить работу фиксированной модели; для выявления обычно нужны метки исходов, потому что одного дрейфа входов недостаточно, чтобы установить изменение условного распределения.

условные вычисления (conditional computation): динамический прием оптимизации, при котором разные части нейронной сети выборочно активируются в зависимости от характеристик входа; снижает вычислительную нагрузку, пропуская ненужные вычисления для конкретных входов.

консенсусная разметка (consensus labeling): подход к контролю качества, при котором для одной точки данных собирается несколько аннотаций, чтобы выявить спорные случаи и повысить надежность меток через согласие между аннотаторами.

контейнеризация (containerization): упаковка приложений и их зависимостей в переносимые изолированные контейнеры (например, с помощью Docker), чтобы обеспечить одинаковое исполнение в разных средах.

непрерывный батчинг (continuous batching): прием обслуживания больших языковых моделей, при котором запросы добавляются в батч вывода и удаляются из него между шагами генерации токенов по мере того, как последовательности начинаются и заканчиваются.

непрерывная интеграция (continuous integration): практика разработки, при которой изменения кода автоматически интегрируются, тестируются и проверяются несколько раз в день, чтобы рано обнаруживать проблемы.

свертка (convolution): математическая операция, которая скользит фильтром (ядром) по входным данным, извлекая признаки вроде краев, текстур или шаблонов. Свертка лежит в основе сверточных сетей и особенно эффективна для изображений и пространственных данных.

сверточная нейронная сеть (convolutional neural network): специализированная архитектура нейронной сети для данных, организованных в сетку, таких как изображения; использует сверточные слои, которые применяют фильтры для выявления локальных признаков.

coreset (coreset): небольшое подмножество набора данных, отобранное так, чтобы сохранить важные статистические или обучающие свойства полного набора при снижении стоимости обучения или оценки.

каскад исправлений (correction cascade): паттерн технического долга ML, при котором исправление одного компонента порождает новые сбои или потребность в переделке в другом месте, потому что зависимости по данным и моделям распространяются через систему.

сдвиг ковариат (covariate shift): сдвиг распределения, при котором распределения входных признаков меняются, а связь между признаками и метками остается стабильной.

CP-разложение (CP decomposition): разложение CANDECOMP/PARAFAC, которое представляет тензор как сумму компонент ранга один; используется для сжатия слоев нейронной сети за счет сокращения числа параметров при сохранении вычислительной функции.

проблема назначения кредита (credit assignment problem): задача определить, какие веса многослойной сети внесли вклад в ошибки предсказания.

CRISP-DM (CRISP-DM): межотраслевой стандартный процесс добычи данных (Cross-Industry Standard Process for Data Mining), структурированная методология, разработанная в 1996 году; задает шесть фаз для проектов с данными: понимание бизнеса, понимание данных, подготовка данных, моделирование, оценка и развертывание.

критический размер батча (critical batch size): размер батча, после которого увеличение батча дает убывающую выгоду для оптимизации и может ухудшить обобщение; ограничивает простое линейное масштабирование скорости обучения.

перекрестная энтропия (cross-entropy loss): функция потерь, которая часто используется в задачах классификации; измеряет расхождение предсказанного распределения вероятностей и истинных меток классов и дает сильные градиенты для эффективного обучения.

краудсорсинг (crowdsourcing): подход к сбору данных, который привлекает распределенных людей через интернет для задач разметки; позволяет масштабировать создание наборов данных через такие платформы, как Amazon Mechanical Turk.

cuBLAS (cuBLAS): библиотека NVIDIA с подпрограммами линейной алгебры CUDA (CUDA Basic Linear Algebra Subprograms), которая дает ускоренные на GPU реализации стандартных операций линейной алгебры; обеспечивает высокую производительность матричных вычислений на графических процессорах NVIDIA.

CUDA (CUDA (Compute Unified Device Architecture)): платформа параллельных вычислений и модель программирования NVIDIA, которая позволяет выполнять вычисления общего назначения на графических процессорах; дает ML-фреймворкам массовый параллелизм для ускорения операций с тензорами.

поток CUDA (CUDA stream): упорядоченная очередь работы GPU, которая используется для планирования ядер, передач памяти и событий синхронизации, чтобы независимые операции могли перекрываться.

D

таксономия D·A·M (D·A·M taxonomy): диагностическая рамка, которая анализирует узкие места ML-систем по трем взаимодействующим осям: данные (поток информации, ограниченный пропускной способностью), алгоритм (математическая логика, ограниченная общим числом операций) и машина (физическое исполнение, ограниченное пиковой производительностью).

Дартмутская конференция (Dartmouth conference): легендарный восьминедельный семинар 1956 года в Дартмутском колледже, на котором официально родился ИИ; организован Джоном Маккарти, Марвином Минским, Натаниелем Рочестером и Клодом Шенноном по их предложению 1955 года, в котором и появился термин «искусственный интеллект».

данные как исходный код (data as source code): принцип Software 2.0, согласно которому обучающие данные определяют поведение ML-системы, поэтому изменения набора данных действуют как изменения кода, меняющие поведение.

аугментация данных (data augmentation): процесс искусственного расширения обучающих наборов за счет создания модифицированных версий существующих данных с помощью преобразований вроде поворота, масштабирования или добавления шума.

каскады данных (data cascades): системные сбои, при которых проблемы с качеством данных накапливаются со временем и порождают последствия ниже по потоку: сбои моделей, дорогостоящую перестройку или прекращение проекта.

дата-центр (data center): объект, в котором размещаются вычислительные системы и связанные с ними компоненты, включая телекоммуникационное и системное хранилище; обычно содержит тысячи серверов для облачных вычислений.

ориентированный на данные подход (data-centric approach): парадигма машинного обучения, которая ставит во главу угла улучшение качества, разнообразия и курирования данных, а не только усовершенствование архитектуры модели, чтобы добиться лучшей производительности.

ориентированные на данные вычисления (data-centric computing): системы, оптимизированные для эффективного приема данных и итеративной подстройки параметров модели; задача программиста здесь — курировать данные.

контракты данных (data contracts): явные соглашения между производителями и потребителями данных, которые задают схему, ожидания по качеству и уровни сервиса, чтобы предотвратить поломки ниже по потоку.

курирование данных (data curation): процесс отбора, организации и поддержания высококачественных наборов данных: удаление нерелевантной информации, исправление ошибок и обеспечение соответствия данных стандартам конкретного ML-приложения.

долг данных (data debt): накопленные обязательства по качеству данных, документации, схеме, происхождению или свежести, которые со временем усугубляются и ухудшают поведение модели.

дрейф данных (data drift): явление, при котором распределение входов $P(X)$ меняется со временем, хотя код не меняется; это может влиять на производительность модели, но не гарантирует ее ухудшения. Его можно отслеживать без меток, хотя для измерения влияния на качество метки нужны.

эхо данных (data echoing): прием входного конвейера обучения, который переиспользует батчи, часто со свежей аугментацией, когда подготовка данных медленнее, чем потребление ускорителем.

управление данными (data governance): система политик, процедур и технологий, которая обеспечивает безопасность, приватность, соответствие требованиям и этичное использование данных на всем протяжении ML-конвейера.

гравитация данных (data gravity): архитектурное притяжение, которое создают большие объемы данных, время передачи, ограничения пропускной способности и стоимость исходящего трафика; обычно притягивает вычисления к данным.

прием данных (data ingestion): сбор и импорт сырых данных из разных источников в систему, где их можно хранить, обрабатывать и готовить для ML-приложений.

озеро данных (data lake): хранилище, которое содержит структурированные, полуструктурированные и неструктурированные данные в исходном формате и использует подход «схема при чтении» для гибкого анализа.

озеро-хранилище (data lakehouse): архитектура хранения, которая сочетает гибкость озера данных с семантикой запросов в стиле хранилища, управлением схемами и транзакционными гарантиями.

происхождение данных (data lineage): документирование и отслеживание потока данных через преобразования и процессы; дает видимость происхождения данных и их изменений для соответствия требованиям и отладки.

локальность данных (data locality): принцип, согласно которому данные и вычисления должны находиться рядом, когда задержка передачи, пропускная способность или стоимость удаленной обработки доминируют.

параллелизм данных (data parallelism): стратегия распределенного обучения, которая делит набор данных между несколькими устройствами, а каждое устройство хранит полную копию модели; позволяет параллельно вычислять градиенты.

конвейер данных (data pipeline): инфраструктура и рабочие процессы, которые автоматизируют перемещение и преобразование данных от источников через стадии обработки до финального хранилища или потребителя.

качество данных (data quality): степень соответствия данных требованиям по точности, полноте, согласованности и своевременности; напрямую влияет на производительность ML-модели.

множитель качества данных (data quality multiplier): идея, что улучшение качества данных может усиливать выигрыш от изменений модели и системы, поскольку все последующие стадии зависят от данных.

валидация данных (data validation): систематическая проверка того, что собранные данные соответствуют стандартам качества, правильно оформлены и содержат корректную информацию, пригодную для обучения и оценки моделей.

версионирование данных (data versioning): практика отслеживания и управления разными версиями наборов данных во времени, по аналогии с версионированием кода; обеспечивает воспроизводимость и возможность вернуться к прежнему состоянию данных.

хранилище данных (data warehouse): централизованное хранилище, оптимизированное для аналитических запросов (OLAP), в котором интегрированные структурированные данные из нескольких источников хранятся в едином стандартизованном виде.

потоковая архитектура (dataflow architecture): специализированная архитектура вычислений, в которой выполнение операций определяется доступностью данных, а не счетчиком команд; позволяет высокопараллельно обрабатывать операции нейронных сетей.

трудности потоковых вычислений (dataflow challenges): технические сложности управления перемещением данных и зависимостями в аппаратных ускорителях, включая ограничения пропускной способности памяти и требования синхронизации.

datasheets для наборов данных (datasheets for datasets): документация к обучающим данным, которая фиксирует происхождение, методику сбора, демографический состав и известные ограничения, влияющие на поведение модели.

очередь мертвых сообщений (dead letter queue): отдельное хранилище для данных, которые не прошли обработку; позволяет позже проанализировать такие данные и при необходимости обработать их повторно, не блокируя основной конвейер.

дедупликация (deduplication): удаление точных, почти одинаковых или семантически избыточных примеров из набора данных, чтобы сократить объем хранения, вычисления на обучение и риск утечки данных.

глубокое обучение (deep learning): раздел машинного обучения, который использует многослойные искусственные нейронные сети для автоматического выучивания иерархических представлений из данных без явного проектирования признаков.

демографический паритет (demographic parity): критерий справедливости, согласно которому вероятность положительного предсказания не зависит от принадлежности к группе по защищаемым признакам.

масштабирование Деннарда (Dennard scaling): наблюдение, что при уменьшении транзисторов их плотность мощности оставалась постоянной, что позволяло повышать производительность при той же мощности. Его распад около 2005 года завершил эпоху бесплатного роста тактовой частоты.

плотный слой (dense layer): полносвязный слой нейронной сети, в котором каждый нейрон получает входы от всех нейронов предыдущего слоя; обеспечивает полную интеграцию информации между признаками.

ограничения развертывания (deployment constraints): эксплуатационные ограничения вроде аппаратных ресурсов, сетевого соединения, нормативных требований и требований интеграции, которые определяют, как ML-модели реализуются в производственной среде.

парадигма развертывания (deployment paradigm): отдельный подход к размещению и исполнению ML-моделей, которому присущи определенные ресурсные ограничения и эксплуатационные свойства, например облачное ML, периферийное ML, мобильное ML или TinyML.

раздельная по глубине свертка (depthwise separable convolution): факторизация свертки, при которой пространственная фильтрация выполняется независимо для каждого канала, а затем каналы смешиваются поточечной сверткой; сокращает вычисления.

DevOps (DevOps): практика разработки ПО, которая объединяет команды разработки и эксплуатации, чтобы сократить циклы разработки и выпускать качественное ПО за счет автоматизации и совместной работы.

Dhrystone (Dhrystone): целочисленный бенчмарк, представленный в 1984 году; измеряет целочисленные и строковые операции в DMIPS (Dhrystone MIPS) и дополняет тесты с плавающей запятой типичными конструкциями программирования.

диабетическая ретинопатия (diabetic retinopathy): осложнение диабета, которое повреждает кровеносные сосуды сетчатки; ведущая причина предотвратимой слепоты и ключевая область применения медицинских систем скрининга на основе ИИ.

дифференциальная приватность (differential privacy): математическая рамка для количественной оценки и ограничения утечки приватности при публикации статистики по набору данных; ограничивает, насколько может измениться распределение выхода при добавлении или удалении данных любого одного человека.

прямой доступ к памяти (DMA) (direct memory access (DMA)): механизм, который позволяет устройству передавать данные в память и из нее без копирования, управляемого CPU; дает совмещение операций и снижает накладные расходы хоста.

разнесенная оценка (disaggregated evaluation): практика разбивки метрик производительности модели по демографическим группам или другим факторам, чтобы выявить различия, скрытые в совокупных показателях.

налог на диспетчеризацию (dispatch tax): накладные расходы времени исполнения на запуск и оркестрацию множества мелких операций через фреймворк хоста вместо исполнения слитых или скомпилированных участков графа.

распределенные вычисления (distributed computing): подход, при котором данные одновременно обрабатываются на нескольких машинах или процессорах; позволяет масштабируемо работать с большими наборами данных через фреймворки вроде Apache Spark.

распределенный интеллект (distributed intelligence): размещение вычислительных возможностей на нескольких устройствах и в разных местах, а не в одной централизованной системе; обеспечивает локальную обработку и принятие решений.

распределенное обучение (distributed training): метод обучения моделей на нескольких машинах или устройствах, чтобы работать с наборами данных и моделями, которые превышают вычислительные или memory-возможности одного устройства.

сдвиг распределения (distribution shift): изменение статистических свойств данных между обучением и развертыванием или во времени в ходе эксплуатации. К типам относятся сдвиг ковариат (меняется распределение входов), сдвиг меток (меняется распределение выходов) и дрейф концепции (меняется связь между входами и выходами).

DLRM (DLRM): модель глубокого обучения для рекомендаций (Deep Learning Recommendation Model), архитектура Meta, которая сочетает категориальные эмбеддинги с нижним и верхним многослойными перцептронами (MLP) для работы с огромным масштабом и разреженностью рекомендательных нагрузок.

архитектура для конкретной предметной области (domain-specific architecture): аппаратные решения, настроенные под оптимизацию конкретных вычислительных нагрузок; обмениваются гибкость на производительность и энергоэффективность по сравнению с универсальными процессорами.

dropout (dropout): прием регуляризации, при котором во время обучения случайная доля входных элементов обнуляется, чтобы предотвратить переобучение и улучшить обобщение.

проблема умирающего ReLU (dying ReLU problem): режим отказа, при котором нейроны ReLU становятся постоянно неактивными и выдают ноль для всех входов; они перестают участвовать в обучении, когда взвешенные входы стабильно дают отрицательные преактивации.

динамический батчинг (dynamic batching): прием обслуживания, который кратко ждет, чтобы сгруппировать независимые запросы в батч; повышает пропускную способность ценой контролируемой задержки формирования батча.

динамический граф (dynamic graph): вычислительный граф, который строится и изменяется во время выполнения программы; позволяет гибко описывать архитектуры и упрощает отладку, но может ограничивать возможности оптимизации по сравнению со статическими графами.

динамическое прореживание (dynamic pruning): подход к прореживанию, который меняет, какие параметры или блоки неактивны, в зависимости от входных данных или динамики обучения, а не опирается только на фиксированное решение о прореживании.

динамическое квантование (dynamic quantization): хранение весов нейронной сети в пониженной точности с определением параметров квантования активаций во время выполнения; снижает использование памяти, а для ускорения требует поддержки низкоточных ядер.

динамическая память с произвольным доступом (DRAM) (dynamic random-access memory (DRAM)): энергозависимая память, которая хранит данные в конденсаторах и требует периодического обновления; обычно служит основной памятью компьютерных систем.

динамическое масштабирование напряжения и частоты (DVFS) (dynamic voltage and frequency scaling (DVFS)): метод управления питанием, который подстраивает напряжение и тактовую частоту процессора под нагрузку, чтобы экономить энергию при сохранении производительности.

E

жадное исполнение (eager execution): режим исполнения, при котором операции вычисляются сразу при вызове в коде; дает интуитивную отладку и удобную разработку, но может упускать возможности оптимизации, доступные при исполнении по графу.

архитектуры с ранним выходом (early exit architectures): конструкции нейронных сетей с несколькими головами предсказания на разной глубине; позволяют выходить из сети раньше, когда предсказание достаточно уверенное, и снижают среднюю стоимость вычислений на один вывод.

периферийные вычисления (edge computing): парадигма распределенных вычислений, которая приближает вычисления и хранение данных к источникам данных, сокращая задержку и использование пропускной способности.

периферийное развертывание (edge deployment): стратегия развертывания, при которой ML-модели работают локально на устройствах на периферии сети, а не на централизованных облачных серверах; сокращает задержку и позволяет работать без постоянного интернет-соединения.

граница эффективности (efficiency frontier): оптимальная кривая компромисса между точностью и вычислительной стоимостью (задержкой, энергией или памятью), на которой не существует модели, одновременно более точной и более эффективной.

EfficientNet (EfficientNet): семейство архитектур нейронных сетей, найденных поиском архитектур; достигает лучшего баланса точности и эффективности за счет составного масштабирования глубины, ширины и разрешения входа.

EL2N (EL2N (Error L2-Norm)): метод оценки примеров, который ранжирует их по ошибке раннего предсказания, часто с помощью прокси-модели, чтобы отбирать информативные пограничные случаи.

ELIZA (ELIZA): один из первых чат-ботов, созданный Джозефом Вайценбаумом в MIT в 1966 году; имитировал человеческий разговор через сопоставление с образцами и подстановки. Примечателен тем, что люди начинали эмоционально привязываться к этой простой программе.

встраиваемые системы (embedded systems): вычислительные системы с выделенными функциями внутри более крупных механических или электрических систем; обычно созданы для конкретных задач с ограничениями вычислений реального времени.

шардирование эмбеддингов (embedding sharding): разбиение больших таблиц эмбеддингов между устройствами или узлами, чтобы они помещались в суммарную память; добавляет коммуникацию для сбора эмбеддингов в каждом батче.

таблица эмбеддингов (embedding table): таблица поиска, которая сопоставляет дискретные идентификаторы или токены плотным векторам; часто занимает большую часть памяти в рекомендательных моделях и при больших словарях.

возникающие поведения (emergent behaviors): неожиданные системные закономерности или свойства, которые возникают из взаимодействия отдельных компонентов и часто проявляются только при работе системы в масштабе или в реальных условиях.

кодировщик–декодер (encoder-decoder): архитектурный паттерн, в котором кодировщик преобразует вход в промежуточное представление, а декодер генерирует выход из него; часто используется в задачах «последовательность в последовательность».

сквозные бенчмарки (end-to-end benchmarks): методика всесторонней оценки, которая измеряет весь конвейер ИИ-системы: обработку данных, исполнение модели, постобработку и инфраструктурные компоненты.

энергоэффективность (energy efficiency): мера вычислительной работы на единицу потребленной энергии, обычно выражается в операциях на джоуль; критична для устройств на батарее и для центров обработки данных.

энергия на вывод (energy per inference): полная энергия, потребленная для получения одного предсказания модели, включая исполнение модели и соответствующие накладные расходы системы.

эпоха (epoch): один полный проход по всему обучающему набору данных во время обучения нейронной сети; состоит из нескольких батчевых итераций в зависимости от размера набора и батча.

равенство возможностей (equal opportunity): критерий справедливости, который требует равной доли истинно положительных результатов для разных демографических групп.

равенство шансов (equalized odds): критерий справедливости, который требует равенства и доли истинно положительных, и доли ложно положительных результатов для разных демографических групп.

ожидаемая калибровочная ошибка (ECE) (expected calibration error (ECE)): метрика, которая измеряет разрыв между предсказанной уверенностью и наблюдаемой точностью по корзинам уверенности; используется для оценки калибровки вероятностей.

отслеживание экспериментов (experiment tracking): систематическая фиксация и управление ML-экспериментами, включая гиперпараметры, версии моделей, обучающие данные и метрики производительности, чтобы обеспечить сравнение и воспроизводимость.

экспертные системы (expert systems): системы ИИ, которые появились в середине 1960-х и фиксировали знания human-экспертов в узких областях; примером служит MYCIN для диагностики инфекций крови. Они отражают переход от общего ИИ к прикладным решениям для конкретных областей.

извлечение, загрузка, преобразование (ELT) (extract, load, transform (ELT)): парадигма обработки данных, при которой сырые данные сначала загружаются в целевую систему, а преобразования применяются позже; дает гибкость для меняющихся аналитических задач.

извлечение, преобразование, загрузка (ETL) (extract, transform, load (ETL)): традиционная парадигма обработки данных, в которой данные преобразуются до загрузки в хранилище данных, поэтому на выходе получаются готовые к запросам отформатированные данные.

F

отмывание справедливости (fairness laundering): режим отказа, при котором удаление явных защищаемых признаков делает систему внешне соответствующей требованиям, а коррелирующие прокси-переменные продолжают воспроизводить дискриминационные результаты.

доля ложноположительных (FPR) (false positive rate (FPR)): доля фактически отрицательных случаев, ошибочно отнесенных к положительным; вычисляется как число ложноположительных срабатываний, деленное на сумму ложноположительных и истинно отрицательных.

FarmBeats (FarmBeats): проект Microsoft Research, который применяет машинное обучение и технологии интернета вещей (IoT) в сельском хозяйстве; с помощью периферийных вычислений собирает данные в реальном времени о состоянии почвы и здоровье посевов и показывает распределенные системы ИИ в сложных реальных условиях.

конструирование признаков (feature engineering): процесс вручную проектировать и извлекать релевантные признаки из сырых данных, чтобы улучшить производительность модели; в системах глубокого обучения во многом автоматизирован.

карта признаков (feature map): выход сверточного слоя, который представляет отклик выученных фильтров в разных пространственных положениях входа и фиксирует обнаруженные признаки в разных местах.

хранилище признаков (feature store): специализированная система хранения данных, которая предоставляет стандартизованные, переиспользуемые признаки для ML и позволяет делить их между моделями и командами.

федеративное обучение (federated learning): подход к машинному обучению, при котором алгоритмы обучаются на распределенных периферийных устройствах или серверах с локальными данными, не обмениваясь самими данными.

петля обратной связи (feedback loop): циклический процесс, при котором выходы влияют на будущие входы. В ML это включает как полезные циклы (выход модели помогает улучшать систему), так и вредные (предсказания модели влияют на ее собственные будущие обучающие данные и могут со временем усиливать исходные смещения).

нейронная сеть прямого распространения (feedforward network): архитектура нейронной сети, в которой информация течет в одном направлении от входного к выходному слою без циклов; основа многих моделей глубокого обучения.

программируемая логическая матрица (FPGA) (field-programmable gate array (FPGA)): реконфигурируемая интегральная схема, которую можно запрограммировать после производства, чтобы реализовать специализированные цифровые схемы и вычисления; дает гибкость между универсальными процессорами и ASIC.

тонкая настройка (fine-tuning): адаптация предобученной модели к целевой задаче или области через продолжение обучения на данных конкретной задачи.

Five-Pillar Framework (Five-Pillar Framework): организационная структура инженерии ML-систем из пяти взаимосвязанных дисциплин: инженерия данных, системы обучения, инфраструктура развертывания, эксплуатация и мониторинг, этика и управление.

FlashAttention (FlashAttention): алгоритм внимания с учетом ввода-вывода, который разбивает вычисления на тайлы и не материализует полную матрицу внимания в памяти с высокой пропускной способностью; снижает трафик памяти и позволяет работать с более длинными последовательностями.

блок операций с плавающей запятой (FPU) (floating-point unit (FPU)): специализированный компонент процессора, который выполняет арифметику с числами с плавающей запятой с высокой точностью и эффективностью.

FLOP/s (FLOP/s): операции с плавающей запятой в секунду; мера вычислительной пропускной способности, которая показывает, сколько операций с плавающей запятой система способна выполнить за секунду.

события забывания (forgetting events): случаи, когда модель, которая правильно классифицировала пример, позднее в обучении начинает ошибаться; отмечают трудные или информативные образцы.

прямой проход (forward pass): вычисление предсказаний нейронной сети: входные данные последовательно проходят через слои, и на каждом этапе применяются веса, смещения и функции активации, чтобы получить выход. Также называется прямым распространением.

фундаментальная модель (foundation model): крупномасштабная модель машинного обучения, обученная на широких данных, которую можно адаптировать к большому кругу последующих задач и использовать как основу для специализированных приложений.

четырехопорная рамка (four pillars framework): рамка инженерии данных, которая организует задачи по четырем направлениям: качество, надежность, масштабируемость и управление; служит для управления жизненным циклом данных.

FP16 (FP16): 16-битное представление чисел с плавающей запятой, которое снижает использование памяти и ускоряет вычисления на современных ускорителях, сохраняя приемлемую точность для многих ML-задач.

FP32 (FP32): 32-битное представление чисел с плавающей запятой, которое обеспечивает стандартную точность математических вычислений, но требует больше памяти и вычислительных ресурсов, чем форматы с меньшей точностью.

FP32 в INT8 (FP32 to INT8): распространенное преобразование квантования, которое переводит 32-битные веса и активации с плавающей запятой в 8-битные целые; дает примерно четырехкратное сокращение памяти при приемлемой точности для многих моделей.

FP8 (FP8): семейство 8-битных форматов с плавающей запятой, которое используется на новых ускорителях для высокопроизводительного обучения и вывода; требует аккуратного масштабирования из-за ограниченной точности и диапазона.

декомпозиция фреймворка (framework decomposition): систематическое разбиение нейросетевых фреймворков на компоненты, которые можно сопоставить с аппаратурой, что позволяет эффективно распределять операции между вычислительными элементами.

G

GEMM (GEMM): операции обобщенного матричного умножения, которые следуют шаблону $C=\alpha AB+\beta C$; это базовое вычислительное ядро, лежащее в основе большинства операций нейронных сетей, включая полносвязные и сверточные слои.

GEMV (GEMV): операции умножения матрицы на вектор, которые вычисляют произведение матрицы и вектора; часто используются в вычислениях нейронных сетей и требуют тщательной оптимизации шаблонов доступа к памяти.

обобщение (generalization): способность модели машинного обучения хорошо работать на невиденных данных, отличающихся от обучающей выборки; часто улучшается за счет разнообразных и качественных обучающих данных.

разрыв обобщения (generalization gap): разница между качеством модели на обучающих данных и на отложенной выборке. Большой разрыв может указывать на переобучение под обучающие данные.

генеративный ИИ (generative AI): категория систем искусственного интеллекта, способных создавать новый контент (текст, изображения, аудио или видео) на основе закономерностей, выученных из обучающих данных.

закон Гудхарта (Goodhart’s Law): наблюдение, что когда мера становится целью оптимизации, она может перестать отражать исходную цель.

GPT-2 (GPT-2): авторегрессионная языковая модель на 1,5 млрд параметров, выпущенная OpenAI в 2019 году; служит основной маячной моделью для анализа ограничений пропускной способности памяти при выводе трансформеров.

плавная деградация (graceful degradation): принцип проектирования систем, при котором сервисы продолжают работать с ограниченными возможностями при частичных сбоях или недоступности данных.

накопление градиентов (gradient accumulation): прием, который имитирует большие батчи, накапливая градиенты нескольких меньших батчей перед обновлением параметров модели; позволяет обучать при ограниченной памяти.

прореживание на основе градиентов (gradient-based pruning): метод прореживания, который использует информацию о градиентах для ранжирования параметров, нейронов или фильтров как кандидатов на удаление.

отсечение градиентов (gradient clipping): прием оптимизации, который смягчает взрыв градиентов, ограничивая их величину при обратном распространении; обычно масштабирует градиенты, когда их норма превышает порог.

сжатие градиентов (gradient compression): прием распределенного обучения, который снижает накладные расходы коммуникации за счет сжатия информации о градиентах, которой обмениваются вычислительные узлы.

градиентный спуск (gradient descent): алгоритм оптимизации, который итеративно подстраивает параметры нейронной сети в направлении уменьшения функции потерь; градиенты задают направление и величину шагов.

синхронизация градиентов (gradient synchronization): процесс в распределенном обучении, при котором локально вычисленные градиенты агрегируются между устройствами, чтобы все они обновляли параметры согласованно.

GraNd (Gradient Normed) (GraNd (Gradient Normed)): оценка для отбора данных, основанная на норме градиента примера на раннем этапе обучения; выделяет образцы с более сильным обучающим сигналом.

разрыв графа (graph break): точка, в которой компилятор не может захватить часть программы и должен перейти к жадному исполнению, разрезая оптимизированные участки графа.

графический процессор (GPU) (graphics processing unit (GPU)): специализированный процессор, изначально созданный для отрисовки графики, который дает массовый параллелизм, необходимый для эффективных вычислений нейронных сетей при обучении и выводе.

зеленый ИИ (Green AI): направление в исследованиях и практике ИИ, которое ставит вычислительную эффективность и энергопотребление в ряд основных метрик наряду с традиционными показателями вроде точности.

Green500 (Green500): рейтинг самых мощных суперкомпьютеров мира по энергоэффективности, которая измеряется в FLOP/s на ватт, а не по сырой вычислительной производительности.

эталонная истина (ground truth): эталонная цель, которая считается правильной для обучения или оценки; часто получается из измерения или разметки и поэтому не обязательно совпадает с объективной реальностью.

GRU (GRU): управляемый рекуррентный блок (Gated Recurrent Unit), упрощенный вариант LSTM, который использует меньше вентилей, сохраняя способность улавливать долгосрочные зависимости в последовательных данных.

H

аппаратная абстракция (hardware abstraction): слой ML-фреймворков, который предоставляет единый интерфейс к разнородному вычислительному оборудованию (CPU, GPU, TPU, ускорители), скрывая оптимизации под конкретное устройство и управление памятью.

аппаратное ускорение (hardware acceleration): использование специализированного вычислительного оборудования для более быстрого и эффективного выполнения определенных операций по сравнению с программами на универсальных процессорах.

аппаратный ускоритель (hardware accelerator): специализированное вычислительное оборудование, предназначенное для эффективного выполнения определенных видов вычислений, например GPU для параллельной обработки или TPU для ML-нагрузок.

проектирование с учетом аппаратуры (hardware-aware design): практика проектирования архитектур нейронных сетей, оптимизированных под целевые аппаратные платформы; учитывает иерархию памяти, вычислительные блоки и паттерны перемещения данных для максимальной эффективности.

скрытый слой (hidden layer): промежуточный слой нейронной сети между входным и выходным слоями, который выучивает абстрактные представления, преобразуя данные обучаемыми весами и функциями активации.

скрытое состояние (hidden state): внутренняя память рекуррентных нейронных сетей, которая переносит информацию с предыдущих временных шагов и позволяет сохранять контекст по последовательным входам.

иерархическая обработка (hierarchical processing): многоуровневая архитектура системы, в которой данные и интеллект передаются между разными уровнями вычислительного стека: от датчиков к периферийным устройствам и облачным системам.

память с высокой пропускной способностью (HBM) (high-bandwidth memory (HBM)): передовая технология памяти, которая дает гораздо большую пропускную способность, чем обычная DRAM, за счет трехмерной укладки и широких интерфейсов; критична для ИИ-нагрузок с интенсивным обменом данными.

горизонтальное масштабирование (horizontal scaling): увеличение мощности системы за счет добавления машин или экземпляров, а не модернизации существующего оборудования; обеспечивает лучшую отказоустойчивость и распределение нагрузки.

гибридное машинное обучение (hybrid machine learning): объединение нескольких ML-парадигм, таких как облачное, периферийное, мобильное ML и TinyML, в единые распределенные системы, которые сочетают взаимодополняющие сильные стороны.

гибридный параллелизм (hybrid parallelism): подход распределенного обучения, который сочетает параллелизм данных и параллелизм модели, чтобы использовать преимущества обеих стратегий при обучении очень крупных моделей.

гиперпараметр (hyperparameter): настройка, которая управляет процессом обучения, но не выучивается из данных; например, скорость обучения, размер батча или выбор архитектуры сети.

гипермасштабный дата-центр (hyperscale data center): крупные объекты дата-центров с тысячами серверов и обширными площадями, спроектированные для эффективной поддержки массовых вычислительных нагрузок.

I

узкое место ввода-вывода (I/O bottleneck): ограничение производительности, при котором хранилище, декодирование, предобработка или передача данных не успевают подавать данные, чтобы загрузить вычислительные ресурсы.

идемпотентное преобразование (idempotent transformation): преобразование данных, которое при многократном применении дает тот же результат, что и при однократном; поддерживает безопасные повторы и повторную обработку.

im2col (im2col): прием приведения свертки к матричному виду, при котором фрагменты изображения разворачиваются в столбцы матрицы, и свертка исполняется как GEMM.

ImageNet (ImageNet): огромная база изображений, которая содержит более 14 млн размеченных изображений в более чем 20 000 категорий; ее создала команда под руководством Фэй-Фэй Ли и представила в 2009 году. Ежегодный конкурс на ее основе стал важным драйвером прорывов в компьютерном зрении.

императивное программирование (imperative programming): парадигма программирования, в которой программа задает последовательность команд, обновляющих состояние и управляющих потоком; она не сводится к тому, исполняются ли операции сразу или заранее формируются для отложенного исполнения.

индуктивное смещение (inductive bias): структурное допущение, заложенное в модель или архитектуру, которое ограничивает класс функций, эффективно выучиваемых ею; например, локальность в сверточных сетях.

вывод (inference): эксплуатационная фаза, в которой обученная нейронная сеть делает предсказания по новым данным при фиксированных параметрах, без обновления весов.

InfiniBand (InfiniBand): высокопроизводительная сетевая технология с низкой задержкой, которая часто используется в многоузловых кластерах ускорителей и для распределенного обучения.

отношение информации к вычислениям (ICR) (information-compute ratio (ICR)): метрика эффективности отбора данных, равная отношению прироста качества модели к вычислительной стоимости (FLOP), необходимой для его достижения. Максимизация ICR — основная цель стратегий отбора данных.

инфраструктура как код (infrastructure as code): практика управления вычислительной инфраструктурой и ее развертывания через машиночитаемые файлы конфигурации, а не вручную; позволяет вести контроль версий и автоматизировать процессы.

INT8 (INT8): 8-битное знаковое целое, которое используется для квантования весов, активаций или того и другого. Одно значение INT8 занимает четверть памяти, нужной для значения FP32; поддерживающая аппаратура может ускорять подходящие операции, а точность зависит от схемы квантования.

промежуточное представление (IR) (intermediate representation (IR)): внутреннее представление компилятора между кодом модели на уровне фронтенда и генерацией кода для аппаратного бэкенда; ML-фреймворки используют его для оптимизации и переносимости.

интернет вещей (internet of things): сеть физических объектов, оснащенных датчиками, программным обеспечением и другими технологиями, которые подключаются к интернету и обмениваются данными с другими устройствами и системами.

интерсекциональный анализ (intersectional analysis): оценка, которая учитывает сочетания демографических признаков (например, расу и пол одновременно), чтобы выявить сконцентрированный вред, незаметный при анализе по одному признаку.

IOPS (IOPS): операции ввода-вывода в секунду; метрика производительности хранилища, которая измеряет число операций чтения и записи, которые устройство выполняет за секунду; критична для нагрузок с произвольным доступом, например для загрузки обучающих данных.

железный закон систем ML (Iron Law of ML Systems): количественная рамка, которая раскладывает производительность ML-системы на три члена: данные (ограничены пропускной способностью), вычисления (ограничены FLOP/s) и задержка (ограничена накладными расходами). Формула: $T=D_{\text{vol}}/\text{BW}+O/(R_{\text{peak}}\cdot {\eta }_{\text{hw}})+L_{\text{lat}}$.

итеративное прореживание (iterative pruning): постепенная стратегия прореживания, которая удаляет параметры в несколько этапов с дообучением между ними; позволяет модели адаптироваться к сниженной емкости и обычно дает лучшую точность, чем прореживание за один шаг.

J

JAX (JAX): библиотека численных вычислений от Google Research, которая сочетает API NumPy с функциональными преобразованиями, включая автоматическое дифференцирование, компиляцию «точно в срок» и автоматическую векторизацию; используется для высокопроизводительных исследований в машинном обучении.

JIT-компиляция (JIT compilation): компиляция «точно в срок» (Just-In-Time), которая анализирует и оптимизирует код во время выполнения; позволяет фреймворкам сочетать гибкость жадного исполнения с выигрышем от оптимизации графа, компилируя часто вызываемые функции.

K

k-анонимность (k-anonymity): метод защиты приватности, который гарантирует, что каждая запись в наборе данных неотличима как минимум от k−1 других записей за счет обобщения квазиидентификаторов.

ядро (kernel): небольшая матрица обучаемых весов в сверточных слоях, которая выявляет определенные признаки через операцию свертки; также называется фильтром. В программировании GPU этим термином обозначают функцию, которую запускает сетка потоков для параллельного исполнения.

слияние ядер (kernel fusion): прием оптимизации, который объединяет несколько вычислительных операций в одно ядро, чтобы сократить передачи памяти и повысить производительность на параллельных процессорах.

поиск ключевых слов (KWS) (keyword spotting (KWS)): технология, которая обнаруживает в аудиопотоке определенные слова-активаторы или фразы; обычно используется в устройствах с голосовым управлением при ограничениях по энергопотреблению и задержке.

дистилляция знаний (knowledge distillation): прием сжатия модели, при котором меньшая сеть-«ученик» учится повторять поведение большей сети-«учителя», обучаясь на мягких выходных вероятностях учителя, а не только на жестких метках.

критерий Колмогорова–Смирнова (K-S) (Kolmogorov-Smirnov test (K-S test)): непараметрический критерий, который измеряет максимальное расстояние между двумя кумулятивными распределениями; часто используется для сравнения распределений признаков при поиске дрейфа.

дивергенция Кульбака–Лейблера (KL) (Kullback-Leibler divergence (KL divergence)): асимметричная информационно-теоретическая мера того, насколько одно распределение вероятностей отличается от другого; используется в мониторинге и анализе дрейфа.

KV-кэш (KV cache): сохраненные тензоры ключей и значений предыдущих токенов трансформера, которые используются при авторегрессионном выводе, чтобы не пересчитывать историю внимания.

L

норма L0 (L0 norm): число ненулевых элементов вектора или тензора; используется при прореживании, чтобы выразить разреженность или целевой бюджет оставшихся весов.

дрейф качества меток (label quality drift): ухудшение надежности или согласованности меток со временем, даже когда базовое распределение входов остается стабильным.

сдвиг меток (label shift): сдвиг распределения, при котором меняются частоты меток, а закономерности признаков при заданных метках остаются стабильными.

LAPACK (LAPACK): библиотека линейной алгебры (Linear Algebra Package), которая расширяет BLAS операциями более высокого уровня: разложениями матриц, задачами на собственные значения и решением линейных систем; служит математической основой вычислений в машинном обучении.

задержка (latency): временная задержка между запросом или событием и соответствующим ответом или завершением; критична в приложениях реального времени, где нужен быстрый отклик.

ограничения задержки (latency constraints): требования реального времени, которые ограничивают максимально допустимую задержку вывода модели и определяют решения по оптимизации в сценариях развертывания, где время отклика критично.

нормализация слоя (layer normalization): прием нормализации, который нормализует входы по размерности признаков для каждого примера; часто используется в архитектурах трансформеров для стабилизации обучения.

послойное квантование (layerwise quantization): гранулярность квантования, при которой все параметры одного слоя используют одни и те же параметры квантования; дает вычислительную эффективность, но может ограничивать точность представления по сравнению с более мелкими подходами.

скорость обучения (learning rate): гиперпараметр, который задает размер шага обновления весов при градиентном спуске; сильно влияет на стабильность обучения и скорость сходимости.

расписание скорости обучения (learning rate scheduling): систематическая подстройка скорости обучения во время обучения с помощью стратегий вроде ступенчатого затухания, экспоненциального затухания или косинусного отжига для улучшения сходимости и итогового качества модели.

согласованность жизненного цикла (lifecycle coherence): принцип, по которому все этапы разработки ML должны соответствовать общим целям системы и сохранять согласованность в работе с данными, архитектуре модели и критериях оценки.

сбой линейного масштабирования (linear scaling failure): явление, когда увеличение вычислительных ресурсов (например, удвоение ускорителей) дает сублинейный прирост производительности из-за накладных расходов коммуникации и затрат на синхронизацию.

LINPACK (LINPACK): бенчмарк, разработанный в Аргоннской национальной лаборатории; измеряет производительность системы через решение плотных систем линейных уравнений и известен использованием в рейтинге суперкомпьютеров TOP500.

закон Литтла (Little’s Law): соотношение теории очередей, по которому средняя одновременность равна интенсивности прихода, умноженной на среднее время пребывания в системе; связывает пропускную способность, задержку и емкость.

Llama (Llama): большие языковые модели Meta AI (Large Language Model Meta AI), семейство открытых фундаментальных моделей, которое популяризовало эффективные архитектурные решения вроде RMSNorm и SwiGLU; служит современной опорой для эффективности крупных трансформеров.

балансировка нагрузки (load balancing): распределение входящих запросов между несколькими экземплярами серверов, чтобы предотвратить узкие места, улучшить время отклика и обеспечить высокую доступность.

локально-чувствительное хеширование (LSH) (locality-sensitive hashing (LSH)): семейство хеш-функций, которые с высокой вероятностью относят похожие объекты к одним и тем же корзинам; позволяет масштабируемо и приближенно искать похожие элементы.

логиты (logits): сырые, ненормированные оценки последнего слоя нейронной сети до применения функции активации (например, softmax), которая превращает их в вероятности.

функция потерь (loss function): математическая функция, которая измеряет, насколько выходы модели удовлетворяют целевой задаче обучения; задает целевую величину, которую минимизирует алгоритм обучения.

масштабирование потерь (loss scaling): прием обучения в смешанной точности, который умножает функцию потерь на большой коэффициент перед обратным распространением, чтобы предотвратить антипереполнение градиентов в форматах пониженной точности.

гипотеза лотерейного билета (Lottery Ticket Hypothesis): теория, согласно которой большие нейронные сети содержат разреженные подсети; при обучении с правильной инициализации в изоляции они могут дать точность, сравнимую с полной сетью, будучи значительно меньше.

низкоранговая факторизация (low-rank factorization): метод матричного разложения, который аппроксимирует большие матрицы весов произведением меньших матриц; сокращает число параметров и вычислений в слоях нейронной сети.

LSTM (LSTM): долгая краткосрочная память (Long Short-Term Memory), архитектура рекуррентной сети, созданная для работы с долгосрочными зависимостями; использует вентили, которые управляют потоком информации.

M

машинное обучение (machine learning): раздел искусственного интеллекта, который позволяет системам автоматически улучшать качество решения задач на основе опыта и данных, а не явного программирования.

фреймворк машинного обучения (machine learning framework): программная платформа, которая предоставляет инструменты и абстракции для проектирования, обучения и развертывания моделей, соединяя прикладной код с инфраструктурой через вычислительные графы, оптимизацию под аппаратуру и оркестрацию рабочих процессов. Примеры: TensorFlow, PyTorch и JAX.

жизненный цикл машинного обучения (machine learning lifecycle): структурированный итеративный процесс, который охватывает все этапы разработки, развертывания и сопровождения ML-систем: от постановки задачи до постоянного мониторинга и улучшения.

MLOps (machine learning operations (MLOps)): инженерная дисциплина и набор инструментов, которые направлены на операционализацию ML-моделей через автоматизацию, мониторинг и управление всем ML-конвейером от разработки до производства.

инженерия ML-систем (machine learning systems engineering): инженерная дисциплина, которая занимается созданием надежных, эффективных и масштабируемых систем ИИ на вычислительных платформах и охватывает весь жизненный цикл ИИ: от получения данных через развертывание и эксплуатацию, с вниманием к ресурсным ограничениям и оптимизации на уровне системы.

макробенчмарки (macro benchmarks): методика оценки, которая тестирует целые модели машинного обучения, чтобы понять, как архитектурные решения и взаимодействие компонентов влияют на поведение и производительность системы в целом.

прореживание по величине (magnitude-based pruning): наиболее распространенный метод прореживания, который удаляет параметры с наименьшими абсолютными значениями; опирается на допущение, что веса с меньшей величиной вносят меньший вклад в выход модели.

маскирование (masking): прием анонимизации, который изменяет или скрывает чувствительные значения так, чтобы их нельзя было напрямую связать с исходным субъектом данных.

атака на принадлежность (membership inference attack): атака на приватность, которая пытается определить, входила ли конкретная запись в обучающие данные модели.

пропускная способность памяти (memory bandwidth): скорость чтения или записи данных в память, измеряется в байтах в секунду; часто становится узким местом в нагрузках ML, интенсивных по памяти.

иерархия памяти (memory hierarchy): организация систем памяти с разной скоростью доступа и емкостью: от быстрых кэшей на кристалле до медленной внешней основной памяти.

стена памяти (memory wall): растущий разрыв производительности между скоростью процессора и пропускной способностью памяти, когда вычислительные возможности опережают скорость доставки данных процессору; становится главным узким местом для крупных ML-моделей.

метаданные (metadata): описательная информация о наборах данных, включая сведения о сборе данных, метриках качества, статусе валидации и другой контекстной информации, важной для управления данными.

микробатч (micro-batch): меньший фрагмент эффективного батча, который обрабатывается последовательно для накопления градиентов или конвейерного параллелизма, чтобы снизить пиковую память.

микробенчмарки (micro benchmarks): специализированные инструменты оценки, которые тестируют отдельные компоненты или конкретные операции в ML-системах, например тензорные операции или слои нейронной сети.

микроконтроллер (microcontroller): небольшой компьютер на одной интегральной схеме, который содержит ядро процессора, память и программируемую периферию ввода-вывода; обычно используется во встраиваемых системах.

MinHash (MinHash): метод скетчинга, который приближенно оценивает сходство множеств компактными сигнатурами; часто применяется для масштабируемого обнаружения почти дубликатов.

мини-батчевый градиентный спуск (mini-batch gradient descent): подход к обучению, который вычисляет градиенты и обновляет веса по небольшому подмножеству примеров одновременно, балансируя вычислительную эффективность и качество оценки градиента.

мини-батчевая обработка (mini-batch processing): оптимизационный подход, который вычисляет градиенты по небольшим батчам примеров; сочетает вычислительную эффективность пакетной обработки с ограничениями памяти стохастических методов.

вычисления в смешанной точности (mixed-precision computing): прием, который использует разные численные точности на разных стадиях вычислений, например FP16 для матричных умножений и FP32 для накоплений.

обучение в смешанной точности (mixed-precision training): методика обучения, которая сочетает разные численные точности (обычно FP16 и FP32), чтобы экономить память и ускорять вычисления при сохранении устойчивости обучения.

ML-узел (ML node): одно производственное ML-приложение, рассматриваемое как эксплуатационная единица; включает конвейеры данных, вычисление признаков, обучение модели, инфраструктуру обслуживания и мониторинг.

ML-системы (ML systems): интегрированные вычислительные системы из трех основных компонентов: данных, которые направляют поведение алгоритма; алгоритмов обучения, которые извлекают закономерности из данных; и вычислительной инфраструктуры, которая обеспечивает обучение и вывод.

спектр ML-систем (ML systems spectrum): диапазон развертываний ML-систем от облачных систем с обильными ресурсами до крошечных встраиваемых устройств с жесткими ограничениями; каждому требуются свои стратегии оптимизации и компромиссы.

ML Test Score (ML Test Score): рубрика готовности ML-систем к производству, которая оценивает тесты данных, модели, инфраструктуры и мониторинга.

MLCommons (MLCommons): организация, которая разрабатывает и поддерживает отраслевые стандартные бенчмарки для систем машинного обучения, включая набор MLPerf для оценки обучения и вывода.

MLPerf (MLPerf): отраслевой стандартный набор бенчмарков, который предоставляет унифицированные тесты обучения и вывода на разных нагрузках глубокого обучения и позволяет честно сравнивать ML-системы.

сценарии исполнения MLPerf (MLPerf execution scenarios): стандартные сценарии трафика вывода MLPerf, которые моделируют последовательные, синхронизированные, серверные, пакетные и интерактивные нагрузки с разными требованиями к задержке и пропускной способности.

MLPerf Inference (MLPerf Inference): фреймворк бенчмарков, который оценивает производительность вывода ML в разных средах развертывания: от облачных дата-центров до мобильных устройств и встраиваемых систем.

MLPerf Mobile (MLPerf Mobile): специализированный бенчмарк, который распространяет оценку MLPerf на смартфоны и мобильные устройства и измеряет задержку и отклик при строгих ограничениях по питанию и памяти.

MLPerf Power (MLPerf Power): методика MLPerf для измерения мощности и энергоэффективности ML-нагрузок наряду с производительностью.

MLPerf Tiny (MLPerf Tiny): бенчмарк для встраиваемых систем ИИ со сверхнизким энергопотреблением, таких как устройства IoT, носимые устройства и микроконтроллеры с минимальными вычислительными возможностями.

MLPerf Training (MLPerf Training): стандартизованный бенчмарк, который оценивает производительность обучения, измеряя время до заданной точности, пропускную способность и загрузку ресурсов на разных аппаратных платформах.

мобильное машинное обучение (mobile machine learning): выполнение ML-моделей непосредственно на переносных устройствах с батарейным питанием, таких как смартфоны и планшеты; позволяет создавать персонализированные и отзывчивые приложения.

карточки моделей (model cards): стандартизованный формат документирования ML-моделей, который фиксирует сведения, важные для ответственного развертывания: назначение, факторы производительности и этические соображения.

ИИ, ориентированный на модель (model-centric AI): исследовательская парадигма, в которой набор данных считается фиксированным, а инженерные усилия направлены на оптимизацию архитектуры модели.

сжатие модели (model compression): приемы, которые уменьшают размер и вычислительные требования ML-моделей при стремлении сохранить точность; позволяют развертывать модели на устройствах с ограниченными ресурсами.

развертывание модели (model deployment): процесс интеграции обученной ML-модели в производственные системы, где она может делать предсказания по новым данным и приносить пользу конечным пользователям.

дрейф модели (model drift): ухудшение качества ML-модели со временем из-за изменения шаблонов данных, поведения пользователей или условий среды, которые отличаются от условий обучения.

оценка модели (model evaluation): систематическая проверка качества ML-модели с помощью метрик и методов валидации, чтобы определить, соответствует ли модель требованиям и готова ли к развертыванию.

утилизация FLOP модели (MFU) (model FLOPs utilization (MFU)): отношение FLOP/s модели, подразумеваемых наблюдаемой пропускной способностью, к теоретическому пиковому FLOP/s аппаратуры; показывает, насколько эффективно нагрузка использует доступные вычисления для расчета модели.

оптимизация модели (model optimization): систематическое улучшение ML-моделей для повышения их эффективности при сохранении качества; балансирует компромиссы между точностью, вычислительной стоимостью, памятью, задержкой и энергоэффективностью.

параллелизм модели (model parallelism): стратегия распределенного обучения, которая делит нейронную сеть между несколькими устройствами; каждое устройство вычисляет свою часть сети.

квантование модели (model quantization): снижение численной точности ML-моделей, обычно с FP32 до INT8, чтобы уменьшить размер модели и трафик памяти; ускорение достигается только при эффективных низкоточных ядрах.

реестр моделей (model registry): централизованное хранилище для хранения, версионирования и управления обученными моделями вместе с метаданными; облегчает управление моделями и их развертывание.

обслуживание моделей (model serving): инфраструктура и системы, которые предоставляют развернутые модели через API для обработки запросов на предсказания в масштабе с нужной задержкой и пропускной способностью.

обучение модели (model training): процесс использования алгоритмов машинного обучения, чтобы выучить закономерности из обучающих данных и подстраивать параметры модели для минимизации ошибок предсказания.

валидация модели (model validation): проверка ML-моделей на независимых наборах данных, чтобы оценить их способность к обобщению и надежную работу на невиденных данных.

версионирование моделей (model versioning): систематическое отслеживание и управление разными версиями ML-моделей, включая их параметры, обучающие данные и метрики производительности, чтобы обеспечить сравнение и возможность отката.

импульс (momentum): прием оптимизации, который накапливает вектор скорости между итерациями, помогая градиентному спуску преодолевать локальные минимумы и ускоряться в устойчивых направлениях градиента.

мониторинг (monitoring): непрерывное наблюдение и измерение производительности ML-системы, качества данных и эксплуатационных метрик в производстве, чтобы выявлять проблемы и запускать действия по обслуживанию.

многоголовое внимание (multi-head attention): механизм внимания с несколькими параллельными головами, каждая из которых фокусируется на разных аспектах входа и одновременно улавливает разные типы связей.

многослойный перцептрон (MLP) (multilayer perceptron (MLP)): нейронная сеть прямого распространения с одним или несколькими скрытыми слоями между входом и выходом; способна выучивать нелинейные отображения через плотные связи и функции активации.

умножение с накоплением (MAC) (multiply-accumulate (MAC)): операция умножения двух значений с накоплением результата в текущей сумме; доминирует в линейных слоях и в тракте данных ускорителей.

MYCIN (MYCIN): одна из первых крупных экспертных систем, которую с 1972 года разрабатывали в Стэнфорде для диагностики инфекций крови; отражает переход от общего ИИ к фиксации знаний человека-эксперта в конкретной области.

N

разреженность N:M (N:M sparsity): структурированный шаблон разреженности, при котором ровно N из каждых M значений ненулевые; дает аппаратуре более регулярные нулевые шаблоны для использования.

поиск нейронной архитектуры (neural architecture search): автоматизированный подход, который перебирает возможные комбинации слоев, связей и архитектурных гиперпараметров, чтобы найти архитектуры нейронных сетей с хорошими результатами при заданных целях и ограничениях.

нейронная сеть (neural network): вычислительная модель из связанных узлов, организованных в слои, которая выучивает отображение входов в выходы через настраиваемые веса связей.

нейронный процессор (NPU) (neural processing unit (NPU)): специализированные процессоры, созданные для ускорения операций нейронных сетей и вычислений машинного обучения; оптимизированы для параллельной обработки ИИ-нагрузок.

нейроморфные вычисления (neuromorphic computing): подход к вычислениям, который имитирует структуру и функции биологических нейронных сетей и потенциально дает более энергоэффективную обработку для приложений ИИ.

NoSQL (NoSQL): класс систем баз данных, рассчитанных на большие объемы неструктурированных или полуструктурированных данных с гибкими схемами; часто используется в приложениях для больших данных.

оптимизация численной точности (numerical precision optimization): измерение оптимизации модели, которое касается представления и обработки численных значений, включая приемы квантования, сопоставляющие значения высокой точности с представлениями меньшей разрядности.

NVLink (NVLink): высокоскоростное межсоединение GPU от NVIDIA для коммуникации внутри узла; полезно для синхронизации градиентов и передачи активаций при параллелизме модели.

O

наблюдаемость (observability): всестороннее направление мониторинга, которое дает понимание поведения системы через метрики, журналы и трассировки, позволяя понимать внутреннее состояние по внешним выходам.

память на кристалле (on-chip memory): быстрая память, встроенная непосредственно в кристалл процессора, включая кэши и скретчпад; обеспечивает высокую пропускную способность и низкую задержку доступа к данным.

обучение на устройстве (on-device learning): способность ML-моделей адаптироваться и обучаться непосредственно на периферийных устройствах без передачи данных на внешние серверы.

one-hot-кодирование (one-hot encoding): представление, при котором категориальная метка становится вектором с одной единицей и остальными нулями.

прореживание за один шаг (one-shot pruning): стратегия прореживания, при которой большая доля параметров удаляется за один шаг, обычно с последующим дообучением для восстановления точности; проста, но может требовать более агрессивного дообучения.

онлайн-аналитическая обработка (OLAP) (online analytical processing (OLAP)): подход к базам данных, оптимизированный для сложных аналитических запросов к большим наборам данных; обычно используется в хранилищах данных для бизнес-аналитики.

онлайн-вывод (online inference): обслуживание предсказаний в реальном времени, которое обрабатывает отдельные запросы с низкой задержкой; подходит для интерактивных приложений, требующих немедленного ответа.

онлайн-обработка транзакций (OLTP) (online transaction processing (OLTP)): подход к базам данных, оптимизированный для частых коротких транзакций и обработки в реальном времени; обычно применяется в операционных приложениях.

ONNX (ONNX): открытый формат обмена нейронными сетями (Open Neural Network Exchange), стандартизованное представление ML-моделей, которое обеспечивает совместимость между фреймворками: модель, обученная в одном фреймворке, может развертываться с помощью другого.

ONNX Runtime (ONNX Runtime): кроссплатформенный движок вывода, который оптимизирует модели с помощью слияния операторов и настройки ядер, чтобы ускорить вывод и снизить вычислительные накладные расходы.

оптимизатор (optimizer): алгоритм, который корректирует параметры модели во время обучения, чтобы минимизировать функцию потерь; типичные примеры: SGD (стохастический градиентный спуск), Adam и RMSprop, у каждого своя стратегия обновления параметров.

состояние оптимизатора (optimizer state): вспомогательные величины, которые оптимизатор хранит помимо параметров модели, например тензоры импульса и дисперсии Adam; для больших моделей часто доминируют в памяти обучения.

оркестрация (orchestration): координация и управление сложными рабочими процессами и распределенными вычислительными задачами; часто выполняется с помощью платформ вроде Kubernetes для управления контейнерами.

обнаружение выбросов (outlier detection): процесс выявления точек данных, которые заметно отклоняются от обычных закономерностей; такие точки могут быть ошибками, аномалиями или ценными редкими событиями.

переобучение (overfitting): явление, при котором модель так хорошо выучивает детали обучающих данных, что не обобщается на новые, невиденные примеры; обычно проявляется как высокая точность на обучении при слабых результатах на валидации.

P

паддинг (padding): прием в сверточных сетях, который добавляет нули или другие значения по краям входа, чтобы управлять пространственными размерами карт признаков на выходе.

PagedAttention (PagedAttention): прием управления памятью KV-кэша, который хранит контекст внимания страницами фиксированного размера, а не непрерывными блоками на каждый запрос, чтобы уменьшить фрагментацию.

смена парадигмы (paradigm shift): фундаментальное изменение научного подхода, например переход от символьного рассуждения к статистическому обучению в ИИ в 1990-х и от мелкого обучения к глубокому в 2010-х; требует от исследователей отказа от устоявшихся методов в пользу принципиально иных подходов.

параллелизм (parallelism): одновременное выполнение нескольких вычислительных задач или операций; основа достижения высокой производительности при обработке нейронных сетей.

параметр (parameter): обучаемый элемент нейронной сети, включая веса и смещения, который подстраивается во время обучения, чтобы минимизировать функцию потерь.

фронт Парето (Pareto frontier): множество конфигураций, в которых улучшение одного критерия требует ухудшения другого; используется для рассуждений о компромиссах между точностью, задержкой, памятью и энергией.

партиционирование (partitioning): прием баз данных, который делит большие наборы данных на меньшие управляемые сегменты по заданным критериям, чтобы ускорить запросы и повысить масштабируемость системы.

перцептрон (perceptron): базовый строительный блок нейронных сетей, который состоит из взвешенных входов, члена смещения и функции активации, дающей один выход.

аналитика производительности (performance insights): аналитические наблюдения, которые получают при мониторинге производственных ML-систем и которые показывают возможности улучшить точность модели, эффективность системы или пользовательский опыт.

производительность на данные (PPD) (performance-per-data (PPD)): метрика прироста точности на один обучающий образец; используется для оценки качества набора данных или стратегии отбора. Высокий PPD означает богатый информацией набор с низкой избыточностью.

закрепленная память (pinned memory): страничнозакрепленная память хоста, которая позволяет прямые асинхронные передачи между CPU и GPU и повышает пропускную способность загрузки данных ценой резервирования системной памяти.

джунгли конвейеров (pipeline jungle): антишаблон, при котором сложные взаимозависимые конвейеры обработки данных становятся трудно поддерживаемыми, отлаживаемыми и изменяемыми, что порождает технический долг и операционную сложность.

конвейерный параллелизм (pipeline parallelism): форма параллелизма модели, при которой разные слои модели размещаются на разных устройствах, а данные проходят через них как по конвейеру; позволяет обрабатывать несколько батчей одновременно.

корректность на момент времени (point-in-time correctness): гарантия, что обучающие примеры используют только те значения признаков, которые были доступны на историческое время предсказания; предотвращает утечку данных.

пулинг (pooling): операция понижения дискретизации в сверточных сетях, которая уменьшает пространственные размеры, сохраняя важные признаки; обычно использует максимум или среднее по локальным областям.

индекс стабильности популяции (PSI) (population stability index (PSI)): метрика сдвига распределения по корзинам, которая сравнивает текущие распределения признаков с базовыми, чтобы обнаружить дрейф популяции.

позиционное кодирование (positional encoding): метод в архитектурах трансформеров, который вносит в представления токенов информацию об их позиции в последовательности, поскольку трансформеры сами по себе не обрабатывают последовательность по порядку.

квантование после обучения (post-training quantization): подход к квантованию уже обученных моделей без изменения процесса обучения; обычно включает калибровку на репрезентативных данных для подбора оптимальных параметров квантования.

эффективность использования мощности дата-центра (PUE) (power usage effectiveness (PUE)): метрика энергоэффективности дата-центров, равная отношению полного энергопотребления объекта к энергопотреблению ИТ-оборудования.

энергетическая стена (power wall): технологический барьер, достигнутый примерно в 2005 году: дальнейшее повышение тактовой частоты процессора перестало давать прирост производительности без неустойчивого роста плотности мощности и тепловыделения; это вынудило перейти к параллельным и специализированным архитектурам.

точность (precision): в численных вычислениях — число значащих битов или цифр, которыми представляются значения; влияет на точность вычислений и потребность в ресурсах в ML-системах.

предвыборка (prefetching): прием оптимизации системы, который загружает данные в память до того, как они понадобятся, совмещая загрузку данных с вычислениями, чтобы сократить простои и повысить пропускную способность обучения.

постановка задачи (problem definition): начальный этап разработки ML, на котором четко задаются цели, ограничения, метрики успеха и эксплуатационные требования, направляющие все последующие решения.

обрабатывающий элемент (PE) (processing element (PE)): повторяющийся строительный блок ускорителя, который содержит вычислительные блоки и локальную память; массивы PE обеспечивают параллельное исполнение тензорных операций.

программируемый логический контроллер (PLC) (programmable logic controller (PLC)): промышленные системы управления, которые используются в производстве и средах IoT и могут интегрироваться с ML-моделями для автоматизированных решений в операционных технологиях.

задача сворачивания белков (protein folding problem): научная задача предсказания трехмерной структуры и динамики белков по их аминокислотной последовательности и окружению; давняя проблема, в которой такие системы, как AlphaFold, достигли прорывной точности, не решив каждый вопрос о сворачивании.

прокси-переменная (proxy variable): признак, который косвенно несет сигнал о защищаемом или чувствительном атрибуте, даже когда сам этот атрибут удален.

псевдонимизация (pseudonymization): метод защиты приватности, который заменяет прямые идентификаторы искусственными, сохраняя возможность связывать записи для анализа.

PyTorch (PyTorch): фреймворк глубокого обучения, разработанный исследовательской лабораторией AI компании Facebook; делает упор на динамические вычислительные графы, жадное исполнение и удобную интеграцию с Python; особенно популярен в исследованиях и экспериментах.

Q

квантование (quantization): прием сжатия модели, при котором параметры или активации представляются в меньшей точности, например FP32 в INT8; уменьшает объем хранения и перемещения данных, но не снижает число математических операций; ускорение требует поддерживаемой аппаратуры и ядер.

обучение с учетом квантования (quantization-aware training): подход к обучению, при котором эффекты квантования моделируются в процессе обучения, так что модель адаптируется к пониженной точности; обычно дает лучшую точность, чем квантование после обучения.

гранулярность квантования (quantization granularity): уровень, на котором применяются параметры квантования, от поточечного для всего тензора (самого грубого) до поканального или погруппового (более мелкого); мелкая гранулярность обычно сохраняет больше точности, но требует больше памяти.

запросов в секунду (QPS) (queries per second (QPS)): метрика производительности, которая показывает, сколько запросов вывода система может обработать за секунду; часто используется для оценки пропускной способности в производственных развертываниях.

запрос–ключ–значение (query-key-value): три компонента механизма внимания: запросы определяют, что искать, ключи описывают, что доступно, а значения содержат саму информацию, которая взвешивается и объединяется.

R

обработка в реальном времени (real-time processing): обработка данных по мере их поступления в рамках временных ограничений приложения; жесткие системы реального времени гарантируют наихудшие сроки, а мягкие допускают редкие пропуски.

рецептивное поле (receptive field): область входа, которая влияет на выход конкретного нейрона; определяет пространственный охват шаблонов, которые этот нейрон может обнаружить.

рекуррентная нейронная сеть (recurrent neural network): тип нейронной сети для обработки последовательных данных; содержит связи, образующие циклы, которые позволяют информации сохраняться между временными шагами.

Red AI (Red AI): направление исследований и разработок в ИИ, которое ставит максимизацию точности или производительности выше растущих вычислительных и экологических издержек.

регуляризация (regularization): приемы, которые предотвращают переобучение нейронных сетей за счет ограничений или штрафов, включая dropout, затухание весов и аугментацию данных.

ReLU (ReLU): функция активации «выпрямленный линейный блок» (Rectified Linear Unit), которая задается как $f(x)=\max (0,x)$; вносит нелинейность при сохранении вычислительной эффективности и смягчает затухание градиентов для положительных входов.

остаточная связь (residual connection): пропускающая связь, которая добавляет вход слоя к его выходу; позволяет обучать очень глубокие сети, смягчая проблему затухающих градиентов.

ResNet (ResNet): остаточная сеть (Residual Network), глубокая сверточная архитектура из остаточных блоков с пропускными связями; позволяет обучать сети в сотни слоев и достигла прорывного качества.

ResNet-50 (ResNet-50): конкретный 50-слойный вариант остаточной сети, который служит каноничной маячной моделью для вычислительно-ограниченных нагрузок и балансирует глубину и вычислительную стоимость в визуальных бенчмарках.

снимки глазного дна (retinal fundus photographs): медицинские изображения внутренней поверхности глаза, включая сетчатку, диск зрительного нерва и кровеносные сосуды; обычно используются для диагностики заболеваний глаз и обучения медицинских систем ИИ.

дифференцирование в обратном режиме (reverse-mode differentiation): метод автоматического дифференцирования, который вычисляет градиенты, обходя вычислительный граф в обратном порядке; очень эффективен для функций со многими входами и малым числом выходов, поэтому идеален для обучения нейронных сетей.

точка перехода (ridge point): арифметическая интенсивность, при которой нагрузка переходит с режима, ограниченного памятью, в режим, ограниченный вычислениями, на заданной аппаратной платформе; вычисляется как пиковые FLOP/s, деленные на пропускную способность памяти. Это точка перегиба на диаграмме модели Roofline.

Ring AllReduce (Ring AllReduce): эффективный по пропускной способности алгоритм AllReduce, в котором устройства передают фрагменты по кольцу и накапливают результаты для синхронизации градиентов в распределенном обучении.

RMSprop (RMSprop): алгоритм оптимизации с адаптивной скоростью обучения, который поддерживает скользящее среднее квадратов градиентов и автоматически подстраивает скорость обучения для каждого параметра во время обучения.

управление доступом на основе ролей (RBAC) (role-based access control (RBAC)): модель управления доступом, которая предоставляет права по ролям пользователя, сервиса или команды, а не отдельными разрозненными выдачами.

откат (rollback): возврат к предыдущей стабильной версии модели или системы при обнаружении проблем в производстве; обеспечивает непрерывность сервиса.

анализ Roofline (Roofline analysis): метод моделирования производительности, который строит достижимую производительность относительно операционной интенсивности, а пиковые вычисления и пропускная способность образуют потолки; помогает определить, ограничена ли система памятью или вычислениями.

S

масштабируемость (scalability): способность ML-систем справляться с ростом объема данных, числа пользователей или вычислительных запросов без существенного ухудшения производительности и пользовательского опыта.

масштаб и нулевая точка (scale and zero-point): параметры квантования, которые отображают вещественные тензоры в целые значения и обратно; масштаб задает шаг, а нулевая точка переводит вещественный ноль в квантованный диапазон.

схема (schema): определение структуры и формата данных, которое задает типы данных, имена полей и связи; необходимо для валидации данных и согласованности обработки.

эволюция схемы (schema evolution): процесс изменения схем данных со временем с сохранением обратной совместимости и непрерывной работы зависимых систем и приложений.

схема при чтении (schema-on-read): подход, используемый в озерах данных, при котором структура данных определяется и проверяется в момент чтения, а не при записи; дает гибкость для разнородных типов данных.

скретчпад-память (scratchpad memory): быстрая локальная память, которой управляет программное обеспечение и которую ускорители используют для подготовки предсказуемого перемещения данных под контролем компилятора или среды выполнения.

карты сегментации (segmentation maps): подробные аннотации, которые классифицируют объекты на уровне пикселей; дают самую детальную разметку, но требуют значительно больше хранилища и вычислительных ресурсов.

самовнимание (self-attention): механизм внимания, в котором запросы, ключи и значения происходят из одной и той же последовательности; позволяет каждой позиции обращать внимание на все позиции, включая саму себя.

полуконтролируемое обучение (semi-supervised learning): подход машинного обучения, который использует для обучения и размеченные, и неразмеченные данные; структурные допущения помогают улучшить модель при малом числе меток.

чувствительность (sensitivity): доля фактически положительных случаев, которые модель классификации правильно обнаруживает; также известна как доля истинно положительных или полнота (recall); критична в медицинских приложениях, где пропуск положительных случаев имеет тяжелые последствия.

serverless (serverless): модель облачных вычислений, в которой инфраструктура управляется провайдером автоматически, и код исполняется без заботы об управлении серверами.

соглашение об уровне обслуживания (SLA) (service level agreement (SLA)): формальный внешний договор, который задает обязательства по сервису, часто через один или несколько SLO, а также последствия и штрафы за невыполнение.

целевой уровень обслуживания (SLO) (service-level objective (SLO)): внутренняя измеримая цель для индикатора уровня сервиса (например, задержки, доли ошибок или доступности), которая направляет эксплуатацию и может лежать в основе внешнего SLA.

теневое развертывание (shadow deployment): стратегия развертывания, при которой новая модель работает параллельно с производственной: делает предсказания, которые записываются в журнал, но не отдаются пользователям; позволяет проверять модель без влияния на пользователей.

поверхностное обучение (shallow learning): подходы машинного обучения, которые используют алгоритмы ограниченной сложности, например опорные векторы и деревья решений; требуют тщательно спроектированных признаков, но не могут автоматически выявлять иерархические представления, как методы глубокого обучения.

значения SHAP (SHAP values): оценки атрибуции признаков на основе значений Шепли, которые оценивают вклад каждого признака в предсказание модели.

сигмоида (sigmoid): функция активации, которая отображает входы в диапазон от 0 до 1; исторически популярна, но склонна к затуханию градиентов в глубоких сетях.

тихое смещение (silent bias): несправедливость модели, которая выдает внешне корректные, но дискриминационные результаты; ускользает от традиционного мониторинга ошибок и требует разнесенной оценки для обнаружения.

тихая деградация (silent degradation): постепенное снижение производительности ML-системы, которое происходит без ошибок, исключений или сигналов тревоги; система продолжает работать, выдавая все более неточные предсказания.

тихий сбой (silent failure): режим отказа системы, при котором модель продолжает выдавать правдоподобно выглядящие результаты, постепенно теряющие точность или контекстуальную релевантность, и при этом не вызывает обычных сигналов об ошибках.

SIMD (одна инструкция, много данных) (SIMD (Single Instruction, Multiple Data)): архитектура параллельных вычислений, которая одновременно применяет одну операцию к нескольким элементам данных; эффективна для регулярных data-parallel вычислений.

SIMT (одна инструкция, много потоков) (SIMT (Single Instruction, Multiple Threads)): расширение SIMD, которое обеспечивает параллельное исполнение по множеству независимых потоков, каждый из которых хранит собственное состояние и счетчик команд.

сингулярное разложение (singular value decomposition): метод матричного разложения, который раскладывает матрицу на произведение трех матриц; часто используется в низкоранговых аппроксимациях для сжатия слоев нейронной сети за счет сохранения лишь наиболее значимых сингулярных значений.

пропускная связь (skip connection): прямая связь, которая обходит один или несколько слоев; позволяет градиентам легче проходить через глубокие сети и лучше обучать очень глубокие архитектуры.

мягкие цели (soft targets): распределения вероятностей модели-учителя, которые используются как обучающий сигнал при дистилляции знаний; несут информацию о сходстве классов, выходящую за пределы жестких меток.

softmax (softmax): функция активации, которая превращает логиты в распределение вероятностей, где выходы суммируются в 1; используется в многоклассовой классификации.

разреженное тензорное ядро (sparse Tensor Core): вариант тензорного ядра, который ускоряет поддерживаемые шаблоны структурированной разреженности, например 2:4, пропуская заданные нулевые значения.

разреженность (sparsity): свойство тензоров, при котором многие значения точно равны нулю; может повышать вычислительную эффективность, если нули имеют подходящую структуру и их поддерживают специализированные разреженные ядра или аппаратура; значения, близкие к нулю, считаются нулевыми только после прореживания.

SPEC CPU (SPEC CPU): стандартизованный набор бенчмарков, разработанный кооперативом System Performance Evaluation Cooperative; измеряет производительность процессоров на реальных приложениях, а не на синтетических тестах.

блок специальных функций (SFU) (special function unit (SFU)): выделенное аппаратное обеспечение для специализированных операций, например экспонент, обратных величин, корней и некоторых примитивов функций активации, которые не сводятся напрямую к обычной арифметике или блоку матричного умножения.

специфичность (specificity): доля фактически отрицательных случаев, которые модель классификации правильно распознает; также известна как доля истинно отрицательных; важна, чтобы системы направления не перегружались ложноположительными срабатываниями.

SPECpower (SPECpower): методика бенчмарка, которая измеряет энергоэффективность серверов на разных уровнях нагрузки и позволяет напрямую сравнивать компромиссы между мощностью и производительностью в вычислительных системах.

спекулятивное декодирование (speculative decoding): прием оптимизации для авторегрессионных языковых моделей, при котором меньшая модель генерирует черновые токены, а большая модель их проверяет; ускоряет вывод при сохранении качества.

скорость света (задержка) (speed of light (latency)): физический предел скорости передачи информации (примерно 200 000 км/с в волокне), который задает неустранимую нижнюю границу сетевой задержки; для приложений с откликом менее 10 мс на больших расстояниях требуются периферийные вычисления.

словарь состояния (state dict): сопоставление имен модулей или оптимизатора с тензорами во фреймворке; используется для сохранения, загрузки и контрольных точек моделей и состояния оптимизатора.

статический граф (static graph): вычислительный граф, который полностью задается до начала исполнения; дает всестороннюю оптимизацию и эффективное развертывание, но требует заранее описать все операции и ограничивает гибкость во время работы.

статическое квантование (static quantization): подход к квантованию, при котором параметры определяются один раз при калибровке и остаются фиксированными при выводе; дает вычислительную эффективность, но меньше адаптируется, чем динамические подходы.

статистическое обучение (statistical learning): эпоха машинного обучения, которая возникла в 1990-х и перенесла фокус с символьного ИИ на основе правил к алгоритмам, способным выучивать закономерности из данных; заложила основу современных data-driven подходов к ИИ.

стохастический градиентный спуск (stochastic gradient descent): вариант градиентного спуска, который оценивает градиенты по отдельным обучающим примерам или малым батчам, а не по всему набору данных; снижает требования к памяти и позволяет онлайн-обучение.

Straight-Through Estimator (STE) (Straight-Through Estimator (STE)): аппроксимация градиента, которая пропускает градиенты через недифференцируемые операции вроде округления; часто применяется в обучении с учетом квантования.

потоковый прием данных (stream ingestion): паттерн обработки данных, который принимает данные в реальном времени по мере их поступления; необходим для приложений, которым нужна немедленная обработка и низкая задержка ответа.

потоковая обработка (stream processing): подход к обработке данных в реальном времени, который обрабатывает непрерывные потоки по мере их поступления и позволяет мгновенно реагировать на события и выявлять закономерности.

шаг свертки (stride) (stride): величина сдвига сверточного фильтра по входу; управляет пространственными размерами выхода и степенью перекрытия применений фильтра.

структурированное прореживание (structured pruning): подход к прореживанию, который удаляет целые вычислительные единицы, например нейроны, каналы или слои; получаются более компактные плотные модели, которые дружественнее к аппаратуре, чем разреженные матрицы неструктурированного прореживания.

обучение с учителем (supervised learning): подход машинного обучения, при котором модели учатся на размеченных примерах, чтобы делать предсказания для новых неразмеченных данных.

символьный ИИ (symbolic AI): подход к искусственному интеллекту, который использует высокоуровневые символьные представления задач, логики и алгоритмов поиска; доминировал до революции глубокого обучения и был связан с экспертными системами и рассуждением на правилах.

синтетический бенчмарк (synthetic benchmark): искусственная тестовая программа, которая измеряет конкретные аспекты производительности системы, в отличие от бенчмарков, основанных на реальных приложениях и нагрузках.

синтетические данные (synthetic data): искусственно созданные данные, которые генерируются алгоритмами, симуляциями или генеративными моделями в дополнение к реальным наборам; восполняют нехватку данных или решают вопросы приватности.

системная энтропия (system entropy): склонность ML-систем деградировать со временем из-за изменения мира (дрейф) или накопления скрытых зависимостей (технический долг); для поддержания порядка требуется постоянная энергия эксплуатации.

System-on-Chip (SoC) (System-on-Chip (SoC)): интегральная схема, которая объединяет большую часть или все компоненты компьютера или электронной системы (CPU, GPU, память и специализированные процессоры) на одном кристалле; распространена в мобильных устройствах и встраиваемых системах ради экономии места и энергии.

системное совместное проектирование (systems co-design): совместная разработка алгоритмов, программного обеспечения и аппаратуры, чтобы структура модели и ее исполнение соответствовали физическим возможностям и ограничениям.

системная интеграция (systems integration): процесс объединения разных компонентов и подсистем в единую функциональную систему, которая работает эффективно и надежно как целое.

системное мышление (systems thinking): подход к пониманию сложных систем через то, как отдельные компоненты взаимодействуют и влияют на систему в целом; особенно важен в ML, где данные, алгоритмы, аппаратура и среды развертывания должны работать согласованно.

систолический массив (systolic array): специализированная аппаратная архитектура, которая эффективно выполняет матричные операции, пропуская данные через решетку обрабатывающих элементов и сводя к минимуму перемещение данных и энергопотребление.

T

хвостовая задержка (tail latency): время отклика на высоких перцентилях в системе, обычно измеряемое как задержка P95 или P99; важно для описания медленных запросов под пиковой нагрузкой, но не эквивалентно абсолютному худшему случаю. Дополняет медианную и среднюю задержку, а не заменяет их.

специализированные бенчмарки вывода (tailored inference benchmarks): специализированные тесты производительности, созданные для конкретных сред развертывания или сценариев, с учетом уникальных ограничений и требований к оптимизации.

tanh (tanh): функция активации — гиперболический тангенс, которая отображает входы в интервал (−1, 1) и дает выходы, центрированные около нуля.

технический долг (technical debt): долгосрочные затраты на сопровождение, накопленные из-за удобных проектных решений в ходе разработки; особенно проблематичны в ML-системах из-за зависимостей по данным и сложности моделей.

телеметрия (telemetry): автоматический сбор и передача данных о производительности и метрик из распределенных систем, что позволяет удаленно наблюдать и анализировать их.

тензор (tensor): многомерный массив, который представляет данные в нейронных сетях; обобщает скаляры (0D), векторы (1D) и матрицы (2D) на большее число измерений.

тензорное ядро (Tensor Core): специализированный матричный блок GPU, который ускоряет операции «умножить и накопить» в смешанной точности над тайлами тензоров.

разложение тензоров (tensor decomposition): обобщение матричной факторизации на тензоры более высокого порядка; используется для сжатия слоев нейронной сети: тензоры весов представляются комбинациями меньших тензоров с меньшим числом параметров.

тензорный параллелизм (tensor parallelism): стратегия параллелизма модели, при которой отдельные тензорные операции (например, матричное умножение) делятся между несколькими устройствами; снижает память на устройство и может сократить задержку больших слоев, если выигрыш во времени вычислений превышает добавленную коммуникацию.

тензорный процессор (TPU) (tensor processing unit (TPU)): специализированная интегральная схема Google, созданная для ML-нагрузок; оптимизирована под матричные операции и использует архитектуру систолического массива.

TensorFlow (TensorFlow): универсальный фреймворк машинного обучения от Google, который предоставляет инструменты для всего ML-конвейера от исследований до производства; поддерживает жадное исполнение и вычисления по графам и имеет широкую экосистему.

TensorRT (TensorRT): библиотека оптимизации вывода от NVIDIA, которая применяет слияние операторов и понижение точности, чтобы ускорить вывод глубокого обучения на GPU.

тернаризация (ternarization): экстремальный прием квантования, который ограничивает веса тремя значениями (обычно −1, 0 и +1); дает заметное сжатие и сохраняет больше выразительной способности, чем бинаризация.

тепловая расчетная мощность (TDP) (thermal design power (TDP)): уровень устойчивой мощности и тепловыделения, который устройство или система охлаждения рассчитаны выдерживать при типичной максимальной нагрузке.

тепловое троттлинг (thermal throttling): защитный механизм мобильных и встраиваемых устройств, который снижает тактовую частоту процессора и производительность, чтобы предотвратить перегрев; часто ограничивает устойчивую производительность вывода на устройстве.

пропускная способность (throughput): скорость, с которой система обрабатывает данные или завершает операции; обычно измеряется в операциях в секунду и критична для обучения больших моделей.

время на выходной токен (TPOT) (time per output token (TPOT)): задержка на каждый токен при авторегрессионном декодировании после первого токена; отражает пропускную способность декодирования и ограничения пропускной способности памяти.

время до точности (time-to-accuracy): астрономическое время, которое требуется, чтобы обучить модель до заданной точности на валидации.

время до первого токена (TTFT) (time to first token (TTFT)): время от прихода запроса до первого сгенерированного токена при потоковом обслуживании больших языковых моделей; включает предзаполнение, планирование и задержку первого ответа.

TinyML (TinyML): направление, которое занимается развертыванием моделей машинного обучения на сверхограниченных встраиваемых устройствах, таких как микроконтроллеры и датчики, работающих в диапазоне от милливатт до долей ватта, с жесткими ограничениями по памяти, мощности и вычислительным возможностям. Также называется tiny machine learning.

TOPS (TOPS): триллион операций в секунду, единица скорости операций, которая показывает, сколько триллионов операций система выполняет за секунду. Часто указывается для целочисленных нагрузок низкой точности, поэтому нужно указывать тип операций и точность.

совокупная стоимость владения (TCO) (total cost of ownership (TCO)): комплексная финансовая метрика для ML-систем, которая охватывает затраты на обучение, вывод и эксплуатацию за весь жизненный цикл системы.

разделение обучения и обслуживания (train-serve split): гибридный архитектурный паттерн, при котором вычислительно тяжелое обучение модели выполняется на мощной облачной инфраструктуре, а обученную модель оптимизируют и развертывают для вывода на периферийных или мобильных устройствах с ограниченными ресурсами.

обучение (training): процесс настройки параметров нейронной сети на основе данных или опыта взаимодействия с помощью процедуры оптимизации, чтобы минимизировать функцию потерь или максимизировать вознаграждение.

перекос обучения и обслуживания (training-serving skew): расхождение между тем, как признаки или данные вычисляются при обучении модели и при обслуживании в производстве; может ухудшить качество модели. Частые причины: разные конвейеры предобработки, разное время вычисления признаков или разные источники данных при обучении и выводе.

перенос обучения (transfer learning): метод машинного обучения, который использует знания, полученные предобученными моделями на смежных задачах; позволяет быстрее обучаться и лучше работать на новых задачах при небольшом объеме данных за счет переиспользования выученных признаков и представлений.

трансформер (transformer): архитектура нейронной сети из блоков внимания, полносвязных блоков, остаточных связей и нормализации; исходный дизайн отказывается от рекуррентности и свертки, хотя поздние варианты могут их включать.

эквивариантность к сдвигу (translation equivariance): свойство, при котором сдвиг входа вызывает соответствующий сдвиг карты признаков на выходе; отличается от инвариантности, которая отбрасывает позицию.

инвариантность к сдвигу (translation invariance): свойство, при котором выход модели не меняется при сдвиге входа. Свертка эквивариантна к сдвигу; пулинг или глобальная агрегация могут давать приближенную инвариантность.

разложение Таккера (Tucker decomposition): метод разложения тензоров, который обобщает сингулярное разложение на тензоры высокого порядка с помощью ядерного тензора и матриц факторов; обычно используется для сжатия слоев сверточных сетей.

белые пробелы ТВ (TV white spaces): неиспользуемые частоты вещания, которые можно переиспользовать для подключения к интернету; так поступают такие системы, как FarmBeats, расширяя сетевой доступ для удаленных сельскохозяйственных датчиков и устройств IoT.

U

равномерное квантование (uniform quantization): подход к квантованию, при котором диапазон значений делится на равномерно расположенные интервалы; реализуется просто, но может быть неоптимальным для неравномерных распределений значений.

теорема об универсальной аппроксимации (universal approximation theorem): теоретический результат, который доказывает, что нейронная сеть с достаточной шириной и подходящей нелинейной функцией активации может аппроксимировать любую непрерывную функцию на компактной области с любой заданной точностью.

необоснованная эффективность данных (unreasonable effectiveness of data): эмпирическое наблюдение, что для многих задач добавление данных эффективнее улучшения алгоритмов; оно двигает парадигму ИИ, ориентированного на данные.

неструктурированное прореживание (unstructured pruning): подход к прореживанию, который удаляет отдельные веса и сохраняет общую архитектуру сети; создает разреженные матрицы весов, для получения вычислительной выгоды которых нужна специализированная аппаратная поддержка.

неструктурированная разреженность (unstructured sparsity): форма разреженности модели, при которой отдельные веса обнуляются без какого-либо шаблона; создает нерегулярные разреженные структуры, для использования которых нужна специализированная аппаратура.

V

проблемы валидации (validation issues): проблемы, выявленные при тестировании модели, которые указывают на плохую производительность, переобучение, проблемы качества данных или другие недостатки, которые нужно устранить до развертывания.

проблема затухающих градиентов (vanishing gradient problem): проблема глубоких нейронных сетей, при которой градиенты экспоненциально уменьшаются по мере распространения назад через слои, из-за чего ранним слоям трудно эффективно обучаться.

векторные операции (vector operations): вычислительные операции, которые одновременно обрабатывают несколько элементов данных и обеспечивают эффективное параллельное исполнение поэлементных преобразований в нейронных сетях.

разрыв верификации (verification gap): несоответствие между конечным покрытием тестового набора и гораздо большим пространством входов, с которым ML-система может столкнуться в производстве.

версионирование (versioning): практика отслеживания изменений наборов данных, моделей и конвейеров во времени; обеспечивает воспроизводимость, возможность отката и журналы аудита в ML-системах.

добродетельный цикл (virtuous cycle): самоусиливающийся процесс в глубоком обучении, при котором улучшения в доступности данных, алгоритмах и вычислительной мощности взаимно поддерживают прогресс в остальных областях и ускоряют общее развитие.

узкое место фон Неймана (Von Neumann bottleneck): ограничение производительности, вызванное общей шиной между процессором и памятью в традиционных архитектурах компьютеров; перемещение данных становится дороже вычислений.

W

вычислитель уровня склада (warehouse-scale computer (WSC)): центр обработки данных, который работает как единый программируемый компьютер; вычисления, хранение, сеть и отказы рассматриваются как системные ресурсы.

warp (warp): группа из 32 потоков на GPU NVIDIA, активные потоки которой выполняют одну общую инструкцию за раз; фундаментальная единица планирования потоков на GPU NVIDIA.

Waymo (Waymo): дочерняя компания Alphabet Inc., которая представляет ведущее развертывание систем машинного обучения в технологии автономных автомобилей; показывает, как ML-системы охватывают путь от встраиваемых систем до облачной инфраструктуры в средах, критичных к безопасности.

слабый надзор (weak supervision): подход, который использует метки более низкого качества, полученные эффективнее через эвристики, удаленный надзор или программные методы, а не ручную разметку экспертами.

веб-скрейпинг (web scraping): автоматизированный прием извлечения данных с веб-сайтов для построения собственных наборов данных; требует внимательного учета юридических, этических и технических ограничений.

вес (weight): обучаемый параметр, который определяет силу связи между нейронами разных слоев и подстраивается во время обучения, чтобы минимизировать функцию потерь.

матрица весов (weight matrix): организованный набор весов, которые связывают один слой нейронной сети с другим; позволяет эффективно вычислять через матричные операции.

разделение весов (weight sharing): практика использования одних и тех же параметров в разных пространственных положениях, как в сверточных сетях; сокращает число параметров при сохранении способности обнаруживать шаблоны.

Whetstone (Whetstone): ранний бенчмарк, разработанный в Национальной физической лаборатории Великобритании Курноу и Вихманом; впервые опубликован в виде программы на ALGOL 60 в 1972 году, а позднее в канонической версии на FORTRAN в 1976 году. Измерял производительность операций с плавающей запятой в MWIPS (миллионах инструкций Whetstone в секунду) и стал одним из первых широко принятых стандартных тестов производительности.

оркестрация рабочих процессов (workflow orchestration): автоматизированная координация и управление сложными последовательностями ML-конвейеров, которая обеспечивает правильный порядок исполнения, управление зависимостями и обработку ошибок в распределенных системах.

X

XLA (XLA): ускоренная линейная алгебра (Accelerated Linear Algebra), предметно-ориентированный компилятор операций линейной алгебры, который оптимизирует вычисления TensorFlow и JAX, генерируя эффективный код для разных аппаратных платформ, включая CPU, GPU и TPU.