Глоссарий

В глоссарии собраны ключевые термины, которые используются в книге. Термины расположены по алфавиту английских названий, чтобы ими можно было пользоваться вместе с главами и оригинальной литературой. Английский вариант термина дан в скобках курсивом.

A

адаптивная маршрутизация (adaptive routing): механизм маршрутизации, который выбирает среди доступных путей по текущим условиям сети, например по заполненности очередей, чтобы избегать горячих точек и сохранять требования транспорта к порядку доставки.

подотчетность (accountability): механизмы, с помощью которых отдельные люди или организации несут ответственность за последствия работы систем ИИ; включает прослеживаемость, документирование, аудит и возможность возмещения вреда.

контрольные точки активаций (activation checkpointing): прием экономии памяти при обучении: хранятся только выбранные активации, а остальные пересчитываются при обратном распространении; дополнительные вычисления обмениваются на меньший расход памяти.

адаптерные модули (adapter modules): небольшие обучаемые компоненты нейронной сети, вставляемые между замороженными слоями предобученной модели для легкой адаптации без изменения базовой архитектуры.

паттерн адаптивных ресурсов (adaptive resource pattern): проектный паттерн, позволяющий системам динамически подстраивать свою работу под изменение доступных ресурсов и обеспечивать эффективность и устойчивость за счет масштабирования вверх или вниз по вычислительной нагрузке, пропускной способности сети и емкости хранилища.

продвинутая упаковка (advanced packaging): методы интеграции полупроводников, такие как интерпозеры 2.5D, чиплеты и трехмерное складывание, которые соединяют несколько кристаллов более короткими и плотными связями, чем способна дать обычная печатная плата.

состязательная атака (adversarial attack): тип атаки, при котором тщательно подготовленные входы заставляют модели машинного обучения делать неверные предсказания, оставаясь почти неотличимыми от легитимных данных для человека.

состязательный пример (adversarial example): злонамеренно измененный вход, рассчитанный на то, чтобы обмануть модель машинного обучения и вызвать неверное предсказание; часто создается добавлением небольших незаметных возмущений к легитимным данным.

состязательное обучение (adversarial training): защитная техника, при которой модели обучают на состязательных примерах, чтобы повысить их устойчивость и способность правильно классифицировать состязательные входы.

AGI: общий искусственный интеллект: вычислительные системы, которые сравниваются с человеческими когнитивными способностями или превосходят их во всех областях знаний и рассуждений и способны обобщать на разные области задач без обучения под конкретную задачу.

ИИ во благо (AI for good): проектирование, разработка и развертывание систем машинного обучения, направленных на решение важных общественных и экологических проблем ради повышения благополучия людей, устойчивого развития и достижения глобальных целей развития.

алгоритмическая справедливость (algorithmic fairness): принцип, по которому автоматизированные системы не должны непропорционально ущемлять отдельных людей или группы по защищаемым признакам, таким как раса, пол или возраст.

AllGather: коллективная операция коммуникации, которая собирает шард каждого ранга и делает объединенный результат доступным каждому рангу.

AllReduce: коллективная операция коммуникации, которая редуцирует значения по рангам и возвращает редуцированный результат каждому рангу; обычно используется для синхронизации градиентов.

AllToAll: коллективная операция коммуникации, в которой каждый ранг отправляет свои отдельные данные каждому другому рангу и получает отдельные данные от каждого ранга.

модель α-β (alpha-beta model): модель стоимости коммуникации, которая отделяет фиксированную задержку запуска от времени передачи, зависящего от размера сообщения, чтобы оценить стоимость перемещения данных.

обнаружение аномалий (anomaly detection): выявление в данных паттернов, не соответствующих ожидаемому поведению; часто используется для обнаружения выбросов, неисправностей или вредоносной активности в системах.

анонимизация (anonymization): процесс удаления или изменения персонально идентифицируемой информации в наборах данных ради защиты приватности отдельных людей; часто недостаточен против изощренных атак повторной идентификации.

арифметическая интенсивность (arithmetic intensity): объем вычислений на байт перемещенных данных, обычно измеряется в FLOP/байт.

общий искусственный интеллект (artificial general intelligence): гипотетическая форма ИИ, равная человеческим когнитивным способностям или превосходящая их во всех областях; конечная цель исследований ИИ, выходящая за пределы нынешних узких систем ИИ.

искусственный интеллект (artificial intelligence): обширная область информатики, посвященная созданию систем, способных выполнять задачи, которые обычно требуют человеческого интеллекта, включая обучение, рассуждение и принятие решений.

таксономия атак (attack taxonomy): систематическая классификация угроз кибербезопасности и состязательных атак на системы ML, которая упорядочивает угрозы по методу, цели и последствиям, чтобы направлять стратегии защиты.

автокодировщик (autoencoder): архитектура нейронной сети, которая учит сжатые представления данных, минимизируя ошибку восстановления; часто используется для обнаружения аномалий и снижения размерности.

автоматизационное смещение (automation bias): склонность людей чрезмерно полагаться на выходы автоматизированных систем даже при явных ошибках, что может подорвать человеческий надзор.

AutoML: автоматизированное машинное обучение: использование алгоритмов для автоматизации применения машинного обучения к реальным задачам, включая инженерию признаков, выбор модели и подбор гиперпараметров.

доступность (availability): свойство, при котором служба хранения отвечает, когда клиенту это нужно; отличается от того, переживают ли отказы подтвержденные данные и возвращает ли чтение самую новую зафиксированную версию.

атака на доступность (availability attack): тип атаки отравления данных, цель которого — ухудшить общую производительность модели машинного обучения путем внесения шума или порчи обучающих данных по нескольким классам.

B

атака с закладкой (backdoor attack): тип отравления данных, при котором в обучающие данные встраиваются скрытые триггеры, из-за чего модели ведут себя злонамеренно, когда при инференсе встречаются определенные паттерны.

backfill-планирование (backfill scheduling): политика планирования, которая запускает небольшие задания в простаивающих промежутках, если это не задержит зарезервированное более крупное задание.

обратное давление (backpressure): управляющая реакция, которая замедляет прием запросов или ограничивает работу в полете, когда нижестоящая стадия не может выдержать интенсивность поступления с вышестоящей.

обратное распространение ошибки (backpropagation): алгоритм вычисления градиентов в нейронных сетях путем распространения сигналов ошибки назад через слои; необходим для обучения, но вычислительно затратен на устройствах с ограниченными ресурсами.

иерархия пропускной способности (bandwidth hierarchy): упорядоченный набор ярусов перемещения данных внутри вычислительных систем и между ними, от памяти на кристалле через межсоединения устройства, узла, стойки и пода; пропускная способность, как правило, падает с ростом физического расстояния.

байесовские нейронные сети (Bayesian neural networks): нейронные сети с распределениями вероятностей над весами, которые позволяют количественно оценивать неопределенность предсказаний и принимать более надежные решения.

обнаружение смещения (bias detection): систематические методы выявления несправедливой дискриминации или различий в обращении между демографическими группами в выходах систем машинного обучения.

смягчение смещения (bias mitigation): методы и вмешательства, снижающие несправедливую дискриминацию в системах машинного обучения; применяются при сборе данных, обучении модели или на стадии постобработки.

адаптация только смещений (bias-only adaptation): легкая стратегия обучения, которая замораживает все веса модели и обновляет лишь скалярные члены смещения, резко снижая требования к памяти и вычислительные накладные расходы при обучении на устройстве.

упаковка в контейнеры (bin packing): назначение заданий с заданными потребностями в ресурсах на узлы или кластеры фиксированной емкости; в парках ML часто охватывает GPU, память, CPU, сетевую локальность и топологию.

мониторинг биоразнообразия (biodiversity monitoring): систематическое наблюдение и измерение биологического разнообразия с помощью технологий вроде фотоловушек и сенсорных сетей для отслеживания популяций видов, изменений среды обитания и эффективности охраны.

бисекционная пропускная способность (bisection bandwidth): минимальная суммарная емкость каналов, пересекающих любое сечение, которое делит сеть на две равные половины; ограничивает пропускную способность в худшем случае для глобальной коммуникации.

переворот бита (bit flip): аппаратная неисправность, при которой один бит в памяти или регистре неожиданно меняет значение с 0 на 1 или наоборот, что может испортить данные или вычисления.

атака «черного ящика» (black-box attack): состязательная атака, при которой злоумышленник не знает внутренней архитектуры, параметров и обучающих данных модели и вынужден полагаться только на запросы к модели и наблюдение выходов.

интерфейс «мозг — компьютер» (brain-computer interface): прямой канал связи между мозгом и внешним устройством, который позволяет управлять компьютерами или протезами по нейронным сигналам и представляет схождение ML с нейротехнологиями.

встроенное самотестирование (BIST) (built-in self-test (BIST)): механизмы аппаратного тестирования, позволяющие компонентам проверять себя на неисправности с помощью выделенных схем и заранее заданных тестовых паттернов.

пакетно-синхронный параллелизм (BSP) (bulk synchronous parallel (BSP)): модель параллельного исполнения, в которой воркеры выполняют локальные вычисления, обмениваются данными и затем ждут на глобальном барьере перед следующим шагом.

C

таксономия C³ (C³ taxonomy): диагностическая рамка, которая делит затраты распределенного исполнения на вычисления, коммуникацию и координацию. Она показывает, какое измерение ограничивает полезную пропускную способность парка и куда оптимизация перемещает накладные расходы.

атака по времени доступа к кэшу (cache timing attack): тип атаки по побочным каналам, использующий различия в паттернах доступа к кэшу памяти, чтобы вывести чувствительную информацию об исполнении программы или данных.

канареечное развертывание (canary deployment): паттерн выкатки, при котором небольшая доля трафика направляется на новую версию модели или сервиса, поведение отслеживается, а затем выкатка расширяется или откатывается.

теорема CAP (CAP theorem): результат теории распределенных систем: при сетевом разделении система должна выбирать между строгой согласованностью и доступностью.

планирование с учетом углерода (carbon-aware scheduling): вычислительный подход, который планирует нагрузки ИИ по углеродной интенсивности электросети и отдает приоритет исполнению, когда возобновляемые источники энергии наиболее доступны.

углеродный след (carbon footprint): общий объем выбросов парниковых газов, прямо и косвенно производимых человеком, организацией, событием или продуктом; обычно измеряется в эквиваленте CO₂.

углеродная интенсивность (carbon intensity): выбросы парниковых газов, приходящиеся на единицу электроэнергии; обычно измеряется в граммах эквивалента CO₂ на киловатт-час.

эффективность использования углерода (CUE) (carbon usage effectiveness (CUE)): показатель устойчивости дата-центра, который связывает выбросы углерода с энергопотреблением ИТ; аналог эффективности использования энергии для накладных расходов энергии объекта.

стробирование тактовых сигналов (clock gating): схемотехнический прием, подавляющий тактовый сигнал в неактивных логических блоках; снижает динамическую мощность без изменения напряжения питания и тактовой частоты активных блоков.

катастрофическое забывание (catastrophic forgetting): явление, при котором нейронные сети теряют ранее выученные знания при адаптации к новым задачам; критическая проблема при непрерывном обучении на устройстве.

сертифицированная устойчивость (certified robustness): формальная гарантия того, что предсказание модели остается неизменным для всех допустимых возмущений в пределах заданного радиуса или границы нормы.

механизмы контрольных точек и перезапуска (checkpoint and restart mechanisms): методы, которые периодически сохраняют состояние программы, чтобы после отказа она могла возобновиться с последнего сохраненного состояния; повышают устойчивость системы.

фрагментированное предзаполнение (chunked prefill): техника обслуживания LLM, которая разбивает обработку длинных промптов на более мелкие фрагменты, чтобы работа предзаполнения могла чередоваться с работой декодирования.

планирование клиентов (client scheduling): процесс выбора устройств, которые участвуют в раундах федеративного обучения, по доступности, качеству данных и ограничениям ресурсов, чтобы обновления модели были репрезентативны.

облачное ML (cloud ML): системы машинного обучения, использующие облачную вычислительную инфраструктуру для масштабируемых вычислительных ресурсов обучения и инференса; обычно дают высокоскоростное соединение и значительную вычислительную мощность.

коллективная операция (collective operation): паттерн групповой коммуникации, в котором участвуют все ранги, чтобы агрегировать, разослать или перераспределить данные.

комбинационная логика (combinational logic): цифровые логические схемы, у которых выход зависит только от текущих входных состояний, а не от прошлых состояний или элементов памяти.

интенсивность коммуникации (CI) (communication intensity (CI)): отношение байтов, переданных по сети, к локальным операциям с плавающей запятой. Распространяет рассуждения об арифметической интенсивности с иерархии памяти устройства на сетевую фабрику распределенной системы.

составные системы ИИ (compound AI systems): архитектуры ИИ, которые объединяют несколько специализированных моделей, инструментов и компонентов, чтобы получить сложные возможности через системную интеграцию, а не опираясь на одну монолитную модель.

Compute Express Link (CXL): стандарт кэш-когерентного межсоединения, позволяющий CPU, ускорителям и устройствам памяти делиться памятью или объединять ее в пул по каналам, производным от PCIe.

модели с концептуальным бутылочным горлышком (concept bottleneck models): архитектуры нейронных сетей, которые сначала предсказывают интерпретируемые промежуточные концепты, а затем делают итоговые предсказания, сочетая мощь глубокого обучения с прозрачностью.

дрейф концепта (concept drift): изменение связи между входными признаками и целевыми выходами со временем, требующее адаптации модели для сохранения качества.

технологии охраны природы (conservation technology): технологические решения для защиты и мониторинга дикой природы и экосистем, включая фотоловушки, сенсорные сети и спутниковый мониторинг для отслеживания поведения животных и обнаружения угроз.

консистентное хеширование (consistent hashing): метод маршрутизации на основе хеширования, который сохраняет устойчивое отображение ключей или сессий на реплики и минимизирует перераспределение при добавлении или удалении реплик.

согласованность (consistency): контракт, определяющий, какую версию может наблюдать чтение, когда записи пересекаются или реплики расходятся.

конституционный ИИ (constitutional AI): метод обучения, при котором модели учатся улучшать собственные выходы, критикуя ответы по набору принципов; позволяет итеративно совершенствовать себя и снижать вредное содержание, сохраняя полезность.

непрерывное обучение (continual learning): способность систем машинного обучения непрерывно учиться на потоке данных, сохраняя ранее приобретенные знания; решает проблему катастрофического забывания в нейронных сетях.

непрерывный батчинг (continuous batching): планировщик обслуживания LLM, который убирает завершенные последовательности и принимает новые запросы на границах итераций, а не ждет завершения всего батча.

перекрытие коммуникации и вычислений (communication-computation overlap): одновременное выполнение передачи данных и полезных вычислений, при котором задержка коммуникации скрывается за работой, чьи зависимости уже удовлетворены.

управление перегрузкой (congestion control): механизмы, которые регулируют впрыскивание трафика или маршрутизацию в ответ на нагрузку и предотвращают устойчивые очереди, потерю пакетов и усиление хвостовой задержки в общей фабрике.

эффективность охлаждения (cooling effectiveness): эффективность, с которой система охлаждения дата-центра отводит тепло от вычислительного оборудования; обычно измеряется как отношение отведенного тепла к энергии, затраченной на охлаждение.

контрфактические объяснения (counterfactual explanations): объяснения, описывающие, как изменился бы выход модели при изменении отдельных входных признаков; особенно полезны для понимания границ решений.

ковариатный сдвиг (covariate shift): тип сдвига распределения, при котором меняется входное распределение, а условная связь между входами и выходами остается стабильной.

D

дата-центр (data center): объект, в котором размещены компьютерные системы и связанные компоненты, такие как телекоммуникационные системы и системы хранения; обычно включает резервные источники питания, системы охлаждения и сетевые соединения.

сжатие данных (data compression): методы уменьшения размера и сложности обучающих данных через кодирование, квантование или извлечение признаков для эффективного хранения и обработки на устройствах с ограниченной памятью.

параллелизм по данным (data parallelism): стратегия обучения, при которой каждый воркер держит полную реплику модели, обрабатывает свой шард данных и синхронизирует градиенты перед применением одного и того же обновления.

отравление данных (data poisoning): метод атаки, при котором злоумышленники вводят в обучающий набор данных тщательно подготовленные вредоносные точки, чтобы целенаправленно или систематически манипулировать поведением модели.

санитизация данных (data sanitization): процесс намеренного и необратимого удаления или уничтожения данных на запоминающих устройствах, чтобы их нельзя было восстановить, для обеспечения безопасности данных.

фаза декодирования (decode phase): фаза авторегрессивной генерации при инференсе LLM, которая выдает токены шаг за шагом с использованием KV-кэша и часто ограничена пропускной способностью памяти.

глубокое обучение (deep learning): подраздел машинного обучения, использующий нейронные сети со многими скрытыми слоями для автоматического выучивания иерархических представлений данных.

защитная дистилляция (defensive distillation): техника, при которой модель-ученик обучается имитировать поведение модели-учителя по мягким меткам и становится менее чувствительной к состязательным возмущениям.

демографический паритет (demographic parity): критерий справедливости, требующий, чтобы вероятность положительного предсказания не зависела от принадлежности к группе по защищаемым признакам.

масштабирование Деннарда (Dennard scaling): историческое наблюдение, что по мере уменьшения транзисторов их плотность мощности остается примерно постоянной, что позволяет увеличивать число транзисторов без пропорционального роста энергопотребления.

глубинно-разделимые свертки (depthwise separable convolutions): вычислительная техника, которая разлагает стандартные свертки на глубинные и поточечные операции и уменьшает число параметров и объем вычислений примерно в 8–9$\times$ для типичных мобильных слоев $3\times 3$ с большим числом каналов.

дифференциальная приватность (differential privacy): математическая рамка, дающая формальные гарантии приватности за счет добавления откалиброванного шума в вычисления, так что включение или исключение данных любого человека доказуемо ограниченно влияет на выход.

дифференциально приватный SGD (DP-SGD) (differentially private SGD (DP-SGD)): алгоритм обучения, который обрезает градиенты по примерам и добавляет откалиброванный шум, чтобы дать гарантии дифференциальной приватности.

цифровое неравенство (digital divide): разрыв между теми, у кого есть доступ к современным информационным и коммуникационным технологиям, и теми, у кого его нет; особенно влияет на возможность недообслуживаемых сообществ воспользоваться цифровыми решениями.

цифровой двойник (digital twin): виртуальное представление физической системы, использующее данные в реальном времени и машинное обучение, чтобы отражать, предсказывать и оптимизировать поведение своего физического аналога.

смещение накладных расходов (displacement of overhead): принцип, по которому снижение одной стоимости в распределенных системах часто переносит давление на другую часть системы, а не устраняет его. Например, меньшее число барьеров синхронизации может сократить время координации, но увеличить устаревание или сложность восстановления.

разобщенное обслуживание (disaggregated serving): архитектура обслуживания, разделяющая работу предзаполнения и декодирования между разными пулами или железом, оптимизированным под их различные узкие места.

системы реагирования на катастрофы (disaster response systems): автоматизированные системы, которые с помощью машинного обучения обнаруживают, предсказывают и реагируют на стихийные бедствия через анализ спутниковых снимков, сенсорные сети и оптимизацию распределения ресурсов.

распределенные контрольные точки (distributed checkpointing): паттерн сохранения контрольных точек, при котором воркеры параллельно записывают свои части состояния обучения по согласованному протоколу.

паттерн распределенных знаний (distributed knowledge pattern): проектный паттерн для коллективного обучения и инференса на децентрализованных узлах; делает упор на одноранговый обмен знаниями и совместное улучшение модели при сохранении операционной независимости.

распределенная трассировка (distributed tracing): техника наблюдаемости, которая прослеживает запрос через несколько сервисов или компонентов с помощью передаваемого контекста трассы.

распределенное обучение (distributed training): практика обучения моделей машинного обучения на нескольких вычислительных узлах или устройствах, чтобы сократить время обучения и сделать возможными более крупные архитектуры моделей.

сдвиг распределения (distribution shift): явление, при котором данные, встречающиеся при развертывании модели, отличаются от обучающего распределения и потенциально ухудшают качество модели.

типы сдвига распределения (distribution shift types): формальная классификация изменений в распределениях данных, включая ковариатный сдвиг, сдвиг меток, дрейф концепта и сдвиг домена; каждому типу нужны свои методы адаптации.

адаптация предметной области (domain adaptation): методы машинного обучения, которые позволяют моделям, обученным в одной области, хорошо работать в другой, но родственной, и решают проблему несоответствия распределений.

прикладные системы ИИ для отдельных областей (domain-specific AI applications): решения на основе машинного обучения, созданные для конкретных отраслей — здравоохранения, сельского хозяйства, образования или реагирования на катастрофы — и рассчитанные на их особые задачи и ограничения.

двойное модульное резервирование (DMR) (double modular redundancy (DMR)): техника отказоустойчивости, которая дублирует вычисление на двух независимых системах и сравнивает их выходы. Расхождение обнаруживает неисправность, но без дополнительного механизма не позволяет определить или исправить ошибочный результат.

дилемма двойного назначения (dual-use dilemma): задача предотвращения злоупотребления технологией, у которой есть и положительные, и отрицательные возможные применения; особенно актуальна для безопасности ИИ.

динамический батчинг (dynamic batching): техника обслуживания, которая ненадолго собирает поступающие запросы в батчи, чтобы повысить пропускную способность, контролируя добавленную задержку.

динамическое масштабирование напряжения и частоты (DVFS) (dynamic voltage and frequency scaling (DVFS)): техника управления энергопотреблением, которая подстраивает напряжение питания и тактовую частоту процессора, обменивая скорость исполнения на расход энергии и тепловой запас.

долговечность (durability): свойство, при котором подтвержденные данные остаются восстановимыми после отказов, предусмотренных контрактом хранилища.

E

граничный ИИ (edge AI): развертывание алгоритмов искусственного интеллекта прямо на граничных устройствах вроде смартфонов, IoT-датчиков и встраиваемых систем, что позволяет обрабатывать данные в реальном времени без связи с облаком.

граничные вычисления (edge computing): парадигма распределенных вычислений, которая приближает вычисления и хранение данных к источникам данных, обеспечивая обработку в реальном времени с меньшей задержкой и меньшими требованиями к пропускной способности.

граничное ML (edge ML): системы машинного обучения, выполняющие инференс, а иногда и обучение на границе сетей, обычно на устройствах с ограниченными ресурсами вроде смартфонов или встраиваемых систем с ограниченной вычислительной мощностью.

граничное обучение (edge training): процесс обучения или дообучения моделей машинного обучения прямо на граничных устройствах, позволяющий персонализацию и адаптацию без передачи данных на облачные серверы.

многопутевая маршрутизация с равной стоимостью (ECMP) (equal-cost multi-path (ECMP)): метод маршрутизации, который по хешу распределяет потоки между несколькими путями с равной стоимостью; устойчивые крупные потоки могут столкнуться на одном пути, даже когда другие пути остаются недогруженными.

эластичное обучение (elastic training): обучение, которое может продолжаться, когда воркеры присоединяются, уходят, отказывают или заменяются, за счет изменения размера групп процессов и перераспределения состояния или данных.

электромиграция (electromigration): перемещение атомов металла в проводнике под действием электрического поля, которое со временем может вызвать необратимые аппаратные неисправности.

воплощенный углерод (embodied carbon): общий объем выбросов парниковых газов, возникающих при производстве, транспортировке и установке продукта до начала его эксплуатации.

результат «ровно один раз» (exactly-once outcome): результат на уровне приложения, при котором повтор не может потерять или продублировать эффект; обычно обеспечивается стабильными идентификаторами и идемпотентными или транзакционными записями, а не одной лишь транспортной доставкой.

время события (event time): момент, когда событие произошло в источнике, в отличие от времени обработки, когда его обработала система.

эмерджентные способности (emergent capabilities): способности, которые внезапно появляются в нейронных сетях при определенных порогах числа параметров, например навыки рассуждения и арифметики, возникающие скачком, а не постепенно улучшающиеся с масштабом.

энергоэффективность (energy efficiency): отношение полезного выхода к затраченной энергии; показывает, насколько эффективно система превращает энергию в нужную вычислительную работу.

инвариант энергетического масштаба (energy-scale invariant): требование оценивать полезные вычисления относительно суммарной энергии, потребленной вычислениями, охлаждением и сетевым перемещением. Дополняет разложение закона парка по времени энергетической мерой эффективности распределенной системы.

ансамблевые методы (ensemble methods): подходы машинного обучения, которые комбинируют предсказания нескольких моделей, чтобы повысить точность, устойчивость и надежность по сравнению с отдельными моделями.

измерение воздействия на окружающую среду (environmental impact measurement): систематическое отслеживание и количественная оценка экологических последствий систем ИИ, включая энергопотребление, выбросы углерода и истощение ресурсов на протяжении всего жизненного цикла системы.

экологический мониторинг (environmental monitoring): систематический сбор и анализ экологических данных с помощью сенсорных сетей и машинного обучения для отслеживания состояния экосистем, уровней загрязнения и последствий изменения климата.

равенство возможностей (equality of opportunity): критерий справедливости, нацеленный на равные доли истинно положительных результатов между группами и гарантирующий, что квалифицированные люди обрабатываются одинаково независимо от принадлежности к группе.

равенство шансов (equalized odds): определение справедливости, требующее, чтобы доли истинно положительных и ложноположительных результатов были равны между разными демографическими группами.

коды коррекции ошибок (error-correcting codes): методы, используемые при хранении и передаче данных для обнаружения и исправления ошибок; повышают надежность системы и целостность данных.

обратная связь по ошибке (error feedback): техника сжатия градиентов, которая сохраняет остатки сжатия и подмешивает их в последующие обновления, чтобы снизить ошибку сходимости.

ESP32: недорогой микроконтроллер, широко используемый в IoT-приложениях, с процессором 240 МГц и 520 КБ SRAM; обычно применяется в приложениях социального воздействия с ограниченными ресурсами.

кража точной модели (exact model theft): атака, цель которой — извлечь точную внутреннюю структуру, параметры и архитектуру модели машинного обучения и тем самым полностью воспроизвести исходную модель.

воспроизведение опыта (experience replay): техника на основе памяти, которая хранит прошлые обучающие примеры в буфере, чтобы предотвратить катастрофическое забывание и стабилизировать обучение при потоковой или непрерывной адаптации.

коллапс экспертов (expert collapse): патология обучения в моделях со смесью экспертов, при которой лишь немногие эксперты получают значимый обучающий сигнал, а остальные используются слабо, что снижает эффективную емкость модели.

параллелизм экспертов (expert parallelism): стратегия для моделей со смесью экспертов, при которой эксперты распределяются между воркерами, а токены направляются выбранным экспертам.

объяснимость (explainability): способность заинтересованных сторон понять, как модель машинного обучения получает свои выходы, с помощью апостериорных методов объяснения.

объяснимый ИИ (explainable AI): системы ИИ, спроектированные так, чтобы давать понятные интерпретируемые объяснения своих решений и предсказаний и решать проблему «черного ящика» сложных моделей машинного обучения.

внешняя память (external memory): механизмы, которые позволяют нейронным сетям обращаться к внешним системам хранения и манипулировать ими, расширяя рабочую память за пределы хранения параметров для более сложных рассуждений и поиска информации.

F

F1-мера (F1 score): показатель точности модели, объединяющий точность и полноту в одну метрику как их гармоническое среднее.

ограничения справедливости (fairness constraints): технические и политические ограничения, призванные обеспечить равное обращение с демографическими группами в системах машинного обучения.

метод быстрого градиентного знака (FGSM) (fast gradient sign method (FGSM)): градиентная состязательная атака, которая создает состязательные примеры, добавляя небольшие возмущения в направлении градиента.

топология fat-tree (fat-tree topology): иерархическая сетевая топология в стиле Клоза, суммарная емкость которой растет к магистрали, что обеспечивает высокую бисекционную пропускную способность и многопутевую маршрутизацию.

прямая коррекция ошибок (FEC) (forward error correction (FEC)): избыточное кодирование, позволяющее приемнику восстановить искаженные символы канала без повторной передачи; обменивает накладные расходы кодирования и задержку на надежную работу при высоких скоростях сигнализации.

атака внесением неисправностей (fault injection attack): физическая атака, намеренно нарушающая работу железа такими методами, как манипуляции напряжением или электромагнитные помехи, чтобы вызвать вычислительные ошибки и подорвать целостность системы.

отказоустойчивость (fault tolerance): способность системы продолжать корректно работать даже когда некоторые ее компоненты отказывают или сталкиваются с ошибками.

хранилище признаков (feature store): система для определения, вычисления, хранения и выдачи повторно используемых признаков машинного обучения единообразно при обучении и инференсе.

федеративное усреднение (federated averaging): стандартный алгоритм федеративного обучения, в котором обновления моделей клиентов агрегируются взвешенным усреднением по размерам локальных наборов данных и дают глобальную модель.

федеративное обучение (federated learning): подход машинного обучения, при котором алгоритмы обучаются на децентрализованных источниках данных без необходимости централизовать данные; повышает приватность и снижает энергозатраты на передачу данных.

обучение на нескольких примерах (few-shot) (few-shot learning): парадигма машинного обучения, позволяющая моделям адаптироваться к новым задачам по небольшому числу размеченных примеров; критична для сценариев на устройствах с малым объемом данных.

FlashAttention: алгоритм внимания с тайлингом, который не материализует полную матрицу внимания и использует онлайновый softmax и блокирование с учетом памяти, чтобы сократить трафик памяти.

закон парка (fleet law): модель времени распределенного шага, которая раскладывает исполнение на идеально разделенные локальные вычисления, коммуникацию, синхронизацию и перекрытие. Объясняет, почему добавление ускорителей в итоге дает убывающую отдачу.

стек парка (fleet stack): слоистая модель парка машинного обучения в этой книге, идущая от инфраструктуры через распределение и обслуживание к управлению. Ограничения нижних слоев ограничивают выбор, доступный выше.

FLOP/с (FLOP/s): число операций с плавающей запятой в секунду — мера пропускной способности, показывающая, сколько арифметических операций с плавающей запятой система выполняет за секунду.

базовые модели (foundation models): крупномасштабные предобученные модели вроде GPT и BERT, которые можно адаптировать к самым разным последующим задачам; служат основой для многих приложений.

полностью шардированный параллелизм по данным (FSDP) (fully sharded data parallel (FSDP)): подход шардированного параллелизма по данным, при котором состояние модели разбивается между воркерами, а параметры собираются только тогда, когда нужны для вычислений.

G

gang-планирование (gang scheduling): политика планирования, которая выделяет все воркеры или ресурсы распределенного задания вместе, чтобы задание могло стартовать и продвигаться как единое целое.

GDPR: Общий регламент по защите данных — закон Европейского союза, налагающий строгие требования на обработку персональных данных и существенно влияющий на проектирование машинного обучения с сохранением приватности.

генеративно-состязательные сети (generative adversarial networks): класс систем машинного обучения, в которых две нейронные сети соревнуются друг с другом: одна генерирует поддельные данные, другая пытается их обнаружить; это приводит к генерации очень реалистичных синтетических данных.

налог на универсальность (generality tax): площадь, мощность и накладные расходы управления, которые универсальный процессор тратит на поддержку разнообразных нагрузок вместо ускорения операций, доминирующих в специализированной нагрузке.

глитчи (glitches): кратковременные отклонения напряжения, тока или сигнала, способные вызвать неверную работу цифровых систем и схем.

рамки управления (governance frameworks): структурированные подходы к управлению ответственной разработкой ИИ, включая политики, процедуры, механизмы надзора и структуры подотчетности.

GPU: графический процессор — специализированная электронная схема, спроектированная для быстрого манипулирования памятью и изменения ее содержимого с целью ускорения создания изображений и параллельных задач вроде обучения ИИ.

GPUDirect RDMA: прямой путь данных, который позволяет сетевым адаптерам с поддержкой RDMA передавать данные в память GPU и из нее без промежуточного хранения в памяти хоста.

GPUDirect Storage (GDS): путь данных хранилища, позволяющий прямой DMA между устройствами хранения и памятью GPU в обход узких мест CPU и DRAM хоста.

накопление градиентов (gradient accumulation): техника, которая накапливает градиенты по нескольким микробатчам перед шагом оптимизатора или синхронизацией.

градиентный спуск (gradient descent): алгоритм оптимизации, который итеративно обновляет параметры модели, двигаясь в направлении, противоположном градиенту функции потерь; основа обучения нейронных сетей.

атака инверсии градиентов (gradient inversion attack): атака, которая восстанавливает чувствительные обучающие примеры или признаки по общим градиентам или обновлениям модели.

устаревание градиента (gradient staleness): задержка, измеряемая в обновлениях или шагах, между вычислением градиента и его применением.

метрики «зеленого ИИ» (green AI metrics): специализированные показатели, измеряющие воздействие систем ИИ на окружающую среду, включая углеродный след, энергоэффективность и использование ресурсов на протяжении жизненного цикла ML.

зеленые вычисления (green computing): практика проектирования, производства, использования и утилизации компьютеров и компьютерных систем экологически ответственным образом.

атака «серого ящика» (gray-box attack): состязательная атака, при которой злоумышленник частично знает модель, например знает архитектуру, но не конкретные параметры или обучающие данные.

H

галлюцинация (hallucination): сбой генеративной модели, при котором выход беглый и уверенный, но не подкреплен, выдуман или фактически неверен.

оптимизация под ограничения железа (hardware constraint optimization): методы адаптации алгоритмов и моделей ML для работы в пределах ограничений памяти, вычислений и мощности мобильных и встраиваемых устройств.

аппаратное резервирование (hardware redundancy): дублирование критических аппаратных компонентов для резервной функциональности и повышения надежности системы через механизмы голосования.

аппаратный троян (hardware trojan): вредоносная модификация, встроенная в аппаратные компоненты при производстве; может оставаться бездействующей в обычных условиях, но запускать вредное поведение при выполнении определенных условий.

механизмы сигналов активности (heartbeat) (heartbeat mechanisms): периодические сигналы между компонентами системы для мониторинга состояния и обнаружения отказов, обеспечивающие своевременное обнаружение неисправностей и восстановление.

иерархический AllReduce (hierarchical AllReduce): декомпозиция AllReduce, которая сначала редуцирует внутри быстрых локальных доменов, а затем общается по более медленным межузловым или межстоечным каналам.

иерархический паттерн обработки (hierarchical processing pattern): проектный паттерн, который организует системы в ярусы (граница, регион, облако), делящие обязанности по доступным ресурсам и возможностям и оптимизирующие использование ресурсов по всему вычислительному спектру.

память с высокой пропускной способностью (HBM) (high-bandwidth memory (HBM)): архитектура DRAM с трехмерным складыванием, подключаемая очень широкими короткими межсоединениями, чтобы обеспечить высокую пропускную способность памяти рядом с ускорителями.

гомоморфное шифрование (homomorphic encryption): криптографическая техника, позволяющая выполнять вычисления прямо над зашифрованными данными без их предварительной расшифровки; делает возможным инференс машинного обучения с сохранением приватности.

горячие запасные узлы (hot spares): резервные компоненты, готовые мгновенно заменить отказывающие компоненты без нарушения работы системы; обеспечивают избыточность.

потеря Хьюбера (Huber loss): робастная функция потерь, применяемая в регрессии; менее чувствительна к выбросам, чем потеря по квадрату ошибки, и повышает стабильность обучения.

сотрудничество человека и ИИ (human-AI collaboration): синергетическое партнерство человека и систем ИИ, в котором каждый вносит свои сильные стороны и вместе они решают сложные задачи эффективнее, чем любой по отдельности.

человеческий надзор (human oversight): принцип, по которому человеческое суждение должно контролировать, исправлять или останавливать автоматизированные решения, сохраняя осмысленный человеческий контроль над системами ИИ.

оптимизация гиперпараметров (hyperparameter optimization): процесс поиска оптимальной конфигурации гиперпараметров (скорости обучения, размера батча, параметров архитектуры сети), управляющих процессом обучения в машинном обучении.

I

идемпотентная запись (idempotent write): запись, повторное выполнение которой с тем же стабильным идентификатором дает тот же сохраненный результат, что и одно выполнение; делает повтор безопасным после неопределенных отказов.

рамки оценки воздействия (impact assessment frameworks): структурированные методики оценки возможных социальных, экономических и экологических эффектов развертываний ИИ в гуманитарных контекстах и контекстах развития.

инференс (inference): фаза машинного обучения, на которой обученная модель используется для предсказаний или генерации выходов на новых, ранее не виденных данных.

InfiniBand: высокопроизводительное межсоединение с низкой задержкой, широко используемое в кластерах HPC и обучения ML, с нативным RDMA и управлением потоком на основе кредитов.

инкаст (incast): всплеск трафика «многие к одному», при котором одновременные отправители перегружают один выходной порт назначения или получателя, быстро заполняя общие буферы и повышая хвостовую задержку.

перемежающиеся неисправности (intermittent faults): аппаратные неисправности, возникающие эпизодически и непредсказуемо, появляющиеся и исчезающие без устойчивых закономерностей, что затрудняет диагностику.

интерпретируемость (interpretability): степень, в которой люди могут понять логику предсказаний модели машинного обучения; часто относится к изначально прозрачным моделям.

IoT-датчики (IoT sensors): устройства интернета вещей, собирающие и передающие данные об окружающей среде или поведении; часто работают с ограниченным бюджетом мощности и малоскоростными коммуникационными протоколами.

K

k-анонимность (k-anonymity): гарантия приватности, при которой каждая опубликованная запись неотличима как минимум от $k-1$ других после обобщения или подавления квазиидентификаторов.

дистилляция знаний (knowledge distillation): техника, при которой большая сложная модель-«учитель» передает выученные знания меньшей и более эффективной модели-«ученику», сохраняя качество и снижая вычислительные требования.

KV-кэш (KV cache): буфер памяти, хранящий ранее вычисленные тензоры ключей и значений трансформера, чтобы авторегрессивная генерация не пересчитывала историю внимания для каждого токена.

L

сдвиг меток (label shift): тип сдвига распределения, при котором распределение целевых меток $p(y)$ меняется, а условное по классу распределение признаков $p(x\mid y)$ остается фиксированным.

большие языковые модели (LLM) (large language models (LLMs)): нейронные сети с миллиардами или триллионами параметров, обученные на огромных текстовых корпусах и способные понимать и генерировать человекоподобный текст в разных областях и задачах.

оценка жизненного цикла (lifecycle assessment): систематический подход к оценке воздействия продукта или системы на окружающую среду на протяжении всего жизненного цикла, от добычи сырья до утилизации.

маячный архетип (lighthouse archetype): повторяющаяся нагрузка, которая используется, чтобы выявить определенное системное ограничение в разных главах. Архетип сохраняет преемственность и позволяет каждой главе рассматривать одну и ту же нагрузку под своим инженерным углом.

балансировка нагрузки (в смеси экспертов) (load balancing): методы в моделях со смесью экспертов, которые обеспечивают равномерное распределение вычислительной нагрузки и обучающего сигнала между экспертами, предотвращают коллапс экспертов и сохраняют эффективность модели.

модель LogP (LogP model): модель коммуникации, которая представляет задержку, накладные расходы, интервал и число процессоров для рассуждений об обмене сообщениями и перекрытии.

таблица подстановки (lookup table): структура данных, которая заменяет вычисление во время выполнения более простой индексацией массива; обычно используется для оптимизации производительности.

LoRa: маломощная дальнобойная физическая модуляция радиосигнала. LoRaWAN — сетевой протокол, использующий радио LoRa; достижимая дальность зависит от частотного плана, мощности передачи, антенн, рельефа, помех и бюджета линии.

низкоранговая адаптация (LoRA) (low-rank adaptation): параметрически эффективный метод дообучения, который приближает обновления весов матрицами низкого ранга, сокращая число обучаемых параметров при сохранении способности к адаптации.

M

машинное сознание (machine consciousness): гипотетическое возникновение осознанности в искусственных системах; передовая область исследований, изучающая, могут ли машины обрести субъективный опыт.

машинное обучение (machine learning): подраздел искусственного интеллекта, позволяющий компьютерам учиться и принимать решения на основе данных без явного программирования под каждую конкретную задачу.

парк машинного обучения (machine learning fleet): распределенная система ускорителей, хранилища, сетевых фабрик и управляющего программного обеспечения, спроектированная так, чтобы работать как одна согласованная вычислительная машина.

жизненный цикл машинного обучения (machine learning lifecycle): полный процесс разработки, развертывания и сопровождения ML-систем — от сбора данных до вывода модели из эксплуатации.

эксплуатация машинного обучения (MLOps) (machine learning operations (MLOps)): практика надежного и эффективного развертывания и сопровождения моделей машинного обучения в промышленной эксплуатации с помощью автоматизированных конвейеров.

безопасность машинного обучения (machine learning security): защита данных, моделей и инфраструктуры от несанкционированного доступа, манипуляций и сбоев на протяжении всего жизненного цикла машинного обучения.

машинное разобучение (machine unlearning): методы удаления влияния отдельных точек данных из обученных моделей без полного переобучения; поддерживают права на удаление данных.

предельные выбросы (marginal emissions): выбросы, вызванные дополнительным ростом спроса на электроэнергию, часто от генератора, который в сети включается следующим.

среднее время между отказами (MTBF) (mean time between failures (MTBF)): ожидаемое время работы между последовательными отказами ремонтируемого компонента или системы.

мегаватт-час (megawatt-hour): единица энергии, равная одному мегаватту мощности, использованному в течение одного часа; обычно применяется для измерения потребления электроэнергии в крупных объектах вроде дата-центров.

атака вывода членства (membership inference attack): атака на приватность, пытающаяся определить, входила ли конкретная точка данных в обучающий набор модели, по анализу поведения и выходов модели.

метаобучение (meta-learning): процесс обучения тому, как учиться: модели обучают быстро адаптироваться к новым задачам при минимуме данных; особенно полезно для персонализации в системах на устройстве.

микроконтроллер (microcontroller): компактная интегральная схема, предназначенная для управления конкретными операциями во встраиваемых системах; обычно обладает ограниченной вычислительной мощностью и памятью, но оптимизирована под низкое энергопотребление и работу в реальном времени.

минимакс (minimax): стратегия принятия решений из теории игр, которая пытается минимизировать максимально возможный проигрыш в состязательных сценариях.

обучение в смешанной точности (mixed precision training): техника, использующая разную числовую точность для разных частей обучения нейронной сети, обычно сочетая 16-битную и 32-битную арифметику с плавающей запятой, чтобы сократить расход памяти и ускорить обучение.

смесь экспертов (mixture of experts): архитектурный подход, использующий несколько специализированных подмоделей (экспертов) с управляющим механизмом, направляющим входы к наиболее подходящим экспертам; позволяет эффективно масштабироваться при сохранении разреженности.

мобильное ML (mobile ML): системы машинного обучения, оптимизированные для мобильных устройств вроде смартфонов и планшетов; уравновешивают вычислительную эффективность и точность инференса при обработке на устройстве.

архитектуры, оптимизированные для мобильных устройств (mobile-optimized architectures): проекты нейронных сетей, созданные специально для мобильного развертывания, с упором на эффективность по параметрам, скорость вычислений и экономию энергии.

MobileNet: семейство эффективных архитектур нейронных сетей для мобильных устройств; использует глубинно-разделимые свертки, чтобы существенно сократить размер модели и объем вычислений.

коллапс мод (mode collapse): режим отказа генеративных моделей, при котором модель выдает лишь ограниченное разнообразие выходов, игнорируя разнообразие обучающих данных и не улавливая полное распределение.

карточки моделей (model cards): рамка документации, которая дает структурированную информацию о моделях машинного обучения, включая предполагаемое использование, характеристики производительности и ограничения.

сжатие моделей (model compression): методы уменьшения размера и вычислительных требований моделей машинного обучения — квантование, прореживание и дистилляция знаний — для развертывания на устройствах с ограниченными ресурсами.

извлечение модели (model extraction): процесс кражи или воссоздания модели машинного обучения по наблюдению ее поведения «вход — выход», часто через систематические запросы к API модели.

утилизация FLOP модели (MFU) (model FLOPs utilization (MFU)): доля пиковых FLOP/с железа, потраченная на полезные вычисления модели за время по часам; используется для измерения устойчивой эффективности обучения или обслуживания.

атака инверсии модели (model inversion attack): атака, которая пытается восстановить обучающие данные или вывести чувствительную информацию о наборе данных по анализу выходов и оценок уверенности модели.

прореживание модели (model pruning): процесс удаления ненужных весов, нейронов или связей из обученной нейронной сети, чтобы уменьшить ее размер и вычислительные требования.

квантование модели (model quantization): техника, снижающая точность параметров модели (обычно с 32 бит до 8 бит или ниже), чтобы уменьшить размер модели и вычислительные требования при сохранении приемлемой точности.

реестр моделей (model registry): центральный каталог артефактов моделей, версий, метаданных, происхождения, зависимостей и состояния жизненного цикла.

неопределенность модели (model uncertainty): неспособность модели машинного обучения отразить всю сложность лежащего в основе процесса порождения данных, ведущая к неопределенности предсказаний.

водяные знаки моделей (model watermarking): техника встраивания проверяемых подписей владения в модели машинного обучения, которые можно использовать для обнаружения несанкционированного применения или доказательства кражи интеллектуальной собственности.

dropout по методу Монте-Карло (Monte Carlo dropout): техника, использующая несколько проходов вперед с разными масками dropout во время инференса, чтобы оценить неопределенность предсказаний.

закон Мура (Moore’s Law): наблюдение, что число транзисторов на микросхеме удваивается примерно каждые два года, снижая стоимость транзистора при исторических допущениях масштабирования.

мультиагентный подход (multi-agent approach): архитектура систем, в которой несколько агентов ИИ сотрудничают, договариваются или соревнуются для решения сложных задач; обеспечивает разделение труда и специализированную экспертизу между разными компонентами.

Multi-Instance GPU (MIG): механизм NVIDIA для разбиения одного GPU на изолированные аппаратные срезы с отдельными вычислительными ресурсами и памятью.

мультикалибровка (multicalibration): техника справедливости, гарантирующая, что предсказания модели остаются откалиброванными по пересекающимся подгруппам; учитывает сложные демографические взаимодействия.

мультимодальный ИИ (multimodal AI): системы ИИ, способные одновременно обрабатывать и понимать несколько типов данных, например текст, изображения, звук и видео, что обеспечивает более полное понимание и взаимодействие.

N

узкий ИИ (narrow AI): системы ИИ, спроектированные так, чтобы преуспевать в конкретных четко определенных задачах, но не способные обобщать на разные области задач, в отличие от общего искусственного интеллекта.

NCCL: NVIDIA Collective Communications Library — библиотека коммуникации GPU для коллективных операций с учетом топологии.

поиск нейронных архитектур (neural architecture search): автоматизированные методы проектирования оптимальных архитектур нейронных сетей: алгоритмы исследуют пространство возможных проектов сетей и находят структуры с лучшей производительностью.

нейронный движок (neural engine): специализированные аппаратные ускорители для инференса и обучения машинного обучения, такие как Apple Neural Engine или Google Edge TPU, оптимизированные под нагрузки ИИ на устройстве.

нейронная сеть (neural network): вычислительная модель, вдохновленная биологическими нейронными сетями; состоит из соединенных узлов (нейронов), организованных в слои, и способна выучивать сложные закономерности по данным.

нейропроцессор (NPU) (neural processing unit (NPU)): специализированный ускоритель для нагрузок нейронных сетей, часто оптимизированный под маломощные матричные и тензорные операции на граничных устройствах.

сетевая фабрика (network fabric): каналы, коммутаторы, маршрутизация и транспортные механизмы, которые соединяют вычислительные узлы и определяют пропускную способность, задержку и поведение распределенной коммуникации при отказах.

неблокирующая фабрика (nonblocking fabric): сеть, внутренняя емкость которой позволяет любой допустимой перестановке пар конечных точек общаться на полной линейной скорости без конкуренции внутри фабрики.

нейроморфные вычисления (neuromorphic computing): вычислительные архитектуры, вдохновленные структурой и функцией биологических нейронных сетей и призванные обрабатывать информацию эффективнее традиционных цифровых компьютеров.

не-IID данные (non-IID data): данные, выборки которых не независимы, не одинаково распределены или и то и другое. На разных устройствах или в разное время клиенты могут брать данные из разных распределений, что создает трудности для сходимости и обобщения федеративного обучения.

Non-Volatile Memory Express (NVMe): высокопроизводительный протокол для SSD, подключаемых по PCIe; часто используется как локальный кэш или ярус промежуточного хранения контрольных точек в иерархиях хранения ML.

NVLink: высокоскоростное межсоединение NVIDIA для коммуникации GPU–GPU внутри узла.

O

объектное хранилище (object storage): модель хранения, которая управляет данными как объектами с метаданными и доступом через сетевой API; обычно используется для долговечной емкости с меньшей стоимостью.

обучение на устройстве (on-device learning): локальная адаптация или обучение моделей машинного обучения прямо на развернутых устройствах без опоры на постоянную связь с централизованными серверами.

операционный углерод (operational carbon): выбросы, возникающие во время работы системы, главным образом от электроэнергии, потребленной при обучении, инференсе, охлаждении и эксплуатации объекта.

переподписка (oversubscription): проектное решение топологии, при котором суммарная нисходящая емкость превышает восходящую; снижает стоимость коммутаторов, но создает общее узкое место пропускной способности при одновременном трафике.

слияние операторов (operator fusion): оптимизация, объединяющая соседние операции в меньшее число ядер, чтобы промежуточные значения оставались на кристалле, а трафик памяти и накладные расходы запуска падали.

оркестрация (orchestration): координация ресурсов и нагрузок парка, включая планирование, размещение, масштабирование, упорядочение, восстановление и распределение ресурсов по распределенной инфраструктуре.

пробой оксида (oxide breakdown): отказ оксидного слоя в транзисторах из-за чрезмерного напряжения электрического поля, вызывающий необратимые аппаратные неисправности.

P

PagedAttention: техника управления памятью KV-кэша, отображающая логические блоки токенов на несмежные физические страницы памяти GPU, чтобы сократить фрагментацию.

параллельная файловая система (PFS) (parallel file system (PFS)): распределенная файловая система, которая разбивает данные по многим серверам хранения и обеспечивает суммарную пропускную способность за пределами одного устройства.

перекос партиций (partition skew): неравномерное распределение записей или ключей, из-за которого одна партиция распределенного конвейера получает непропорциональную работу и определяет время завершения стадии.

параметр (parameter): обучаемая переменная модели машинного обучения, например веса и смещения в нейронных сетях, которая подстраивается во время обучения для оптимизации производительности.

параметрически эффективное дообучение (PEFT) (parameter-efficient fine-tuning (PEFT)): методы адаптации, обновляющие лишь небольшое подмножество параметров или добавленных модулей и оставляющие большинство предобученных весов замороженными.

постоянные неисправности (permanent faults): аппаратные дефекты, которые сохраняются необратимо до ремонта или замены компонента и стабильно влияют на поведение системы.

персонализирующие слои (personalization layers): компоненты модели, обычно финальные классификационные слои, которые адаптируются локально к данным конкретного пользователя, пока общие слои основы остаются замороженными.

физическая атака (physical attack): прямое манипулирование вычислительным железом или вмешательство в него, чтобы скомпрометировать безопасность и целостность систем машинного обучения в обход традиционной программной защиты.

конвейерный параллелизм (pipeline parallelism): стратегия распределенного обучения, которая разбивает слои на последовательные стадии и использует микробатчи, чтобы перекрывать работу на разных устройствах.

соединение на момент времени (point-in-time join): соединение, извлекающее значения признаков в том виде, в каком они существовали на момент временной метки события; предотвращает утечку будущих данных в обучающие наборы.

апостериорные объяснения (post-hoc explanations): методы объяснения, применяемые после обучения модели; рассматривают модель как черный ящик и выводят паттерны рассуждения из поведения «вход — выход».

эффективность использования энергии (PUE) (power usage effectiveness): показатель энергоэффективности дата-центра, вычисляемый как отношение полного энергопотребления объекта к энергопотреблению ИТ-оборудования.

точное земледелие (precision agriculture): использование технологий, включая GPS, датчики и машинное обучение, для оптимизации сельскохозяйственных практик через точный мониторинг и управление вводимыми ресурсами — водой, удобрениями и пестицидами.

фаза предзаполнения (prefill phase): начальная фаза инференса LLM, которая обрабатывает промпт и заполняет KV-кэш; часто ограничена вычислениями.

принцип наименьших привилегий (principle of least privilege): концепция безопасности, по которой пользователям дается минимальный уровень доступа, необходимый для выполнения их обязанностей; снижает риски безопасности.

управление потоком по приоритетам (PFC) (priority flow control (PFC)): механизм канального уровня Ethernet, приостанавливающий трафик по классам приоритета, чтобы предотвратить потерю пакетов; делает возможным RoCE без потерь за операционную цену.

бюджет приватности (privacy budget): понятие дифференциальной приватности, обозначающее общий допустимый объем потери приватности по всем запросам или вычислениям; каждая операция расходует часть этого конечного бюджета.

машинное обучение с сохранением приватности (privacy-preserving machine learning): методы и подходы, позволяющие вести машинное обучение и при этом защищать приватность людей, чьи данные используются для обучения или инференса.

методы сохранения приватности (privacy-preserving techniques): методы защиты приватности отдельных людей в машинном обучении, включая дифференциальную приватность, федеративное обучение и локальную обработку.

компромисс между приватностью и полезностью (privacy-utility trade-off): фундаментальное противоречие между сохранением приватности отдельных людей и сохранением полезности данных для машинного обучения; требует тщательного баланса с помощью таких методов, как дифференциальная приватность.

паттерн прогрессивного улучшения (progressive enhancement pattern): проектный паттерн, который обеспечивает базовую функциональность при минимальных ресурсах и постепенно добавляет продвинутые возможности по мере появления дополнительных ресурсов.

проекционный градиентный спуск (PGD) (projected gradient descent (PGD)): итеративная градиентная состязательная атака, которая многократно возмущает вход и проецирует его обратно в допустимый шар нормы.

инженерия промптов (prompt engineering): практика проектирования и оптимизации текстовых промптов для эффективного общения с большими языковыми моделями и получения нужных выходов от систем ИИ.

внедрение в промпт (prompt injection): атака, при которой состязательные инструкции, встроенные в пользовательское или извлеченное содержимое, заставляют LLM игнорировать заданные ограничения.

прореживание (pruning): техника сжатия моделей, удаляющая ненужные связи или нейроны нейронных сетей, чтобы уменьшить размер модели и вычислительные требования без существенного влияния на производительность.

Q

квантование (quantization): процесс снижения точности весов и активаций модели с формата с плавающей запятой до представлений с меньшим числом бит, чтобы сократить расход памяти и ускорить вычисления на граничных устройствах.

обучение с учетом квантования (QAT) (quantization-aware training (QAT)): обучение, имитирующее арифметику низкой точности, чтобы модель оставалась точной после развертывания с квантованными весами или активациями.

квантовое машинное обучение (quantum machine learning): пересечение квантовых вычислений и машинного обучения; изучает, как квантовые алгоритмы и квантовые компьютеры могут улучшить или преобразовать задачи машинного обучения.

R

топология с оптимизацией под рельсы (rail-optimized) (rail-optimized topology): схема кабельной разводки кластера, которая соединяет соответствующие ранги ускорителей между узлами выделенными сетевыми рельсами и согласует физические пути с предсказуемым трафиком коллективных операций.

рандомизированное сглаживание (randomized smoothing): метод сертифицированной защиты, который классифицирует зашумленные версии входа, чтобы получить вероятностные гарантии устойчивости.

RDMA поверх конвергентного Ethernet (RoCE) (RDMA over Converged Ethernet (RoCE)): протокол, переносящий семантику удаленного прямого доступа к памяти поверх Ethernet и опирающийся на тщательно управляемое поведение с малыми потерями или без потерь.

ReduceScatter: коллективная операция коммуникации, которая редуцирует входы по рангам и рассыпает обратно по рангам отдельные шарды редуцированного результата.

регуляризация (regularization): методы, используемые в машинном обучении для предотвращения переобучения за счет добавления штрафных членов в функцию потерь, ограничивающих сложность модели.

разрыв надежности (reliability gap): разница между надежностью компонента и гораздо более низкой вероятностью того, что все компоненты, нужные большому тесно связанному заданию, остаются доступными. Разрыв растет с размером парка и длительностью задания.

удаленный прямой доступ к памяти (RDMA) (remote direct memory access (RDMA)): сетевой механизм, позволяющий одной машине читать или писать память другой машины без копирований через ядро на пути данных.

возобновляемая энергия (renewable energy): энергия, получаемая из возобновляемых ресурсов, которые естественным образом восполняются: солнечных, ветровых, гидроэлектрических, геотермальных и биомассы.

среды с ограниченными ресурсами (resource-constrained environments): контексты развертывания с ограниченной вычислительной мощностью, пропускной способностью сети или доступностью электроэнергии; обычно требуют специализированного проектирования систем и методов оптимизации.

парадокс ресурсов (resource paradox): проблема в приложениях социального воздействия: области с наибольшими потребностями часто лишены базовой инфраструктуры, нужной для традиционного развертывания технологий, что требует инновационных инженерных решений.

ответственный ИИ (responsible AI): практика разработки и развертывания систем ИИ таким образом, чтобы они были этичными, справедливыми, прозрачными и полезными для общества, а возможный вред и смещения сводились к минимуму.

взлом функции вознаграждения (reward hacking): явление, при котором системы ИИ используют непредусмотренные особенности функций вознаграждения, чтобы максимизировать оценку, нарушая задуманные цели.

кольцевой AllReduce (Ring AllReduce): эффективный по пропускной способности алгоритм AllReduce, который выстраивает ранги в логическое кольцо и использует фазы reduce-scatter и all-gather.

RLHF: обучение с подкреплением на основе обратной связи от человека — метод обучения, в котором человеческие предпочтения направляют поведение модели, помогая системам ИИ лучше согласовываться с человеческими ценностями и намерениями.

надежный ИИ (robust AI): способность систем искусственного интеллекта сохранять производительность и надежность несмотря на внутренние ошибки, внешние возмущения и изменения окружающей среды.

устойчивость (robustness): способность модели сохранять стабильную и согласованную производительность при вариациях входных данных, изменениях среды или в состязательных условиях.

метрики устойчивости (robustness metrics): количественные меры для оценки стабильности модели при различных возмущениях, включая состязательную точность, сертифицированные границы устойчивости и производительность при сдвиге распределения.

точка перегиба (ridge point): арифметическая интенсивность, при которой модель roofline переходит от режима, ограниченного пропускной способностью, к режиму, ограниченному вычислениями; равна пиковой вычислительной производительности, деленной на пропускную способность памяти.

модель roofline (roofline model): модель производительности, которая сопоставляет арифметическую интенсивность с пиковой вычислительной мощностью и пропускной способностью памяти, чтобы выявить режимы, ограниченные вычислениями и пропускной способностью.

S

момент масштаба (scale moment): качественный переход, при котором нагрузка перерастает одну машину и подчиняется ограничениям уровня парка: коммуникации, надежности, энергии и координации.

законы масштабирования (scaling laws): математические зависимости, показывающие степенное масштабирование между размером модели, размером набора данных, вычислительным бюджетом и производительностью; предполагают предсказуемое улучшение с ростом ресурсов.

сканирующие цепочки (scan chains): выделенные тестовые тракты в процессорах, дающие доступ к внутренним регистрам и логике для всестороннего аппаратного тестирования и обнаружения неисправностей.

выбросы категории 1 (scope 1) (scope 1 emissions): прямые выбросы парниковых газов из источников, принадлежащих организации или находящихся под ее контролем, например от сжигания топлива на месте и корпоративного транспорта.

выбросы категории 2 (scope 2) (scope 2 emissions): косвенные выбросы парниковых газов при производстве купленной организацией электроэнергии, пара, тепла или холода.

выбросы категории 3 (scope 3) (scope 3 emissions): все прочие косвенные выбросы парниковых газов в цепочке создания стоимости организации, включая производство, транспортировку и утилизацию по окончании срока службы.

символьная скорость (symbol rate): число сигнальных символов, передаваемых по каналу за секунду; многоуровневая модуляция переносит несколько бит на символ без пропорционального роста физической скорости переходов.

радикс коммутатора (switch radix): число портов сетевого коммутатора; ограничивает разветвление конечных точек, глубину топологии и число уровней коммутации, необходимых при заданном масштабе кластера.

безопасная агрегация (secure aggregation): криптографический протокол, позволяющий серверам федеративного обучения вычислять агрегированные обновления модели, не получая доступа к вкладам отдельных клиентов; усиливает защиту приватности.

безопасная загрузка (secure boot): аппаратно подкрепленный процесс запуска, криптографически проверяющий встроенное и обычное программное обеспечение перед его выполнением.

безопасные вычисления (secure computation): криптографические протоколы, позволяющие нескольким сторонам совместно вычислять функции от приватных входов, не раскрывая эти входы друг другу.

безопасные многосторонние вычисления (secure multi-party computation): криптографический метод, позволяющий нескольким сторонам совместно вычислять функцию от своих приватных входов, не раскрывая их друг другу.

избирательные вычисления (selective computation): вычислительные стратегии, динамически распределяющие ресурсы обработки в зависимости от сложности входа или текущих потребностей и повышающие эффективность за счет отказа от лишних вычислений.

самоуточнение (self-refinement): подход к обучению, при котором модели итеративно улучшают собственные выходы, критикуя и уточняя первоначальные ответы; обеспечивает непрерывное улучшение и лучшее согласование с желаемым поведением.

самоконтролируемое обучение (self-supervised learning): парадигма машинного обучения, где модели учат представления на неразмеченных данных, предсказывая одни части входа по другим; снижает зависимость от размеченных вручную наборов данных.

целевой уровень обслуживания (SLO) (service level objective (SLO)): измеримая цель поведения сервиса — по задержке, свежести, доступности или качеству модели.

SHAP: SHapley Additive exPlanations — фреймворк атрибуции признаков, основанный на значениях Шепли из теории кооперативных игр.

шардированные контрольные точки (sharded checkpointing): подход к созданию контрольных точек, при котором каждый рабочий сохраняет только назначенный ему шард модели, градиентов или состояния оптимизатора.

атака по побочным каналам (side-channel attack): атака, использующая информацию, утекающую через физическую реализацию вычислительных систем, например через энергопотребление, электромагнитное излучение или вариации времени выполнения.

тихое повреждение данных (SDC) (silent data corruption (SDC)): необнаруженные ошибки при вычислении или передаче данных, которые распространяются по уровням системы, не вызывая оповещений, и потенциально портят результаты.

мелкие фермеры (smallholder farmers): фермеры, обрабатывающие участки менее 2 гектаров; они производят значительную долю мирового продовольствия, но часто лишены доступа к современным сельскохозяйственным технологиям и кредитам.

измерение социального воздействия (social impact measurement): систематическая оценка того, как приложения ИИ влияют на сообщества и отдельных людей, включая метрики доступности, равенства, эффективности и непредвиденных последствий.

программная неисправность (software fault): непреднамеренное поведение программных систем, возникающее из дефектов, ошибок или конструктивных упущений; может ухудшать производительность или подрывать безопасность.

разреженное обучение (sparse training): подход к обучению, сохраняющий разреженность весов нейронной сети на протяжении всего процесса обучения и сокращающий вычислительные требования и расход памяти.

разреженные обновления (sparse updates): стратегия обучения, выборочно обновляющая лишь подмножество параметров модели в зависимости от их важности или вклада в производительность; снижает вычислительные и емкостные накладные расходы.

игра со спецификацией (specification gaming): ситуация, когда системы ИИ находят неожиданные способы получить высокую награду, формально удовлетворяющие целевой функции, но нарушающие задуманную цель.

спекулятивное декодирование (speculative decoding): оптимизация обслуживания, при которой малая черновая модель предлагает токены, а большая целевая модель проверяет их параллельно.

спекулятивное исполнение (speculative execution): оптимизация производительности в процессорах: инструкции выполняются до подтверждения их необходимости, что может непреднамеренно раскрыть чувствительные данные через микроархитектурные побочные каналы.

синхронный параллелизм с ограниченным устареванием (SSP) (stale synchronous parallel (SSP)): модель синхронизации, позволяющая более быстрым рабочим опережать самого медленного на ограниченное число шагов.

модели пространства состояний (state space models): нейросетевые архитектуры, обрабатывающие последовательности с помощью сжатых представлений памяти, обновляемых инкрементально; дают преимущество линейного масштабирования по сравнению с вниманием трансформеров.

стохастические вычисления (stochastic computing): вычислительные техники, использующие случайные биты и вероятностные операции для арифметики; потенциально обеспечивают лучшую отказоустойчивость, чем традиционные методы.

отстающий узел (straggler): исправный, но медленный рабочий, который задерживает синхронный прогресс остальных участников распределенного задания.

константная неисправность (stuck-at fault): постоянная аппаратная неисправность, при которой линия сигнала фиксируется на логическом 0 или 1 независимо от входа и вызывает неверные вычисления.

атака на цепочку поставок (supply chain attack): атака, компрометирующая аппаратные или программные компоненты при изготовлении, распространении или интеграции и потенциально затрагивающая множество систем ниже по цепочке.

устойчивый ИИ (sustainable AI): практика разработки и развертывания систем искусственного интеллекта, минимизирующая воздействие на окружающую среду при сохранении эффективности и доступности.

цели устойчивого развития (sustainable development goals): набор из 17 глобальных целей, принятых Организацией Объединенных Наций для решения острых социальных, экономических и экологических проблем к 2030 году; задает рамку для приложений ИИ на благо общества.

роевой интеллект (swarm intelligence): коллективный интеллект, возникающий в децентрализованных самоорганизующихся системах; часто вдохновлен биологическими роями и применяется в распределенных ML-системах и робототехнике.

синхронная жесткая связность (synchronous tight coupling): шаблон исполнения, при котором рабочие должны согласовывать общий прогресс, обычно на барьере, так что один медленный или отказавший участник может задержать все задание.

систолический массив (systolic array): регулярная сетка вычислительных элементов, передающих операнды и частичные результаты соседним ячейкам; обеспечивает матричные операции с высокой пропускной способностью при ограниченном перемещении данных вне кристалла.

генерация синтетических данных (synthetic data generation): создание искусственных наборов данных, приближающих статистические свойства реальных данных; снижает риски для приватности и исключает прямое раскрытие чувствительной информации.

устойчивость на уровне всей системы (system-wide sustainability): целостный подход к экологической ответственности, учитывающий всю экосистему инфраструктуры ИИ — от дата-центров до граничных устройств, — а не оптимизацию отдельных компонентов по отдельности.

T

хвостовая задержка (tail latency): задержка запросов на высоких процентилях, например P99, отражающая редкие медленные ответы, которые влияют на надежность распределенного сервиса.

целевая атака (targeted attack): тип атаки отравления данных, направленный на ошибочную классификацию конкретных входов или классов при почти неизменной общей производительности модели.

Tensor Core: специализированный аппаратный блок умножения матриц с накоплением, оптимизированный для тензорных операций со смешанной точностью.

тензорный параллелизм (tensor parallelism): стратегия параллелизма модели, разбивающая тензорные операции или веса слоев по устройствам и объединяющая частичные результаты с помощью коллективных операций.

расчетная тепловая мощность (TDP) (thermal design power (TDP)): устойчивая тепловая нагрузка, которую система охлаждения рассчитана отводить от процессора или ускорителя в заданном рабочем диапазоне.

термическое напряжение (thermal stress): деградация оборудования из-за многократных циклов нагрева и охлаждения, приводящая к усталости материалов и возможным отказам.

моделирование угроз (threat modeling): структурированный анализ безопасности, определяющий активы, возможности противника, пути атак и приоритеты защиты системы.

время на выходной токен (TPOT) (time per output token (TPOT)): задержка на токен после первого сгенерированного токена; определяет темп потокового вывода LLM.

время до первого токена (TTFT) (time to first token (TTFT)): задержка от поступления запроса до появления первого сгенерированного токена.

TinyML: направление, посвященное развертыванию моделей машинного обучения на микроконтроллерах и предельно ограниченных по ресурсам устройствах с килобайтами памяти и милливаттами потребляемой мощности.

планирование с учетом топологии (topology-aware scheduling): размещение, учитывающее локальность GPU и межсоединений: домены NVLink, стойки, рельсы или иерархию коммутаторов.

TPU: Tensor Processing Unit — специализированный ускоритель ИИ, разработанный Google для нагрузок машинного обучения, в частности для вычислений нейронных сетей.

обучение (training): процесс обучения модели машинного обучения делать предсказания: ей показывают примеры и подстраивают параметры по обратной связи о качестве.

расхождение обучения и обслуживания (training-serving skew): несоответствие между вычислением признаков или данных на этапе обучения и на этапе обслуживания, из-за которого промышленные входы отличаются от того, чему научилась модель.

трансферное обучение (transfer learning): техника машинного обучения, использующая знания предобученной модели с одной задачи, чтобы улучшить обучение на родственной задаче; позволяет эффективно адаптироваться при малом объеме данных.

трансформер (transformer): архитектура нейронной сети, использующая механизмы самовнимания для обработки последовательных данных; лежит в основе многих современных языковых моделей.

архитектура трансформера (transformer architecture): архитектура нейронной сети на основе механизмов внимания, совершившая переворот в обработке естественного языка и все чаще применяемая в других областях, например в компьютерном зрении.

кратковременные неисправности (transient faults): временные аппаратные неисправности, которые не сохраняются и не наносят постоянного ущерба, но при неправильной обработке могут приводить к неверным вычислениям.

прозрачность (transparency): открытость в том, как системы ИИ создаются, обучаются, проверяются и развертываются, включая раскрытие источников данных, проектных допущений и ограничений.

древовидный AllReduce (Tree AllReduce): алгоритм AllReduce, использующий фазы редукции и широковещания по дереву для снижения задержки, как правило, ценой эффективности пропускной способности.

тройное модульное резервирование (TMR) (triple modular redundancy (TMR)): техника отказоустойчивости: три реплики вычисления и мажоритарное голосование маскируют один независимый неверный результат; не гарантирует корректности при множественных или общих неисправностях.

доверенная среда исполнения (trusted execution environment): защищенная область внутри процессора, обеспечивающая аппаратную защиту кода и данных и гарантирующая конфиденциальность и целостность даже от привилегированного системного ПО.

двухфазная фиксация (2PC) (two-phase commit (2PC)): протокол координации с фазами подготовки и фиксации, обеспечивающий атомарную фиксацию или откат всех участников.

V

согласование ценностей (value alignment): принцип, по которому системы ИИ должны преследовать цели, согласованные с намерениями человека и этическими нормами; затрагивает проблему кодирования человеческих ценностей в машинных целях.

проектирование с учетом ценностей (value-sensitive design): методология включения человеческих ценностей в проектирование технологий через систематическое вовлечение заинтересованных сторон и этическую оценку последствий систем.

болезни, передаваемые переносчиками (vector-borne diseases): заболевания, передаваемые насекомыми или другими переносчиками, например малярия, которую переносят комары; их можно отслеживать и контролировать с помощью систем обнаружения на основе машинного обучения.

модели «зрение — язык» (vision-language models): системы ИИ, способные одновременно понимать визуальную и текстовую информацию и рассуждать о ней; позволяют решать задачи подписывания изображений, визуальных вопросов и ответов и мультимодального понимания.

W

компьютер масштаба склада (WSC) (warehouse-scale computer (WSC)): вычислительная система масштаба здания, работающая как одна согласованная машина; сетевая фабрика и иерархия хранилищ рассматриваются как ресурсы уровня системы.

процессор масштаба пластины (WSE) (wafer-scale engine (WSE)): архитектура ускорителя, объединяющая вычисления, память и коммуникацию на большей части кремниевой пластины или на всей ней, чтобы снизить издержки пропускной способности и задержки на пересечении границ отдельных корпусов.

сторожевой таймер (watchdog timer): аппаратный компонент, который следит за выполнением системы и запускает действия восстановления, если система перестает отвечать или зависает.

водяная метка (watermark): оценка в потоковой системе того, что событийное время продвинулось достаточно, чтобы закрыть окно; сопровождается явной политикой для поступлений, пришедших позже.

эффективность использования воды (WUE) (water usage effectiveness): метрика эффективности потребления воды в дата-центрах; вычисляется как отношение общего потребления воды к энергопотреблению ИТ-оборудования.

замораживание весов (weight freezing): техника, при которой большинство параметров модели фиксируются на время обучения, а обновляются только отдельные слои или компоненты; снижает вычислительные требования адаптации на устройстве.

атака белого ящика (white-box attack): состязательная атака, при которой злоумышленник полностью знает архитектуру модели, параметры, обучающие данные и внутреннее устройство, что позволяет применять высокоэффективные стратегии.

Z

ZeRO (Zero Redundancy Optimizer): техника сокращения памяти, шардирующая состояние оптимизатора, градиенты и, опционально, параметры по рабочим параллелизма по данным.

уязвимость нулевого дня (zero-day vulnerability): ранее неизвестный изъян безопасности в программном или аппаратном обеспечении, который злоумышленники могут использовать до того, как разработчики успели создать и распространить исправление.

обучение без примеров (zero-shot learning): способность моделей машинного обучения выполнять задачу или распознавать классы без примеров, специфичных для задачи, обычно за счет представлений, выученных при предобучении.