2.3 Линейная алгебра

После того как мы научились хранить и обрабатывать данные, кратко повторим основные сведения из линейной алгебры. Они помогут читателю понять и реализовать большинство моделей, которые рассматриваются в этой книге. В этом разделе мы введём базовые математические объекты линейной алгебры, операции над ними и их обозначения, а также покажем, как реализовать их в коде.

2.3.1 Скаляры

Если вы когда-нибудь расплачивались в ресторане, вы уже знакомы с некоторыми базовыми понятиями линейной алгебры, например со сложением и умножением чисел. Допустим, температура в Пекине составляет $52^{\circ }F$ (градусы Фаренгейта — единица измерения температуры, отличная от градусов Цельсия). Строго говоря, одно число называют скаляром (scalar). Чтобы перевести это значение в более привычные градусы Цельсия, можно вычислить выражение $c=\frac{5}{9}(f-32)$, подставив $f=52$. В этом выражении каждое из чисел ($5$, $9$ и $32$) — скаляр. Символы $c$ и $f$ называют переменными (variable): они обозначают неизвестные скалярные значения.

В этой книге скалярные переменные обозначаются обычными строчными буквами (например, $x$, $y$ и $z$). Через $\mathbb{R}$ обозначают пространство всех (непрерывных) вещественных скаляров; строгое определение пространства (space) мы дадим позже, а пока достаточно помнить, что запись $x\in \mathbb{R}$ — формальный способ сказать, что $x$ — вещественный скаляр. Символ $\in$ читается как «принадлежит» и означает «является элементом множества». Например, запись $x,y\in \{0,1\}$ показывает, что $x$ и $y$ — числа, которые могут принимать только значения $0$ или $1$.

Скаляр представляется тензором, содержащим один элемент. Следующий код создаёт два скаляра и выполняет над ними знакомые арифметические операции: сложение, умножение, деление и возведение в степень.

from mxnet import np, npx
npx.set_np()

x = np.array(3.0)
y = np.array(2.0)

x + y, x * y, x / y, x ** y

import torch

x = torch.tensor(3.0)
y = torch.tensor(2.0)

x + y, x * y, x / y, x**y

import tensorflow as tf

x = tf.constant(3.0)
y = tf.constant(2.0)

x + y, x * y, x / y, x**y

import warnings
warnings.filterwarnings(action='ignore')
import paddle

x = paddle.to_tensor([3.0])
y = paddle.to_tensor([2.0])

x + y, x * y, x / y, x**y

2.3.2 Векторы

Вектор можно рассматривать как список скалярных значений. Эти значения называют элементами (element) или компонентами (component) вектора. Когда векторы представляют примеры из набора данных, значения их компонентов имеют вполне конкретный смысл. Например, если мы обучаем модель оценивать риск невозврата кредита, каждому заявителю можно сопоставить вектор, компоненты которого соответствуют его доходу, стажу работы, числу прошлых просрочек и другим факторам. Если же мы изучаем риск сердечного приступа у пациентов больницы, каждого пациента можно представить вектором, компоненты которого — последние показатели жизнедеятельности, уровень холестерина, ежедневное время физической активности и т. д. В математической записи векторы обычно обозначают жирными строчными буквами (например, $\mathbf{x}$, $\mathbf{y}$ и $\mathbf{z}$).

Вектор представляют одномерным тензором. В общем случае тензор может иметь любую длину в пределах ограничений памяти компьютера.

x = np.arange(4)
x

x = torch.arange(4)
x

x = tf.range(4)
x

x = paddle.arange(4)
x

К любому элементу вектора можно обратиться по индексу: например, $x_i$ обозначает $i$-й элемент. Заметим, что элемент $x_i$ — скаляр, поэтому при обращении к нему он не выделяется жирным шрифтом. Большинство литературы по умолчанию считает векторы столбцами, и в этой книге мы придерживаемся того же соглашения. В математической записи вектор $\mathbf{x}$ можно представить так:

$$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right],\text{\hspace{1em}(2.3.1)}$$

где $x_1,\dots ,x_n$ — элементы вектора. В коде элементы вектора доступны через индексацию тензора.

x[3]

x[3]

x[3]

x[3]

2.3.2.1 Длина, размерность и форма

Вектор — это просто массив чисел, и, как у любого массива, у вектора есть длина. Если мы хотим сказать, что вектор $\mathbf{x}$ состоит из $n$ вещественных скаляров, можно записать $\mathbf{x}\in {\mathbb{R}}^n$. Длину вектора обычно называют его размерностью (dimension).

Как и у обычных массивов Python, длину тензора можно получить с помощью встроенной функции len().

len(x)

len(x)

len(x)

len(x)

Когда вектор представлен тензором с одной осью, его длину можно получить и через атрибут .shape. Форма (shape) — это кортеж, в котором перечислены длины тензора вдоль каждой оси (то есть размеры по каждому измерению). У тензора с одной осью форма содержит только один элемент.

x.shape

x.shape

x.shape

x.shape

Слово «размерность» (dimension) в разных контекстах означает разное, и это часто сбивает с толку. Чтобы избежать путаницы, уточним: размерность вектора или оси — это длина вектора или оси, то есть число его элементов. Однако размерность тензора — это число его осей. В этом смысле размерность оси тензора — это длина этой оси.

2.3.3 Матрицы

Как вектор обобщает скаляр с нулевого порядка на первый, так матрица обобщает вектор с первого порядка на второй. Матрицы обычно обозначают жирными заглавными буквами (например, $\mathbf{X}$, $\mathbf{Y}$ и $\mathbf{Z}$), а в коде представляют тензорами с двумя осями.

Запись $\mathbf{A}\in {\mathbb{R}}^{m\times n}$ означает, что матрица $\mathbf{A}$ состоит из $m$ строк и $n$ столбцов вещественных скаляров. Любую матрицу $\mathbf{A}\in {\mathbb{R}}^{m\times n}$ можно представить как таблицу, в которой каждый элемент $a_{ij}$ стоит в $i$-й строке и $j$-м столбце:

$$\mathbf{A}=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right].\text{\hspace{1em}(2.3.2)}$$

Для любой матрицы $\mathbf{A}\in {\mathbb{R}}^{m\times n}$ её форма — ($m$, $n$), или $m\times n$. Если у матрицы одинаковое число строк и столбцов, её форма квадратная; такую матрицу называют квадратной (square matrix).

Когда мы вызываем функцию, создающую тензор, матрицу формы $m\times n$ можно получить, задав два размера $m$ и $n$.

A = np.arange(20).reshape(5, 4)
A

A = torch.arange(20).reshape(5, 4)
A

A = tf.reshape(tf.range(20), (5, 4))
A

A = paddle.reshape(paddle.arange(20), (5, 4))
A

Скалярный элемент $a_{ij}$ матрицы можно получить по индексу строки ($i$) и индексу столбца ($j$), например как $[\mathbf{A}{]}_{ij}$. Если элементы матрицы $\mathbf{A}$ не выписаны явно, как в формуле (2.3.2), для обозначения $[\mathbf{A}{]}_{ij}$ можно просто использовать строчную букву $a$ с двумя индексами. Чтобы запись оставалась компактной, запятую между индексами ставим только тогда, когда это необходимо, например $a_{2,3j}$ и $[\mathbf{A}{]}_{2i-1,3}$.

Если поменять местами строки и столбцы матрицы, результат называют транспонированием (transpose). Транспонированную матрицу обычно обозначают ${\mathbf{A}}^{\top }$: если $\mathbf{B}={\mathbf{A}}^{\top }$, то для любых $i$ и $j$ выполняется $b_{ij}=a_{ji}$. Таким образом, транспонированная матрица из формулы (2.3.2) имеет форму $n\times m$:

$${\mathbf{A}}^{\top }=\left[\begin{array}{cccc}{a}_{11}& a_{21}& \dots & a_{m1}\\ a_{12}& a_{22}& \dots & a_{m2}\\ ⋮& ⋮& \ddots & ⋮\\ a_{1n}& a_{2n}& \dots & a_{mn}\end{array}\right].$$

Теперь получим транспонированную матрицу в коде.

A.T

A.T

tf.transpose(A)

paddle.transpose(A, perm=[1, 0])

Особый вид квадратных матриц составляют симметричные матрицы (symmetric matrix): матрица $\mathbf{A}$ симметрична, если она равна своей транспонированной: $\mathbf{A}={\mathbf{A}}^{\top }$. Определим симметричную матрицу $\mathbf{B}$:

B = np.array([[1, 2, 3], [2, 0, 4], [3, 4, 5]])
B

B = torch.tensor([[1, 2, 3], [2, 0, 4], [3, 4, 5]])
B

B = tf.constant([[1, 2, 3], [2, 0, 4], [3, 4, 5]])
B

B = paddle.to_tensor([[1, 2, 3], [2, 0, 4], [3, 4, 5]])
B

Теперь сравним B с её транспонированной матрицей.

B == B.T

B == tf.transpose(B)

B == paddle.transpose(B, perm=[1, 0])

Матрицы — полезные структуры данных: они позволяют организовывать данные с разными закономерностями. Например, строки матрицы могут соответствовать разным домам (примерам данных), а столбцы — разным признакам. Тем, кто работал с электронными таблицами или прочитал раздел 2.2, это знакомо. Поэтому, хотя отдельный вектор по умолчанию считается столбцом, в матрице, представляющей табличный набор данных, каждый пример чаще записывают строкой. Это соглашение будет использоваться в следующих главах и соответствует распространённой практике глубокого обучения. Например, вдоль самой внешней оси тензора можно обращаться к минибатчу примеров или перебирать его.

2.3.4 Тензоры

Так же как векторы обобщают скаляры, а матрицы — векторы, можно построить структуры данных с большим числом осей. Тензоры (здесь слово «тензор» означает алгебраический объект) — общий способ описания $n$-мерных массивов с произвольным числом осей. Например, вектор — это тензор первого порядка, а матрица — тензор второго порядка. Тензоры обозначают прописными буквами особого шрифта (например, $\mathsf{X}$, $\mathsf{Y}$ и $\mathsf{Z}$), а их индексация (например, $x_{ijk}$ и $[\mathsf{X}{]}_{1,2i-1,3}$) устроена так же, как у матриц.

Тензоры становятся особенно важными, когда мы начинаем работать с изображениями. Изображение — это $n$-мерный массив, в котором три оси соответствуют высоте, ширине и каналу (channel) — оси цветовых каналов (красного, зелёного и синего). Однако пока отложим тензоры более высоких порядков и сосредоточимся на основах.

X = np.arange(24).reshape(2, 3, 4)
X

X = torch.arange(24).reshape(2, 3, 4)
X

X = tf.reshape(tf.range(24), (2, 3, 4))
X

X = paddle.reshape(paddle.arange(24), (2, 3, 4))
X

2.3.5 Основные свойства арифметики тензоров

Скаляры, векторы, матрицы и тензоры с любым числом осей обладают полезными свойствами. Например, из определения поэлементных операций видно, что любая поэлементная унарная операция не меняет форму своего операнда. Аналогично, для любых двух тензоров одинаковой формы результат поэлементной бинарной операции тоже является тензором той же формы. Например, сложение двух матриц одинаковой формы выполняется поэлементно.

A = np.arange(20).reshape(5, 4)
B = A.copy()  # Выделяем новую память и присваиваем B копию A
A, A + B

A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
B = A.clone()  # Выделяем новую память и присваиваем B копию A
A, A + B

A = tf.reshape(tf.range(20, dtype=tf.float32), (5, 4))
B = A  # Нельзя скопировать A в B с выделением новой памяти
A, A + B

A = paddle.reshape(paddle.arange(20, dtype=paddle.float32), (5, 4))
B = A.clone()  # Выделяем новую память и присваиваем B копию A
A, A + B

В частности, поэлементное умножение двух матриц называют произведением Адамара (Hadamard product) и обозначают символом $\odot$. Для матрицы $\mathbf{B}\in {\mathbb{R}}^{m\times n}$ элемент, стоящий в $i$-й строке и $j$-м столбце, равен $b_{ij}$. Произведение Адамара матриц $\mathbf{A}$ (определённой в формуле (2.3.2)) и $\mathbf{B}$ имеет вид:

$$\mathbf{A}\odot \mathbf{B}=\left[\begin{array}{cccc}{a}_{11}{b}_{11}& a_{12}{b}_{12}& \dots & a_{1n}{b}_{1n}\\ a_{21}{b}_{21}& a_{22}{b}_{22}& \dots & a_{2n}{b}_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}{b}_{m1}& a_{m2}{b}_{m2}& \dots & a_{mn}{b}_{mn}\end{array}\right].$$

A * B

A * B

A * B

A * B

Умножение тензора на скаляр или сложение с ним не меняет форму тензора: каждый элемент тензора складывается со скаляром или умножается на него.

a = 2
X = np.arange(24).reshape(2, 3, 4)
a + X, (a * X).shape

a = 2
X = torch.arange(24).reshape(2, 3, 4)
a + X, (a * X).shape

a = 2
X = tf.reshape(tf.range(24), (2, 3, 4))
a + X, (a * X).shape

a = 2
X = paddle.reshape(paddle.arange(24), (2, 3, 4))
a + X, (a * X).shape

2.3.6 Редукция

Полезная операция, которую можно выполнить над любым тензором, — вычисление суммы его элементов. Для обозначения суммы используется символ $\sum$. Сумму элементов вектора длины $d$ можно записать как ${\sum }_{i=1}^d{x}_i$. В коде для этого есть функция суммирования:

x = np.arange(4)
x, x.sum()

x = torch.arange(4, dtype=torch.float32)
x, x.sum()

x = tf.range(4, dtype=tf.float32)
x, tf.reduce_sum(x)

x = paddle.arange(4, dtype=paddle.float32)
x, x.sum()

Можно записать сумму элементов тензора произвольной формы. Например, сумма элементов матрицы $\mathbf{A}$ записывается как ${\sum }_{i=1}^m{\sum }_{j=1}^n{a}_{ij}$.

A.shape, A.sum()

A.shape, A.sum()

A.shape, tf.reduce_sum(A)

A.shape, A.sum()

По умолчанию вызов функции суммирования уменьшает размерность тензора по всем осям, превращая его в скаляр. Кроме того, можно указать, по какой оси выполнять суммирование для уменьшения размерности. Для матрицы, чтобы просуммировать все строки и уменьшить размерность по оси 0, укажем axis=0. Поскольку входная матрица суммируется по оси 0 для получения выходного вектора, размерность по оси 0 пропадает из формы результата.

A_sum_axis0 = A.sum(axis=0)
A_sum_axis0, A_sum_axis0.shape

A_sum_axis0 = A.sum(axis=0)
A_sum_axis0, A_sum_axis0.shape

A_sum_axis0 = tf.reduce_sum(A, axis=0)
A_sum_axis0, A_sum_axis0.shape

A_sum_axis0 = A.sum(axis=0)
A_sum_axis0, A_sum_axis0.shape

Указание axis=1 приводит к суммированию элементов по всем столбцам, то есть к уменьшению размерности по оси 1. Поэтому размерность по оси 1 пропадает из формы результата.

A_sum_axis1 = A.sum(axis=1)
A_sum_axis1, A_sum_axis1.shape

A_sum_axis1 = A.sum(axis=1)
A_sum_axis1, A_sum_axis1.shape

A_sum_axis1 = tf.reduce_sum(A, axis=1)
A_sum_axis1, A_sum_axis1.shape

A_sum_axis1 = A.sum(axis=1)
A_sum_axis1, A_sum_axis1.shape

Суммирование по строкам и столбцам матрицы даёт тот же результат, что и суммирование всех её элементов.

A.sum(axis=[0, 1])  # Результат совпадает с A.sum()

tf.reduce_sum(A, axis=[0, 1])  # Результат совпадает с tf.reduce_sum(A)

A.sum(axis=[0, 1])

Связанная с суммой величина — среднее значение (mean или average). Его вычисляют, разделив сумму на число элементов. В коде есть функция для вычисления среднего значения тензора любой формы.

A.mean(), A.sum() / A.size

A.mean(), A.sum() / A.numel()

tf.reduce_mean(A), tf.reduce_sum(A) / tf.size(A).numpy()

A.mean(), A.sum() / A.numel()

Аналогично, функция среднего значения может уменьшать размерность тензора по заданной оси.

A.mean(axis=0), A.sum(axis=0) / A.shape[0]

tf.reduce_mean(A, axis=0), tf.reduce_sum(A, axis=0) / A.shape[0]

A.mean(axis=0), A.sum(axis=0) / A.shape[0]

2.3.6.1 Суммирование без уменьшения размерности

Иногда при вычислении суммы или среднего полезно сохранить число осей неизменным.

sum_A = A.sum(axis=1, keepdims=True)
sum_A

sum_A = tf.reduce_sum(A, axis=1, keepdims=True)
sum_A

sum_A = paddle.sum(A, axis=1, keepdim=True)
sum_A

Например, поскольку sum_A после суммирования по строкам по-прежнему имеет две оси, мы можем разделить A на sum_A с помощью broadcasting.

A / sum_A

A / sum_A

A / sum_A

A / sum_A

Если нужно вычислить накопленную сумму элементов A вдоль оси, например axis=0 (по строкам), можно вызвать функцию cumsum. Она не уменьшает размерность входного тензора ни по одной из осей.

A.cumsum(axis=0)

tf.cumsum(A, axis=0)

A.cumsum(axis=0)

2.3.7 Скалярное произведение (dot product)

Мы уже изучили поэлементные операции, суммирование и среднее значение. Ещё одна из самых базовых операций — скалярное произведение. Для двух векторов $\mathbf{x},\mathbf{y}\in {\mathbb{R}}^d$ их скалярное произведение (dot product) ${\mathbf{x}}^{\top }\mathbf{y}$ (или $⟨\mathbf{x},\mathbf{y}⟩$) — это сумма произведений элементов, стоящих на одинаковых позициях: ${\mathbf{x}}^{\top }\mathbf{y}={\sum }_{i=1}^d{x}_i{y}_i$.

y = np.ones(4)
x, y, np.dot(x, y)

y = torch.ones(4, dtype = torch.float32)
x, y, torch.dot(x, y)

y = tf.ones(4, dtype=tf.float32)
x, y, tf.tensordot(x, y, axes=1)

y = paddle.ones(shape=[4], dtype='float32')
x, y, paddle.dot(x, y)

Заметим, что скалярное произведение двух векторов можно вычислить поэлементным умножением с последующим суммированием:

np.sum(x * y)

torch.sum(x * y)

tf.reduce_sum(x * y)

paddle.sum(x * y)

Скалярное произведение полезно во многих случаях. Например, пусть задан набор значений, представленный вектором $\mathbf{x}\in {\mathbb{R}}^d$, и набор весов, представленный вектором $\mathbf{w}\in {\mathbb{R}}^d$. Взвешенная сумма значений из $\mathbf{x}$ с весами $\mathbf{w}$ записывается как скалярное произведение ${\mathbf{x}}^{\top }\mathbf{w}$. Если веса неотрицательны и в сумме дают 1 (то есть $\left({\sum }_{i=1}^d{w}_i=1\right)$), скалярное произведение задаёт взвешенное среднее (weighted average). Если нормировать оба вектора до единичной длины, скалярное произведение равно косинусу угла между ними. Понятие длины (length) будет формально введено далее в этом разделе.

2.3.8 Матрично-векторное произведение

Теперь, когда мы знаем, как вычислять скалярное произведение, можно перейти к матрично-векторному произведению (matrix-vector product). Вспомним матрицу $\mathbf{A}\in {\mathbb{R}}^{m\times n}$ и вектор $\mathbf{x}\in {\mathbb{R}}^n$, определённые в формулах (2.3.2) и (2.3.1). Представим матрицу $\mathbf{A}$ через её вектор-строки:

$$\mathbf{A}=\left[\begin{array}{c}{\mathbf{a}}_1^{\top }\\ {\mathbf{a}}_2^{\top }\\ ⋮\\ {\mathbf{a}}_m^{\top }\end{array}\right],$$

где каждый ${\mathbf{a}}_i^{\top }\in {\mathbb{R}}^n$ — вектор-строка, задающая $i$-ю строку матрицы. Матрично-векторное произведение $\mathbf{Ax}$ — это вектор-столбец длины $m$, $i$-й элемент которого равен скалярному произведению ${\mathbf{a}}_i^{\top }\mathbf{x}$:

$$\mathbf{Ax}=\left[\begin{array}{c}{\mathbf{a}}_1^{\top }\\ {\mathbf{a}}_2^{\top }\\ ⋮\\ {\mathbf{a}}_m^{\top }\end{array}\right]\mathbf{x}=\left[\begin{array}{c}{\mathbf{a}}_1^{\top }\mathbf{x}\\ {\mathbf{a}}_2^{\top }\mathbf{x}\\ ⋮\\ {\mathbf{a}}_m^{\top }\mathbf{x}\end{array}\right].$$

Умножение матрицы $\mathbf{A}\in {\mathbb{R}}^{m\times n}$ можно рассматривать как преобразование векторов из ${\mathbb{R}}^n$ в ${\mathbb{R}}^m$. Такие преобразования очень полезны: например, умножение на квадратную матрицу может представлять поворот. В следующих главах мы увидим, что матрично-векторные произведения позволяют описывать сложные вычисления, с помощью которых по значениям предыдущего слоя вычисляется каждый слой нейронной сети.

MXNet: В коде матрично-векторное произведение тензоров вычисляется той же функцией dot, что и скалярное произведение. При вызове np.dot(A, x) для матрицы A и вектора x выполняется матрично-векторное произведение. Заметим, что число столбцов A (длина по оси 1) должно совпадать с размерностью x (его длиной).

PyTorch: В коде матрично-векторное произведение тензоров вычисляется функцией mv. При вызове torch.mv(A, x) для матрицы A и вектора x выполняется матрично-векторное произведение. Заметим, что число столбцов A (длина по оси 1) должно совпадать с размерностью x (его длиной).

TensorFlow: В коде для матрично-векторного произведения тензоров используется функция matvec. При вызове tf.linalg.matvec(A, x) выполняется матрично-векторное произведение. Заметим, что число столбцов A (длина по оси 1) должно совпадать с размерностью x (его длиной).

A.shape, x.shape, np.dot(A, x)

A.shape, x.shape, torch.mv(A, x)

A.shape, x.shape, tf.linalg.matvec(A, x)

A.shape, x.shape, paddle.mv(A, x)

2.3.9 Матрично-матричное умножение

Освоив скалярное произведение и матрично-векторное произведение, понять матрично-матричное умножение (matrix-matrix multiplication) несложно.

Пусть даны две матрицы $\mathbf{A}\in {\mathbb{R}}^{n\times k}$ и $\mathbf{B}\in {\mathbb{R}}^{k\times m}$:

$$\mathbf{A}=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1k}\\ a_{21}& a_{22}& \cdots & a_{2k}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nk}\end{array}\right],\mathbf{B}=\left[\begin{array}{cccc}{b}_{11}& b_{12}& \cdots & b_{1m}\\ b_{21}& b_{22}& \cdots & b_{2m}\\ ⋮& ⋮& \ddots & ⋮\\ b_{k1}& b_{k2}& \cdots & b_{km}\end{array}\right].$$

Обозначим вектор-строкой ${\mathbf{a}}_i^{\top }\in {\mathbb{R}}^k$ $i$-ю строку матрицы $\mathbf{A}$, а вектор-столбцом ${\mathbf{b}}_j\in {\mathbb{R}}^k$ — $j$-й столбец матрицы $\mathbf{B}$. Чтобы получить матричное произведение $\mathbf{C}=\mathbf{AB}$, проще всего рассмотреть строки $\mathbf{A}$ и столбцы $\mathbf{B}$:

$$\mathbf{A}=\left[\begin{array}{c}{\mathbf{a}}_1^{\top }\\ {\mathbf{a}}_2^{\top }\\ ⋮\\ {\mathbf{a}}_n^{\top }\end{array}\right],\mathbf{B}=\left[\begin{array}{cccc}{\mathbf{b}}_1& {\mathbf{b}}_2& \cdots & {\mathbf{b}}_m\end{array}\right].$$

Если просто вычислять каждый элемент $c_{ij}$ как скалярное произведение ${\mathbf{a}}_i^{\top }{\mathbf{b}}_j$, получим:

$$\mathbf{C}=\mathbf{AB}=\left[\begin{array}{c}{\mathbf{a}}_1^{\top }\\ {\mathbf{a}}_2^{\top }\\ ⋮\\ {\mathbf{a}}_n^{\top }\end{array}\right]\left[\begin{array}{cccc}{\mathbf{b}}_1& {\mathbf{b}}_2& \cdots & {\mathbf{b}}_m\end{array}\right]=\left[\begin{array}{cccc}{\mathbf{a}}_1^{\top }{\mathbf{b}}_1& {\mathbf{a}}_1^{\top }{\mathbf{b}}_2& \cdots & {\mathbf{a}}_1^{\top }{\mathbf{b}}_m\\ {\mathbf{a}}_2^{\top }{\mathbf{b}}_1& {\mathbf{a}}_2^{\top }{\mathbf{b}}_2& \cdots & {\mathbf{a}}_2^{\top }{\mathbf{b}}_m\\ ⋮& ⋮& \ddots & ⋮\\ {\mathbf{a}}_n^{\top }{\mathbf{b}}_1& {\mathbf{a}}_n^{\top }{\mathbf{b}}_2& \cdots & {\mathbf{a}}_n^{\top }{\mathbf{b}}_m\end{array}\right].$$

Матрично-матричное умножение $\mathbf{AB}$ можно рассматривать как $m$ матрично-векторных произведений, результаты которых объединяются в матрицу размера $n\times m$. В коде ниже мы перемножаем A и B. Здесь A — матрица 5×4, а B — матрица 4×3. После умножения получаем матрицу 5×3.

B = np.ones(shape=(4, 3))
np.dot(A, B)

B = torch.ones(4, 3)
torch.mm(A, B)

B = tf.ones((4, 3), tf.float32)
tf.matmul(A, B)

B = paddle.ones(shape=[4, 3], dtype='float32')
paddle.mm(A, B)

Матрично-матричное умножение можно называть просто умножением матриц; не путайте его с произведением Адамара.

2.3.10 Нормы

Одними из самых полезных операций линейной алгебры являются нормы (norm). Неформально норма вектора показывает, насколько «велик» этот вектор. Понятие «величины» (size) здесь не связано с размерностью: речь идёт о величине компонентов.

В линейной алгебре норма вектора — это функция $f$, которая сопоставляет вектору скаляр. Для любого вектора $\mathbf{x}$ норма должна обладать определёнными свойствами. Первое свойство: если умножить все элементы вектора на константу $\alpha$, его норма умножится на абсолютное значение этой константы:

$$f(\alpha \mathbf{x})=|\alpha |f(\mathbf{x}).$$

Второе свойство — знакомое неравенство треугольника:

$$f(\mathbf{x}+\mathbf{y})\le f(\mathbf{x})+f(\mathbf{y}).$$

Третье свойство: норма неотрицательна:

$$f(\mathbf{x})\ge 0.$$

Это разумно: в большинстве случаев наименьший «размер» чего бы то ни было равен 0. Последнее свойство требует, чтобы норма равнялась 0 тогда и только тогда, когда все компоненты вектора равны 0:

$$\forall i,[\mathbf{x}{]}_i=0\iff f(\mathbf{x})=0.$$

Норма напоминает метрику расстояния. Неотрицательность и неравенство треугольника, знакомые из школьной геометрии (например, из теоремы Пифагора), дают хорошее представление о том, что это такое. На самом деле евклидово расстояние является $L_2$-нормой: если элементы $n$-мерного вектора $\mathbf{x}$ равны $x_1,\dots ,x_n$, то его $L_2$-норма равна квадратному корню из суммы квадратов его элементов:

$$\Vert \mathbf{x}{\Vert }_2=\sqrt{\sum _{i=1}^n{x}_i^2},$$

где в обозначении $L_2$-нормы индекс $2$, как правило, опускают: $\Vert \mathbf{x}\Vert$ означает $\Vert \mathbf{x}{\Vert }_2$. В коде $L_2$-норму вектора можно вычислить так.

u = np.array([3, -4])
np.linalg.norm(u)

u = torch.tensor([3.0, -4.0])
torch.norm(u)

u = tf.constant([3.0, -4.0])
tf.norm(u)

u = paddle.to_tensor([3.0, -4.0])
paddle.norm(u)

В глубоком обучении чаще используют квадрат $L_2$-нормы. Также часто встречается $L_1$-норма, равная сумме абсолютных значений элементов вектора:

$$\Vert \mathbf{x}{\Vert }_1=\sum _{i=1}^n\left|x_i\right|.$$

По сравнению с $L_2$-нормой $L_1$-норма менее чувствительна к выбросам. Для вычисления $L_1$-нормы сочетают функцию модуля и поэлементное суммирование.

np.abs(u).sum()

torch.abs(u).sum()

tf.reduce_sum(tf.abs(u))

paddle.abs(u).sum()

И $L_2$-норма, и $L_1$-норма являются частными случаями более общей $L_p$-нормы:

$$\Vert \mathbf{x}{\Vert }_p={\left(\sum _{i=1}^n{\left|x_i\right|}^p\right)}^{1/p}.$$

Аналогично $L_2$-норме вектора, матрица $\mathbf{X}\in {\mathbb{R}}^{m\times n}$ имеет норму Фробениуса (Frobenius norm) — квадратный корень из суммы квадратов её элементов:

$$\Vert \mathbf{X}{\Vert }_F=\sqrt{\sum _{i=1}^m\sum _{j=1}^n{x}_{ij}^2}.$$

Норма Фробениуса удовлетворяет всем свойствам норм для векторов: её можно рассматривать как $L_2$-норму матрицы, развёрнутой в вектор. Вызов следующей функции вычисляет норму Фробениуса матрицы.

np.linalg.norm(np.ones((4, 9)))

torch.norm(torch.ones((4, 9)))

tf.norm(tf.ones((4, 9)))

paddle.norm(paddle.ones(shape=[4, 9], dtype='float32'))

2.3.10.1 Нормы и цели

В глубоком обучении мы часто решаем задачи оптимизации: максимизировать вероятность, приписанную наблюдаемым данным; минимизировать расстояние между предсказаниями и истинными наблюдениями. Объекты (слова, товары или новостные статьи) представляют векторами так, чтобы расстояние между похожими объектами было мало, а между различными — велико. Цель — пожалуй, самая важная составляющая алгоритмов глубокого обучения (помимо данных) — обычно выражается через норму.

2.3.11 Дополнительные сведения о линейной алгебре

В этом разделе мы изложили линейную алгебру, которая нужна для чтения этой книги и понимания современного глубокого обучения. Однако линейная алгебра гораздо шире, и многие её разделы полезны для машинного обучения. Например, матрицы можно раскладывать на множители, и такие разложения помогают выявлять низкоразмерную структуру в реальных наборах данных. Целая подобласть машинного обучения занимается тем, что использует матричные разложения и их обобщения на тензоры высокого порядка, чтобы находить структуру в данных и решать задачи предсказания. Когда вы начнёте экспериментировать и применять работающие модели машинного обучения к реальным данным, вам захочется изучить больше математики. Поэтому на этом раздел заканчивается, а дальнейшие математические сведения будут появляться по ходу книги.

Если хотите узнать о линейной алгебре больше, можно обратиться к онлайн-приложению об операциях линейной алгебры или к другим хорошим ресурсам (Strang, 1993; Kolter, 2008; Petersen and Pedersen, 2008).

Резюме

• Скаляры, векторы, матрицы и тензоры — базовые математические объекты линейной алгебры.
• Векторы обобщают скаляры, а матрицы обобщают векторы.
• Скаляры, векторы, матрицы и тензоры имеют соответственно 0, 1, 2 и произвольное число осей.
• Тензор можно уменьшать по размерности с помощью sum и mean по заданным осям.
• Поэлементное умножение двух матриц называется их произведением Адамара. Оно отличается от матричного умножения.
• В глубоком обучении мы часто используем нормы: $L_1$-норму, $L_2$-норму и норму Фробениуса.
• Над скалярами, векторами, матрицами и тензорами можно выполнять разнообразные операции.

Упражнения

1. Докажите, что транспонирование матрицы $\mathbf{A}$ дважды даёт $\mathbf{A}$, то есть $({\mathbf{A}}^{\top }{)}^{\top }=\mathbf{A}$.
2. Даны матрицы $\mathbf{A}$ и $\mathbf{B}$. Докажите, что сумма их транспонированных равна транспонированной сумме, то есть ${\mathbf{A}}^{\top }+{\mathbf{B}}^{\top }=(\mathbf{A}+\mathbf{B}{)}^{\top }$.
3. Для произвольной квадратной матрицы $\mathbf{A}$ всегда ли матрица $\mathbf{A}+{\mathbf{A}}^{\top }$ симметрична? Почему?
4. В этом разделе определён тензор X формы $(2,3,4)$. Что выведет len(X)?
5. Для тензора X произвольной формы всегда ли len(X) соответствует длине какой-либо оси X? Какой именно?
6. Выполните A/A.sum(axis=1) и посмотрите, что произойдёт. Объясните, почему так происходит.
7. Рассмотрим тензор формы $(2,3,4)$. Какую форму имеет результат суммирования по осям 0, 1 и 2?
8. Передайте в функцию linalg.norm тензор с тремя или более осями и посмотрите на результат. Что эта функция вычисляет для тензора произвольной формы?

MXNet: Обсуждение

PyTorch: Обсуждение

TensorFlow: Обсуждение

PaddlePaddle: Обсуждение

Литература

• Kolter, Z. (2008). Linear Algebra Review and Reference. Available online.
• Petersen, K. B., Pedersen, M. S., et al. (2008). The matrix cookbook. Technical University of Denmark, 7(15), 510.
• Strang, G. (1993). Introduction to linear algebra (Vol. 3). Wellesley-Cambridge Press, Wellesley, MA.