5. Вычисления глубокого обучения

Помимо огромных наборов данных и мощного оборудования, в быстром развитии глубокого обучения незаменимую роль сыграли хорошие программные инструменты. Начиная с новаторской библиотеки Theano, выпущенной в 2007 году, гибкие открытые инструменты позволили исследователям быстро создавать прототипы моделей: они избавляли от повторной работы при использовании стандартных компонентов и при этом сохраняли возможность вносить низкоуровневые изменения. Со временем библиотеки глубокого обучения превратились в инструменты с всё более крупными абстракциями. Так же как разработчики полупроводников перешли от задания отдельных транзисторов к логическим схемам и далее к написанию кода, исследователи нейронных сетей перешли от рассмотрения поведения отдельных искусственных нейронов к построению сетей на уровне слоёв, а при проектировании архитектуры обычно оперируют ещё более крупными блоками (block).

В предыдущих главах мы ввели основные понятия машинного обучения и постепенно познакомились с полноценными моделями глубокого обучения. В предыдущей главе мы реализовали с нуля каждый компонент многослойного перцептрона, а затем показали, как с помощью высокоуровневых API легко получить ту же модель. Чтобы было проще учиться, мы вызывали библиотеки глубокого обучения, но пропускали детали их работы. В этой главе мы глубже разберём ключевые компоненты вычислений глубокого обучения: построение моделей, доступ к параметрам и их инициализацию, проектирование пользовательских слоёв и блоков, запись моделей на диск и чтение с диска, а также использование GPU для значительного ускорения вычислений. Эти знания помогут перейти от роли «начинающего» пользователя глубокого обучения к роли «продвинутого» пользователя. Хотя в этой главе не вводятся новые модели или наборы данных, последующие главы о продвинутых моделях во многом опираются на материал этой главы.