16.2 Использование Amazon SageMaker

Программам глубокого обучения может требоваться много вычислительных ресурсов — легко больше, чем способен дать ваш локальный компьютер. Облачные сервисы позволяют запускать код этой книги, интенсивно использующий GPU, на более мощных компьютерах и гораздо проще. В этом разделе рассказано, как запускать код книги с помощью Amazon SageMaker.

16.2.1 Регистрация

Сначала нужно зарегистрировать учётную запись на https://aws.amazon.com/. Для повышения безопасности рекомендуется включить двухфакторную аутентификацию. Также стоит настроить подробные оповещения о счетах и расходах, чтобы избежать неприятных неожиданностей — например, если вы забудете остановить работающий экземпляр. Войдя в учётную запись AWS, перейдите в консоль, найдите в ней «Amazon SageMaker» и щёлкните по найденному сервису, чтобы открыть панель SageMaker.

16.2.2 Создание экземпляра SageMaker

Теперь создадим экземпляр блокнота (notebook instance). В левом меню панели SageMaker откройте «Notebook» $\to$ «Notebook instances», а затем нажмите оранжевую кнопку «Create notebook instance».

SageMaker предлагает несколько типов экземпляров с разной вычислительной мощностью и ценой. При создании экземпляра блокнота можно указать его имя и тип. Мы дадим экземпляру имя «D2L» и выберем тип ml.p3.2xlarge: один GPU Tesla V100 и 8-ядерный CPU. Производительности этого экземпляра достаточно для большей части книги.

MXNet: весь текст книги в формате ipynb для запуска в SageMaker доступен по адресу https://github.com/d2l-ai/d2l-en-sagemaker. Этот URL репозитория GitHub можно указать в настройках экземпляра (раздел «Git repositories» $\to$ «Default repository», вариант «Clone a public Git repository to this notebook instance only»), чтобы SageMaker клонировал его при создании экземпляра.

PyTorch: весь текст книги в формате ipynb для запуска в SageMaker доступен по адресу https://github.com/d2l-ai/d2l-pytorch-sagemaker. Этот URL репозитория GitHub можно указать в настройках экземпляра (раздел «Git repositories» $\to$ «Default repository», вариант «Clone a public Git repository to this notebook instance only»), чтобы SageMaker клонировал его при создании экземпляра.

TensorFlow: весь текст книги в формате ipynb для запуска в SageMaker доступен по адресу https://github.com/d2l-ai/d2l-tensorflow-sagemaker. Этот URL репозитория GitHub можно указать в настройках экземпляра (раздел «Git repositories» $\to$ «Default repository», вариант «Clone a public Git repository to this notebook instance only»), чтобы SageMaker клонировал его при создании экземпляра.

16.2.3 Запуск и остановка экземпляра

Создание экземпляра может занять несколько минут. Когда экземпляр будет готов (статус «InService»), щёлкните рядом с ним по ссылке «Open Jupyter», чтобы редактировать и запускать на этом экземпляре все блокноты Jupyter из этой книги (аналогично шагам из раздела 16.1).

Закончив работу, не забудьте остановить экземпляр, чтобы не платить за него дальше: для этого в списке экземпляров откройте меню «Actions» и выберите «Stop».

16.2.4 Обновление блокнотов

MXNet: блокноты этой книги с открытым исходным кодом регулярно обновляются в репозитории d2l-ai/d2l-en-sagemaker на GitHub. Чтобы обновиться до последней версии, откройте терминал на экземпляре SageMaker: в интерфейсе Jupyter нажмите кнопку «New» и выберите «Terminal».

PyTorch: блокноты этой книги с открытым исходным кодом регулярно обновляются в репозитории d2l-ai/d2l-pytorch-sagemaker на GitHub. Чтобы обновиться до последней версии, откройте терминал на экземпляре SageMaker: в интерфейсе Jupyter нажмите кнопку «New» и выберите «Terminal».

TensorFlow: блокноты этой книги с открытым исходным кодом регулярно обновляются в репозитории d2l-ai/d2l-tensorflow-sagemaker на GitHub. Чтобы обновиться до последней версии, откройте терминал на экземпляре SageMaker: в интерфейсе Jupyter нажмите кнопку «New» и выберите «Terminal».

Возможно, перед получением обновлений из удалённого репозитория вы захотите зафиксировать (commit) локальные изменения. В противном случае просто отбросьте все локальные изменения следующими командами в терминале:

MXNet:

cd SageMaker/d2l-en-sagemaker/
git reset --hard
git pull

PyTorch:

cd SageMaker/d2l-pytorch-sagemaker/
git reset --hard
git pull

TensorFlow:

cd SageMaker/d2l-tensorflow-sagemaker/
git reset --hard
git pull

Резюме

С помощью Amazon SageMaker можно создать экземпляр блокнота с GPU и запускать на нём ресурсоёмкий код этой книги.
Блокноты можно обновлять через терминал на экземпляре Amazon SageMaker.

Упражнения

Отредактируйте и запустите с помощью Amazon SageMaker любой раздел, которому нужен GPU.
Откройте терминал, чтобы получить доступ к локальному каталогу, где хранятся все блокноты этой книги.

Обсуждение

Keyboard shortcuts