4. Многослойные перцептроны

В этой главе мы впервые познакомимся с по-настоящему глубокими сетями. Простейшие глубокие сети называются многослойными перцептронами. Многослойный перцептрон состоит из нескольких слоёв нейронов: каждый слой связан с предыдущим, получая от него входные данные, и с последующим, влияя на его нейроны. Когда мы обучаем модели большой ёмкости, нам грозит риск переобучения. Поэтому глава начинается с базовых понятий: переобучения, недообучения и выбора модели. Для борьбы с этими проблемами мы рассмотрим методы регуляризации, в том числе затухание весов (weight decay) и исключение (dropout). Мы также обсудим численную устойчивость и инициализацию параметров: без этого глубокие сети не удаётся успешно обучить. В конце главы изложенный материал будет применён к реальной задаче: прогнозированию цен на жильё. Вопросы вычислительной производительности, масштабируемости и эффективности мы рассмотрим в следующих главах.