Нейронные сети и глубокое обучение: учебный курс
В книге рассматриваются как классические, так и современные модели глубокого обучения. Главы книги можно разбить на три группы.
- Основы нейронных сетей. Суть многих традиционных моделей машинного обучения можно понять, рассматривая их как частные случаи нейронных сетей. В первых двух главах основной упор сделан на понимании взаимосвязи традиционного машинного обучения и нейронных сетей. Будет показано, что метод опорных векторов, линейная и логистическая регрессия, сингулярное разложение, факторизация матриц и рекомендательные системы являются именно такими частными случаями. Наряду с ними рассматриваются и такие сравнительно новые методы конструирования признаков, как word2vec.
- Фундаментальные понятия нейронных сетей. Главы 3 и 4 посвящены подробному обсуждению процессов тренировки и регуляризации нейронных сетей. В главах 5 и 6 рассмотрены сети радиально-базисных функций (RBF) и ограниченные машины Больцмана.
- Дополнительные вопросы нейронных сетей. В главах 7 и 8 обсуждаются рекуррентные и сверточные нейронные сети. Главы 9 и 10 посвящены более сложным темам, таким как глубокое обучение с подкреплением, нейронные машины Тьюринга, самоорганизующиеся карты Кохонена и генеративно-состязательные сети.
Книга предназначена для студентов старших курсов, исследователей и специалистов-практиков. Там, где это возможно, автор обращает особое внимание на прикладные аспекты использования каждого класса методов.
Об авторе:
Чару Аггарвал — заслуженный научный сотрудник (DRSM) исследовательского центра IBM имени Томаса Дж. Уотсона в г. Йорктаун Хайтс, штат Нью-Йорк. Базовое образование в области компьютерных наук получил в Индийском технологическом институте в г. Канпур, который окончил в 1993 г., а в 1996 г. получил степень доктора философии в Массачусетском технологическом институте. Автор свыше 350 публикаций и более чем 80 зарегистрированных патентов. Выпустил 18 книг, в том числе учебники по анализу данных и рекомендательным системам. Ввиду коммерческой ценности его патентов трижды получал звание заслуженного изобретателя компании IBM. Удостоен ряда международных наград, включая EDBT Test of Time Award (2014) и IEEE ICDM Research Contributions Award (2015). Главный редактор журналов ACM Transactions on Knowledge Discovery from Data и ACM SIGKDD Explorations.
Предисловие 17
Глава 1. Введение в нейронные сети 23
Глава 2. Машинное обучение
с помощью мелких нейронных сетей 101
Глава 3. Обучение глубоких нейронных сетей 179
Глава 4. Обучение глубоких сетей способности
к обобщению 271
Глава 5. Сети радиально-базисных функций 345
Глава 6. Ограниченные машины Больцмана 369
Глава 7. Рекуррентные нейронные сети 423
Глава 8. Сверточные нейронные сети 485
Глава 9. Глубокое обучение с подкреплением 569
Глава 10. Дополнительные вопросы глубокого обучения 637
Библиография 695
Предметный указатель 737