Предиктивное моделирование на практике

Предисловие........................................................................................................18

От издательства.....................................................................................................20
Глава 1. Введение......................................................................................................21
1.1. Прогнозирование и интерпретация..................................................................24
1.2. Ключевые ингредиенты предиктивных моделей...............................................25
1.3. Терминология..................................................................................................27
1.4. Примеры наборов данных и типичные сценарии данных..................................29
Музыкальный жанр......................................................................................29
Заявки на получение грантов.......................................................................30
Поражение печени.......................................................................................31
Проницаемость............................................................................................32
Производство химикатов..............................................................................32
Мошенничество в финансовых отчетах........................................................33
Сравнения наборов данных..........................................................................34
1.5. Структура книги...............................................................................................36
1.6. Условные обозначения....................................................................................38
ЧАСТЬ I
ОБЩИЕ СТРАТЕГИИ
Глава 2. Краткий обзор процесса предиктивного моделирования...............................42
2.1. Пример прогнозирования экономии топлива....................................................42
2.2. Аспекты, заслуживающие отдельного рассмотрения........................................48
Разделение данных......................................................................................48
Данные предикторов....................................................................................48
Оценка эффективности................................................................................49
Оценка нескольких моделей.........................................................................49
Выбор модели..............................................................................................49
2.3. Итоги...............................................................................................................50
Глава 3. Предварительная обработка данных.............................................................51
3.1. Практический пример: сегментация клеток в высокопроизводительном скрининге ........53
3.2. Преобразования данных для отдельных предикторов......................................55
Центрирование и масштабирование.............................................................55
Преобразования для устранения смещения..................................................55
3.3. Преобразования данных с несколькими предикторами....................................58
Преобразования для решения проблемы выбросов......................................58
Прореживание данных и выделение признаков............................................60
3.4. Отсутствующие значения.................................................................................66
3.5. Удаление предикторов.....................................................................................69
Корреляции между предикторами................................................................71
3.6. Добавление предикторов.................................................................................73
3.7. Группировка предикторов................................................................................75
3.8. Вычисления.....................................................................................................77
Преобразования...........................................................................................79
Фильтрация.................................................................................................81
Создание фиктивных переменных................................................................83
Упражнения............................................................................................................85
Глава 4. Переобучение и настройка модели...............................................................87
4.1. Проблема переобучения..................................................................................88
4.2. Настройка модели............................................................................................90
4.3. Разделение данных..........................................................................................93
4.4. Методы повторной выборки.............................................................................96
K-кратная перекрестная проверка................................................................96
Обобщенная перекрестная проверка............................................................98
Повторное разделение тренировочного/тестового набора...........................98
Бутстрэп......................................................................................................99
4.5. Практикум: оценка кредитоспособности........................................................101
4.6. Выбор итоговых параметров настройки.........................................................101
4.7. Рекомендации по разделению данных............................................................105
4.8. Выбор между моделями.................................................................................106
4.9. Вычисления...................................................................................................108
Разделение данных....................................................................................109
Повторная выборка....................................................................................110
Базовый процесс построения модели в R...................................................111
Определение параметров настройки..........................................................112
Сравнение моделей....................................................................................116
Упражнения..........................................................................................................118
ЧАСТЬ II
РЕГРЕССИОННЫЕ МОДЕЛИ
Глава 5. Измерение эффективности регрессионных моделей...................................122
5.1. Количественные показатели эффективности.................................................122
5.2. Обратное отношение между смещением и дисперсией...................................124
5.3. Вычисления...................................................................................................126
Глава 6. Модели с признаками линейной регрессии.................................................128
6.1. Практикум: моделирование количественного соотношения «структура—активность»....129
6.2. Линейная регрессия.......................................................................................135
Линейная регрессия для данных растворимости........................................139
6.3. Частные наименьшие квадраты.....................................................................140
Применение методов PCR и PLSR для прогнозирования данных растворимости.........144
Алгоритмические разновидности PLS.........................................................148
6.4. Штрафные модели.........................................................................................150
6.5. Вычисления...................................................................................................156
Обычная линейная регрессия.....................................................................157
Частные наименьшие квадраты..................................................................162
Штрафные регрессионные модели.............................................................163
Упражнения..........................................................................................................166
Глава 7. Нелинейные регрессионные модели...........................................................169
7.1. Нейросети......................................................................................................169
7.2. Многомерные адаптивные регрессионные сплайны........................................174
7.3. SVM, или метод опорных векторов.................................................................180
7.4. Метод k ближайших соседей..........................................................................188
7.5. Вычисления...................................................................................................191
Нейросети..................................................................................................191
Многомерные адаптивные регрессионные сплайны....................................193
SVM, метод опорных векторов....................................................................196
Метод KNN.................................................................................................198
Упражнения..........................................................................................................198
Глава 8. Древовидные модели. Модели на базе правил............................................202
8.1. Базовые деревья регрессии...........................................................................204
8.2. Деревья регрессионных моделей...................................................................214
8.3. Модели на базе правил..................................................................................221
8.4. Бэггинг-деревья.............................................................................................224
8.5. Случайные леса.............................................................................................230
8.6. Усиление.......................................................................................................235
8.7. Модель Cubist.................................................................................................241
8.8. Вычисления...................................................................................................246
Простые деревья........................................................................................246
Деревья моделей.......................................................................................247
Деревья бэггинга.......................................................................................248
Случайные леса.........................................................................................248
Усиленные деревья....................................................................................249
Модель Cubist............................................................................................250
Упражнения..........................................................................................................250
Глава 9. Обзор моделей растворимости....................................................................254
Глава 10. Практический пример: сопротивление сжатию бетонных смесей..............257
10.1. Стратегия построения модели......................................................................261
10.2. Эффективность моделей..............................................................................262
10.3. Оптимизация сопротивления сжатию...........................................................265
10.4. Вычисления.................................................................................................269
ЧАСТЬ III
КЛАССИФИКАЦИОННЫЕ МОДЕЛИ
Глава 11. Определение эффективности в классификационных моделях...................278
11.1. Прогнозы классов........................................................................................278
Хорошо откалиброванные вероятности......................................................280
Представление вероятностей классов........................................................282
Неоднозначные зоны.................................................................................284
11.2. Оценка прогнозируемых классов..................................................................286
Задача двух классов...................................................................................288
Критерии, не основанные на точности.......................................................292
11.3. Оценка вероятностей классов......................................................................294
ROC-кривые...............................................................................................295
Диаграммы точности прогнозов.................................................................297
11.4. Вычисления.................................................................................................299
Чувствительность и специфичность...........................................................301
Матрица несоответствий............................................................................301
ROC-кривые...............................................................................................302
Диаграммы точности прогнозов.................................................................303
Калибровка вероятностей..........................................................................304
Глава 12. Дискриминантный анализ и другие линейные классификационные
модели......................................................................................................................307
12.1. Практикум: прогнозирование успешных заявок на получение грантов.........307
12.2. Логистическая регрессия.............................................................................315
12.3. Линейный дискриминантный анализ (LDA)...................................................320
12.4. Дискриминантный анализ методом частных наименьших квадратов............331
12.5. Штрафные модели.......................................................................................337
12.6. Ближайшие сжатые центроиды....................................................................341
12.7. Вычисления..................................................................................................344
Логистическая регрессия...........................................................................347
Линейный дискриминантный анализ..........................................................353
Дискриминантный анализ методом частных наименьших квадратов..........355
Штрафные модели.....................................................................................357
Метод ближайших сжатых центроидов.......................................................359
Упражнения..........................................................................................................362
Глава 13. Нелинейные классификационные модели.................................................365
13.1. Нелинейный дискриминантный анализ.........................................................365
Квадратичный и регуляризированный дискриминантный анализ................365
Смешанный дискриминантный анализ........................................................367
13.2. Нейросети....................................................................................................369
13.3. Гибкий дискриминантный анализ.................................................................374
13.4. SVM, метод опорных векторов......................................................................380
13.5. Метод KNN...................................................................................................389
13.6. Наивный байесовский классификатор..........................................................391
13.7. Вычисления..................................................................................................396
Нелинейный дискриминантный анализ.......................................................397
Нейросети..................................................................................................398
FDA............................................................................................................400
Модель SVM...............................................................................................401
Модель KNN (k ближайших соседей)..........................................................403
Наивный байесовский классификатор........................................................403
Упражнения..........................................................................................................405
Глава 14. Деревья классификации и модели на базе правил....................................407
14.1. Базовые деревья классификации.................................................................408
14.2. Модели на базе правил................................................................................423
Модель С4.5Rules.......................................................................................423
Модель PART..............................................................................................424
14.3. Бэггинг деревьев..........................................................................................425
14.4. Случайные леса...........................................................................................427
14.5. Бустинг........................................................................................................429
Алгоритм AdaBoost.....................................................................................429
Стохастический градиентный бустинг........................................................431
14.6. Модель C5.0.................................................................................................434
Классификационные деревья.....................................................................435
Правила классификации............................................................................436
Усиление....................................................................................................437
Другие аспекты модели..............................................................................438
Данные грантов.........................................................................................440
14.7. Сравнение двух кодировок категорийных предикторов................................442
14.8. Вычисления.................................................................................................443
Классификационные деревья.....................................................................443
Правила.....................................................................................................447
Деревья с бэггингом...................................................................................449
Случайный лес...........................................................................................450
Деревья с усилением.................................................................................451
Упражнения..........................................................................................................453
Глава 15. Сравнительный анализ моделей для заявок на получение грантов...........456
Глава 16. Решение проблемы дисбаланса классов...................................................460
16.1. Практикум: прогнозирование политики страхования....................................461
16.2. Эффект дисбаланса классов.........................................................................462
16.3. Настройка модели........................................................................................465
16.4. Альтернативные пороги отсечения...............................................................465
16.5. Корректировка априорных вероятностей.....................................................468
16.6. Неравные веса.............................................................................................469
16.7. Методы выборки..........................................................................................469
16.8. Тренировка с учетом стоимости...................................................................473
16.9. Вычисления.................................................................................................478
Альтернативные пороги отсечения.............................................................482
Методы выборки........................................................................................482
Тренировка с учетом стоимости.................................................................483
Упражнения..........................................................................................................486
Глава 17. Практикум: планирование заданий...........................................................488
17.1. Разделение данных и стратегия модели.......................................................496
17.2. Результаты...................................................................................................498
17.3. Вычисления..................................................................................................501
ЧАСТЬ IV
ПРОЧИЕ ВОПРОСЫ ПРЕДИКТИВНОГО МОДЕЛИРОВАНИЯ
Глава 18. Определение важности предикторов........................................................506
18.1. Числовые результаты...................................................................................507
18.2. Категорийные результаты............................................................................511
18.3. Прочие методы............................................................................................516
18.4. Вычисления.................................................................................................522
Числовые результаты.................................................................................522
Категорийные результаты..........................................................................525
Показатели важности для разных моделей................................................528
Упражнения..........................................................................................................529
Глава 19. Выбор признаков......................................................................................531
19.1. Последствия использования неинформативных предикторов.......................532
19.2. Методы сокращения количества предикторов..............................................534
19.3. Методы-обертки...........................................................................................535
Прямой, обратный и пошаговый выбор......................................................539
Имитация отжига.......................................................................................540
Генетические алгоритмы............................................................................541
19.4. Методы-фильтры.........................................................................................544
19.5. Смещение выбора........................................................................................545
19.6. Практикум: прогнозирование когнитивного расстройства............................548
19.7. Вычисления..................................................................................................557
Прямой, обратный и пошаговый выбор......................................................558
Рекурсивное исключение признаков..........................................................560
Методы-фильтры.......................................................................................563
Упражнения..........................................................................................................565
Глава 20. Факторы, влияющие на эффективность модели........................................567
20.1. Ошибки III типа...........................................................................................568
20.2. Ошибка измерения результата.....................................................................571
20.3. Погрешность измерений в предикторах.......................................................572
Практикум: прогнозирование нежелательных побочных эффектов............576
20.4. Дискретизация непрерывных результатов....................................................578
20.5. Когда следует доверять прогнозу вашей модели?........................................582
20.6. Влияние большой выборки...........................................................................586
20.7. Вычисления..................................................................................................588
Упражнения..........................................................................................................590
ПРИЛОЖЕНИЯ
Приложение А. Краткая сводка различных моделей...............................................596
Приложение Б. Введение в R..................................................................................599
Б.1. Запуск и вывод справочной информации.......................................................599
Б.2. Пакеты..........................................................................................................600
Б.3. Создание объектов........................................................................................602
Б.4. Типы данных и базовые структуры................................................................602
Б.5. Работа с прямоугольными наборами данных..................................................606
Б.6. Объекты и классы..........................................................................................609
Б.7. Функции R......................................................................................................610
Б.8. Три грани =.........................................................................................................................611
Б.9. Пакет AppliedPredictiveModeling......................................................................611
Б.10. Пакет caret...................................................................................................612
Б.11. Пакеты, используемые в книге.....................................................................615
Приложение В. Рекомендуемые веб-сайты..............................................................616
Список источников.............................................................................................619