Машинное обучение для бизнеса и маркетинга

Благодарности....................................................................................................12

Глава 1. Введение.....................................................................................................13
1.1. Предмет алгоритмического маркетинга...........................................................14
1.2. Определение алгоритмического маркетинга...................................................16
1.3. Исторические предпосылки и контекст...........................................................17
1.3.1. Онлайн-реклама: услуги и биржи.................................................................17
1.3.2. Авиакомпании: управление доходами..........................................................20
1.3.3. Наука маркетинга........................................................................................22
1.4. Программные услуги.......................................................................................24
1.5. Кому адресована эта книга?............................................................................28
1.6. Итоги..............................................................................................................29
Глава 2. Обзор предиктивного моделирования..........................................................30
2.1. Описательная, предиктивная и предписывающая аналитика..........................30
2.2. Экономическая оптимизация...........................................................................31
2.3. Машинное обучение.......................................................................................34
2.4. Обучение с учителем......................................................................................36
2.4.1. Параметрические и непараметрические модели...........................................37
2.4.2. Оценка методом максимального правдоподобия..........................................39
2.4.3. Линейные модели........................................................................................40
2.4.4. Нелинейные модели.....................................................................................48
2.5. Обучение представлениям..............................................................................53
2.5.1. Метод главных компонент............................................................................54
2.5.2. Кластеризация.............................................................................................61
2.6. Более специализированные модели................................................................64
2.6.1. Теория потребительского выбора................................................................64
2.6.2. Анализ выживаемости..................................................................................71
2.6.3. Теория аукционов........................................................................................81
2.7. Итоги..............................................................................................................86
Глава 3. Продвижение и реклама.............................................................................. 88
3.1. Среда.............................................................................................................. 89
3.2. Бизнес-цели.................................................................................................... 93
3.2.1. Производители и ретейлеры........................................................................93
3.2.2. Затраты.......................................................................................................94
3.2.3. Выгоды........................................................................................................95
3.3. Конвейер таргетирования............................................................................... 99
3.4. Моделирование и оценка отклика................................................................. 101
3.4.1. Платформа моделирования отклика........................................................... 102
3.4.2. Оценка отклика.......................................................................................... 106
3.5. Строительные блоки: таргетирование и модели ценности клиента............... 107
3.5.1. Сбор данных.............................................................................................. 108
3.5.2. Многоуровневое моделирование................................................................ 110
3.5.3. RFM-моделирование................................................................................... 112
3.5.4. Моделирование предрасположенности...................................................... 112
3.5.5. Сегментирование и персонифицированное моделирование....................... 122
3.5.6. Таргетирование с использованием анализа выживаемости........................ 124
3.5.7. Моделирование пожизненной ценности..................................................... 128
3.6. Проектирование и проведение кампаний...................................................... 136
3.6.1. Цикл взаимодействий с клиентом............................................................... 136
3.6.2. Кампании по продвижению продуктов....................................................... 138
3.6.3. Многоступенчатые рекламные кампании.................................................... 146
3.6.4. Кампании по удержанию............................................................................ 149
3.6.5. Кампании пополнения................................................................................ 152
3.7. Распределение ресурсов............................................................................... 153
3.7.1. Распределение между каналами................................................................. 154
3.7.2. Распределение по целям............................................................................ 159
3.8. Онлайн-реклама........................................................................................... 160
3.8.1. Среда......................................................................................................... 160
3.8.2. Цели и оценка............................................................................................ 163
3.8.3. Таргетирование для модели CPA-LT........................................................... 166
3.8.4. Оценка для случая с несколькими каналами.............................................. 171
3.9. Оценка эффективности................................................................................. 174
3.9.1. Рандомизированные эксперименты............................................................ 174
3.9.2. Неэкспериментальное исследование.......................................................... 181
3.10. Архитектура систем таргетирования........................................................... 190
3.10.1. Сервер таргетирования............................................................................ 190
3.10.2. Платформа управления данными............................................................. 192
3.10.3. Аналитическая платформа....................................................................... 192
3.11. Итоги.......................................................................................................... 193
Глава 4. Поиск........................................................................................................ 196
4.1. Среда............................................................................................................ 197
4.2. Бизнес-цели.................................................................................................. 200
4.2.1. Метрики релевантности............................................................................. 202
4.2.2. Средства управления продвижением......................................................... 207
4.2.3. Метрики качества службы поиска.............................................................. 209
4.3. Строительные блоки: соответствие и ранжирование..................................... 210
4.3.1. Лексическое соответствие.......................................................................... 211
4.3.2. Логический поиск и поиск по фразе........................................................... 213
4.3.3. Нормализация и стемминг.......................................................................... 214
4.3.4. Ранжирование и модель векторного пространства..................................... 216
4.3.5. Модель оценки TF×IDF............................................................................... 219
4.3.6. Оценка с использованием n-грамм............................................................. 223
4.4. Смешивание сигналов релевантности........................................................... 224
4.4.1. Поиск по нескольким полям....................................................................... 225
4.4.2. Проектирование и регулировка сигналов................................................... 227
4.4.3. Проектирование конвейера смешивания сигналов..................................... 234
4.5. Семантический анализ.................................................................................. 237
4.5.1. Синонимы и иерархии................................................................................ 238
4.5.2. Векторные представления слов.................................................................. 241
4.5.3. Латентно-семантический анализ................................................................ 243
4.5.4. Вероятностное тематическое моделирование............................................. 251
4.5.5. Вероятностный латентно-семантический анализ........................................ 252
4.5.6. Латентное размещение Дирихле................................................................ 257
4.5.7. Модель Word2Vec....................................................................................... 259
4.6. Методы поиска для продвижения................................................................. 267
4.6.1. Комбинаторный фразовый поиск................................................................ 269
4.6.2. Контролируемое снижение точности.......................................................... 273
4.6.3. Вложенные сущности и динамическая группировка................................... 274
4.7. Настройка релевантности.............................................................................. 278
4.7.1. Обучение ранжированию........................................................................... 279
4.7.2. Обучение ранжированию на неявной обратной связи................................ 285
4.8. Архитектура служб поиска товаров............................................................... 289
4.9. Итоги............................................................................................................ 291
Глава 5. Рекомендации............................................................................................ 294
5.1. Среда............................................................................................................ 296
5.1.1. Свойства рейтингов клиентов.................................................................... 298
5.2. Бизнес-цели.................................................................................................. 300
5.3. Оценка качества........................................................................................... 302
5.3.1. Точность прогнозирования........................................................................ 303
5.3.2. Точность ранжирования............................................................................. 305
5.3.3. Новизна..................................................................................................... 307
5.3.4. Серендипность........................................................................................... 307
5.3.5. Разнообразие............................................................................................. 308
5.3.6. Охват......................................................................................................... 308
5.3.7. Роль экспериментов................................................................................... 309
5.4. Обзор методов рекомендаций....................................................................... 310
5.5. Фильтрация по содержимому........................................................................ 312
5.5.1. Метод ближайших соседей......................................................................... 316
5.5.2. Наивный байесовский классификатор........................................................ 317
5.5.3. Проектирование признаков для фильтрации по содержимому................... 323
5.6. Введение в совместную фильтрацию............................................................ 325
5.6.1. Базовые оценки......................................................................................... 328
5.7. Совместная фильтрация на основе близости................................................. 331
5.7.1. Совместная фильтрация по близости пользователей.................................. 333
5.7.2. Совместная фильтрация по близости элементов......................................... 339
5.7.3. Сравнение методов на основе близости пользователей и элементов.......... 341
5.7.4. Методы на основе близости как задача регрессии...................................... 342
5.8. Совместная фильтрация на основе моделей................................................. 348
5.8.1. Адаптация регрессионных моделей для предсказания рейтингов............... 349
5.8.2. Наивная байесовская совместная фильтрация........................................... 351
5.8.3. Модели скрытых факторов......................................................................... 356
5.9. Гибридные методы........................................................................................ 371
5.9.1. Переключение........................................................................................... 372
5.9.2. Смешивание............................................................................................... 373
5.9.3. Расширение признаков.............................................................................. 379
5.9.4. Варианты представления гибридных рекомендаций................................... 382
5.10. Контекстные рекомендации........................................................................ 383
5.10.1. Многомерная основа................................................................................ 384
5.10.2. Контекстно-зависимые методы рекомендаций.......................................... 386
5.10.3. Модели рекомендаций с учетом времени................................................. 389
5.11. Неперсонализированные рекомендации...................................................... 394
5.11.1. Типы неперсонализированных рекомендаций.......................................... 394
5.11.2. Рекомендации с использованием ассоциативных правил.......................... 396
5.12. Многоцелевая оптимизация........................................................................ 400
5.13. Архитектура систем рекомендаций.............................................................. 404
5.14. Итоги.......................................................................................................... 406
Глава 6. Ценообразование и ассортимент............................................................... 409
6.1. Среда............................................................................................................ 410
6.2. Влияние ценообразования............................................................................ 413
6.3. Цена и стоимость.......................................................................................... 414
6.3.1. Ценовые границы....................................................................................... 415
6.3.2. Субъективная ценность.............................................................................. 417
6.4. Цена и спрос................................................................................................. 419
6.4.1. Линейная кривая спроса............................................................................ 421
6.4.2. Кривая спроса с постоянной эластичностью............................................... 422
6.4.3. Логит-кривая спроса.................................................................................. 423
6.5. Базовые структуры цен................................................................................. 425
6.5.1. Цена за единицу........................................................................................ 426
6.5.2. Сегментация рынка.................................................................................... 428
6.5.3. Комплексное ценообразование.................................................................. 433
6.5.4. Пакетирование........................................................................................... 437
6.6. Прогнозирование спроса............................................................................... 441
6.6.1. Модель спроса для оптимизации ассортимента.......................................... 443
6.6.2. Модель спроса для сезонных продаж......................................................... 446
6.6.3. Прогнозирование спроса с учетом исчерпания запасов.............................. 449
6.7. Оптимизация цен.......................................................................................... 452
6.7.1. Ценовая дифференциация......................................................................... 453
6.7.2. Динамическое ценообразование................................................................. 462
6.7.3. Персонализированные скидки.................................................................... 472
6.8. Распределение ресурсов............................................................................... 475
6.8.1. Среда......................................................................................................... 475
6.8.2. Распределение с двумя классами............................................................... 479
6.8.3. Распределение с несколькими классами..................................................... 482
6.8.4. Эвристические решения для нескольких классов....................................... 484
6.9. Оптимизация ассортимента........................................................................... 486
6.9.1. Оптимизация планировки магазина............................................................ 487
6.9.2. Управление категориями........................................................................... 490
6.10. Архитектура систем управления ценами..................................................... 496
6.11. Итоги.......................................................................................................... 498
Приложение. Распределение Дирихле................................................................... 500
Библиография................................................................................................... 504