Распределенные системы. Паттерны проектирования

Предисловие...................................................................................12

Кому стоит прочесть эту книгу......................................................12
Зачем я написал эту книгу............................................................12
Современный мир распределенных систем...................................13
Как ориентироваться в книге........................................................14
Условные обозначения.................................................................15
Онлайн-ресурсы...........................................................................16
Использование примеров кода.....................................................16
Благодарности..............................................................................17
Глава 1. Введение .......................................................................... 18
Краткая история разработки систем.............................................19
Краткая история паттернов проектирования в разработке ПО......21
Формализация алгоритмического программирования.........21
Паттерны в объектно-ориентированном программировании.................22
Расцвет программного обеспечения с открытым исходным кодом......23
Ценность паттернов, практик и компонентов................................24
Стоя на плечах гигантов....................................................24
Общий язык обсуждения подходов к разработке................25
Общие повторно используемые компоненты......................26
Резюме.........................................................................................27
Часть I. Одноузловые паттерны проектирования
Мотивация.................................................................................... 30
Резюме......................................................................................... 32
Глава 2. Паттерн Sidecar ................................................................ 34
Пример реализации паттерна Sidecar. Добавление
возможности HTTPS-соединения к унаследованному сервису....... 35
Динамическая конфигурация с помощью паттерна Sidecar........... 36
Модульные контейнеры приложений............................................ 39
Практикум. Развертывание контейнера topz....................... 40
Создание простейшего PaaS-сервиса на основе
паттерна Sidecar................................................................. 42
Разработка модульных и повторно используемых
реализаций паттерна Sidecar........................................................ 43
Параметризованные контейнеры........................................ 44
Определение API всех контейнеров................................... 45
Документирование контейнеров........................................ 47
Резюме......................................................................................... 49
Глава 3. Паттерн Ambassador ......................................................... 50
Использование паттерна Ambassador
для шардирования сервиса....................................................51
Практикум. Шардируем Redis-хранилище........................... 54
Использование паттерна Ambassador для реализации
сервиса-посредника..................................................................... 57
Использование паттерна Ambassador для проведения
экспериментов и разделения запросов......................................... 59
Практикум. Реализация 10%-ных экспериментов............... 60
Глава 4. Адаптеры .......................................................................... 64
Мониторинг.................................................................................. 66
Практикум. Мониторинг с помощью Prometheus................. 67
Ведение журналов........................................................................ 69
Практикум. Нормализация форматов журналов
с помощью fluentd.............................................................. 70
Мониторинг работоспособности сервисов..................................... 72
Практикум. Комплексный мониторинг
работоспособности MySQL................................................. 73
Часть II. Паттерны проектирования
обслуживающих систем
Введение в микросервисы............................................................ 78
Глава 5. Реплицированные сервисы с распределением нагрузки .... 82
Сервисы без внутреннего состояния............................................. 82
Датчики готовности для балансировщика нагрузки............ 84
Практикум. Создание реплицированного сервиса
с помощью Kubernetes........................................................ 85
Сервисы с закреплением сессий................................................... 87
Сервисы с репликацией на уровне приложения............................ 89
Добавляем кэширующую прослойку............................................. 89
Развертывание кэширующего сервера............................... 90
Практикум. Развертывание кэширующей прослойки........... 92
Расширение возможностей кэширующей прослойки..................... 95
Ограничение частоты запросов и защита от атак типа
«отказ в обслуживании» (DoS)........................................... 95
SSL-мост............................................................................. 96
Практикум. Развертывание nginx и SSL-моста..................... 98
Резюме....................................................................................... 101
Глава 6. Шардированные сервисы ................................................ 102
Шардирование кэша................................................................... 103
Зачем вам нужен шардированный кэш............................. 104
Роль кэша в производительности системы....................... 105
Реплицированный и шардированный кэш......................... 107
Практикум. Развертывание реализации паттерна
Ambassador и сервиса memcache
для организации шардированного кэша...................... 108
Шардирующие функции............................................................. 114
Выбор ключа.................................................................... 115
Консистентные хеш-функции........................................... 117
Практикум. Построение консистентного
шардированного прокси-сервера..................................... 118
Шардирование реплицированных сервисов................................ 119
Системы с «горячим» шардированием........................................ 120
Глава 7. Паттерн Scatter/Gather .................................................... 122
Scatter/Gather с распределением нагрузки
корневым узлом......................................................................... 123
Практикум. Распределенный поиск в документах............. 125
Scatter/Gather с шардированием терминальных узлов................ 126
Практикум. Шардированный поиск в документах............. 128
Выбор подходящего количества терминальных узлов...... 129
Масштабирование Scatter/Gather-систем с учетом
надежности и производительности............................................. 132
Глава 8. Функции и событийно-ориентированная обработка ........ 134
Как определить, когда полезен подход FaaS............................... 135
Преимущества FaaS.......................................................... 136
Проблемы разработки FaaS-систем................................... 136
Потребность в фоновой обработке................................... 138
Необходимость хранения данных в памяти...................... 138
Стоимость постоянного использования
запросно-ориентированных вычислений.......................... 139
Паттерны FaaS............................................................................ 140
Паттерн Decorator. Преобразование запроса
или ответа....................................................................... 140
Практикум. Подстановка значений по умолчанию
до обработки запроса...................................................... 142
Обработка событий.......................................................... 144
Практикум. Реализация двухфакторной
аутентификации............................................................... 145
Событийные конвейеры................................................... 147
Практикум. Реализация конвейера для регистрации
нового пользователя........................................................ 148
Глава 9. Выбор владельца ............................................................ 151
Как определить, нужен ли выбор владельца.............................. 152
Основы процесса выбора владельца........................................... 155
Практикум. Развертывание etcd....................................... 157
Реализация блокировок................................................... 159
Практикум. Реализация блокировок в etcd....................... 163
Реализация владения....................................................... 164
Практикум. Реализация аренды в etcd.............................. 166
Параллельный доступ к данным................................................. 167
Часть III. Паттерны проектирования систем
пакетных вычислений
Глава 10. Системы на основе очередей задач .............................. 173
Система на основе обобщенной очереди задач.......................... 173
Интерфейс контейнера-источника.................................... 174
Интерфейс контейнера-исполнителя................................ 177
Общая инфраструктура очередей задач........................... 179
Практикум. Реализация генератора миниатюр
видеофайлов.............................................................................. 182
Динамическое масштабирование исполнителей.......................... 184
Паттерн Multi-Worker.................................................................. 187
Глава 11. Событийно-ориентированная пакетная обработка ........ 189
Паттерны событийно-ориентированной обработки..................... 191
Паттерн Copier................................................................. 191
Паттерн Filter................................................................... 192
Паттерн Splitter................................................................ 193
Паттерн Sharder............................................................... 194
Паттерн Merger................................................................ 196
Практикум. Создание событийно-ориентированного
потока задач для регистрации нового пользователя................. 198
Инфраструктура publish/subscribe............................................... 201
Практикум. Развертывание Kafka................................................ 202
Глава 12. Координированная пакетная обработка ........................ 205
Паттерн Join (барьерная синхронизация).................................... 206
Паттерн Reduce.......................................................................... 207
Практикум. Подсчет......................................................... 209
Суммирование.................................................................. 210
Гистограмма..................................................................... 211
Практикум. Конвейерная разметка
и обработка изображений......................................................212
Глава 13. Заключение — новое начало? ...................................... 217
Об авторе........................................................................................ 220
Об иллюстрации на обложке........................................................... 221