Доверительное А/В-тестирование

Собрать данные легко; собрать данные, которым можно доверять, сложно. Это практическое руководство от ведущих специалистов по экспериментам в Google, Linkedln и Microsoft научит вас, как ускорить внедрение инноваций, используя доверительные контролируемые онлайн-эксперименты, или А/В- тесты. Основываясь на практическом опыте компаний, каждая из которых проводит более 20 ООО экспериментов в год, авторы делятся примерами, предостерегают от ловушек и дают советы для тех, кто только начинает учиться, и профессионалов отрасли, осваивающих методику экспериментов. Обсуждение более сложных вопросов пригодится экспертам, которые хотят улучшить методы принятия решений на основе данных.

С этой книгой вы научитесь:

• использовать научный метод оценки гипотез с помощью контролируемых экспериментов;
• определять ключевые показатели и общий критерий оценки;
• проверять достоверность результатов и получать предупреждения о нарушении предположений;
• создавать масштабируемые платформы, снижающие предельные затраты на эксперименты почти до нуля;
• избегать ловушек, таких как эффекты переноса и закон Тваймана;
• обнаруживать статистические проблемы экспериментальных данных.

«Эта книга - отличный ресурс для руководителей, лидеров, исследователей или инженеров, желающих использовать контролируемые онлайн-эксперименты».
Гарри Шам, исполнительный вице-президент, группа искусственного интеллекта Microsoft

«Кохави, Тан и Сюй обладают богатым опытом и навыками, поэтому в книге есть множество практических примеров из реального мира и уроков, извлеченных за многие годы применения этих методов в больших масштабах».
Джефф Дин, старший вице-президент Google Research