[experiment-fest] Математическая статистика и A/B-тесты. Тариф - Онлайн без домашнего задания

Robot · 13 Авг 2021

§ 1. Что даст интенсив
Как часто в своей работе вы сталкиваетесь с идеей провести A/B тест и проверить гипотезу на реальных данных?
Мы думаем, что регулярно.
Но прежде чем запустить эксперимент, чаще всего возникают следующие вопросы:
Хватит ли нам данных?
Что делать, если мне не будет хватать данных?
Как понять, что мне нужно запускать именно эту гипотезу из 100 остальных?
Как понять, что
результаты эксперимента дадут рост для бизнеса?
Это базовые вопросы, на которые нужно уметь отвечать как продакт-менеджеру так и аналитику.
По итогам курса каждый участник получит гайдбук анализа A/B тестов
На курсе мы разберем основные методологические и математические проблемы A/B тестирования.
§ 2. Программа интенсива
Какие бывают эксперименты: типы экспериментов, типы метрик и обзор тем курса
Первый день
Описательные статистики: дисперсия, стандартное отклонение, квадратичная ошибка и ЦПТ
Обзор классических статистических критериев: параметрические и непараметрические
Способы определения минимального объема выборки и расчет MDE
Второй день
A/B/X-тестирования и множественная проверка гипотез
Третий день
Бутстрап: повторные выборки и квантильная оценка метрик
Нормализация и трансформирование метрик
Методы проверки качества систем сплитования: A/A-тестирования
Четвертый день
Ускорение экспериментов: CUPED и стратификация
Увеличение чувствительности ratio-метрик
Пятый день