ИНТЕНСИВ
МАТЕМАТИЧЕСКАЯ
СТАТИСТИКА
И A/B-ТЕСТЫ
СТАТИСТИКА
И A/B-ТЕСТЫ
АВГУСТ–СЕНТЯБРЬ 2022:
9, 11, 16, 18, 23, 25, 30 АВГУСТА
1 СЕНТЯБРЯ
19:00–21:00
9, 11, 16, 18, 23, 25, 30 АВГУСТА
1 СЕНТЯБРЯ
19:00–21:00
ИНТЕНСИВ ПО АНАЛИЗУ ДАННЫХ,
МАТЕМАТИЧЕСКОЙ СТАТИСТИКЕ
И A/B ТЕСТАМ.
МАТЕМАТИЧЕСКОЙ СТАТИСТИКЕ
И A/B ТЕСТАМ.
ONLINE
***
ВОСЕМЬ ДНЕЙ ТЕОРИИ С БОЛЬШИМ
КОЛИЧЕСТВОМ ПРАКТИКИ В ONLINE
КОЛИЧЕСТВОМ ПРАКТИКИ В ONLINE
Стоимость участия
Восьмидневный интенсив с теорией и практикой.
Если вы хотите оплатить от юридического лица, напишите на почту: info@experiment-fest.ru
Если вы хотите оплатить от юридического лица, напишите на почту: info@experiment-fest.ru
Листайте вправо →
Базовый, прослушивание интенсива
Базовый с домашними заданиями
Продвинутый с домашними заданиями
Кол–во лекций
9 тем
9 тем
14 тем
Гайдбук по A/B-тестированиям
Доступ к лекциям без ограничений
Q&A, разбор кейсов
Домашние задания
6 кейсов, факт-чекинг
9 кейсов, факт-чекинг
Доступ к статистическому калькулятору
30 000 ₽
40 000 ₽
50 000 ₽
Если вы хотите оплатить от юридического лица, напишите на почту: info@experiment-fest.ru
§ 1. Что даст интенсив
Как часто в своей работе вы сталкиваетесь с идеей провести A/B тест и проверить гипотезу на реальных данных?
Мы думаем, что регулярно.
Но прежде чем запустить эксперимент, чаще всего возникают следующие вопросы:
Хватит ли нам данных?
Что делать, если мне не будет хватать данных?
Как понять, что мне нужно запускать именно эту гипотезу из 100 остальных?
Как понять, что результаты эксперимента дадут рост для бизнеса?
Это базовые вопросы, на которые нужно уметь отвечать как продакт-менеджеру так и аналитику.
—
—
—
—
По итогам курса каждый участник получит гайдбук анализа A/B тестов
На курсе мы разберем основные методологические и математические проблемы A/B тестирования.
§ 2. Программа интенсива
Первый день.
Математическая статистика как инструмент анализа A/B-тестирований
Математическая статистика как инструмент анализа A/B-тестирований
— Какие бывают эксперименты
Введение: типы экспериментов, типы метрик и обзор тем курса
— Описательные статистики
Базовый курс математической статистики: что такое дисперсия, стандартное отклонение, квадратичная ошибка и ЦПТ
Введение: типы экспериментов, типы метрик и обзор тем курса
— Описательные статистики
Базовый курс математической статистики: что такое дисперсия, стандартное отклонение, квадратичная ошибка и ЦПТ
Второй день.
Статистические критерии для проверки основных типов метрик: параметрика, непараметрика
Статистические критерии для проверки основных типов метрик: параметрика, непараметрика
— Статистические критерии
Обзор классических статистических критериев. Почему для одной гипотезы подойдет критерий Стьюдента, а для другой Манн-Уитни
Обзор классических статистических критериев. Почему для одной гипотезы подойдет критерий Стьюдента, а для другой Манн-Уитни
Третий день.
Определение времени на продолжительность эксперимента и обзор темы чувствительности метрик
Определение времени на продолжительность эксперимента и обзор темы чувствительности метрик
— Fixed Horizon и MDE. Расчет прогноза остановки эксперимента.
Сколько нужно данных для проведения эксперимента и как посчитать минимальный объем выборки
— A/B/X-тестирования: множественная проверка гипотез
Поправка на множественное сравнение и как множественная проверка гипотез сказывается на ошибки первого и второго рода.
Сколько нужно данных для проведения эксперимента и как посчитать минимальный объем выборки
— A/B/X-тестирования: множественная проверка гипотез
Поправка на множественное сравнение и как множественная проверка гипотез сказывается на ошибки первого и второго рода.
Четвертый день.
Расширенные инструменты математической статистики для анализа экспериментов
Расширенные инструменты математической статистики для анализа экспериментов
— Бутстрап
Повторные выборки и квантильная оценка А/Б-экспериментов
— Бакетирование и трансформирование метрик
Как привести распределение к нормальному, оптимизировать метрику и ускорить расчеты эксперимента с помощью бакетов
– Методы проверки качества систем сплитования: A/A-тестирования
Какими способами можно проверять качество сплитования пользователей в эксперименте
Повторные выборки и квантильная оценка А/Б-экспериментов
— Бакетирование и трансформирование метрик
Как привести распределение к нормальному, оптимизировать метрику и ускорить расчеты эксперимента с помощью бакетов
– Методы проверки качества систем сплитования: A/A-тестирования
Какими способами можно проверять качество сплитования пользователей в эксперименте
Пятый день.
Оптимизация скорости проведения экспериментов и ratio-метрики
Оптимизация скорости проведения экспериментов и ratio-метрики
– Ускорение экспериментов: CUPED, стратификация
Разберем теорию и закрепим на практике (демонстрации и задания) разные способы увеличения чувствительности метрик в эксперименте для сокращения времени проведения a/b тестов.
– Ratio-метрика: дельта-метод, линеаризация, бутстрап и еще раз про бакетирование
Обзор проблемы расчета дисперсии и оптимизация bias'a для ratio-метрик. Благодаря линеаризации появляется возможность работать с ratio-метриками и увеличить их чувствительность
Разберем теорию и закрепим на практике (демонстрации и задания) разные способы увеличения чувствительности метрик в эксперименте для сокращения времени проведения a/b тестов.
– Ratio-метрика: дельта-метод, линеаризация, бутстрап и еще раз про бакетирование
Обзор проблемы расчета дисперсии и оптимизация bias'a для ratio-метрик. Благодаря линеаризации появляется возможность работать с ratio-метриками и увеличить их чувствительность
Шестой день.
Не лекционный день
Не лекционный день
– Q&A
Разбор вопросов и кейсов студентов, накопившиеся за 2 недели материала
Разбор вопросов и кейсов студентов, накопившиеся за 2 недели материала
Седьмой день.
Симуляции и автоматизация A/B
Симуляции и автоматизация A/B
– Monte-Carlo и синтетические эксперименты | только для продвинутого блока
Обзор Monte-Carlo процесса: расчет чувствительности метрик и времени на эксперимент непараметрическим методом. Ведение новой мета-метрики качества метрик – направленность
– Разработка метрик и pipeline их расчета | только для продвинутого блока
Обзор организации автоматизации расчетов метрик. Как придумать любую метрику с помощью числителей и знаменателей
Обзор Monte-Carlo процесса: расчет чувствительности метрик и времени на эксперимент непараметрическим методом. Ведение новой мета-метрики качества метрик – направленность
– Разработка метрик и pipeline их расчета | только для продвинутого блока
Обзор организации автоматизации расчетов метрик. Как придумать любую метрику с помощью числителей и знаменателей
Восьмой день.
Расширенные методы математической статистики для анализа экспериментов
Расширенные методы математической статистики для анализа экспериментов
– Offline-эксперименты: проблематика и обзор дизайнов | только для продвинутого блока
Обзор популярных статистических подходов, используемые в дизайне offline-экспериментов, переход к альтернативным единицам рандомизации: гео-хрон эксперименты в delivery- / ride- сервисах(switchback), подбор точек в retail / dark kitchen / dark store, синтетический контроль, network эффекты, эксперименты в социальных сервисах
– Sampling Bias и эффект новизны | только для продвинутого блока
В каких случаях приходится сталкиваться с систематической ошибкой смещения выборки и как с ней бороться
Обзор популярных статистических подходов, используемые в дизайне offline-экспериментов, переход к альтернативным единицам рандомизации: гео-хрон эксперименты в delivery- / ride- сервисах(switchback), подбор точек в retail / dark kitchen / dark store, синтетический контроль, network эффекты, эксперименты в социальных сервисах
– Sampling Bias и эффект новизны | только для продвинутого блока
В каких случаях приходится сталкиваться с систематической ошибкой смещения выборки и как с ней бороться
Кому будет полезен интенсив?
Аналитик Junior
Только начал погружаться в A/B-тестирования и статистику. Что-то слышал, что-то читал, но не было полноценного опыта
Аналитик Middle / Senior
Регулярно анализирует A/B-тестирования, есть базовые теория и опыт. Хочет углубить знания и получить больше инструментов
Продуктовый менеджер
Запускает A/B-тестирования, но не изучал статистику и не в курсе потенциальных проблем при планировании и анализе экспериментов
Отзывы участников
Разбираем базовые и сложные статистические и математические методы на реальных примерах
Во время интенсива практикуемся на реальном тренажёре
Каждую тему закрепляем через квизы
Теория, подкреплённая практикой
На интенсиве мы разберем основные теоретические допущения анализа данных с точки зрения математической статистики и закрепим их сразу на реальных кейсах.
Разбор реальных кейсов
Все примеры будут разбираться с точки зрения бизнеса — никакой водянистой теории без практики.
Гайдбуки
Все участники по итогам обучения получат гайдбуки, с которым можно будет работать самостоятельно.
§ 3. Участие
Если вы хотите оплатить от юридического лица, напишите на почту: info@experiment-fest.ru
§ 4. Преподаватели
Виталий Черемисинов
Со-основатель EXPF. Более 8 лет занимается анализом данных и консалтингом. Работал с ключевыми российскими компаниями. Специализируется на построении методологии экспериментов и оптимизации метрик
Искандер Мирмахмадов
Со-основатель EXPF. Более 7 лет опыта в анализе данных. Работал с Мвидео, Citymobil, Аэрофлот, Райффайзен банком, Детским Миром, Яндексом, Леруа Мерлен и другими лидерами в своей отрасли. Искандер специализируется на анализе и автоматизации экспериментов, а также разработке метрик для них
FAQ
Нужно ли мне знать Python или R, чтобы успешно пройти интенсив?
Если вы не обладаете знаниями Python или R, то для вас мы разработали тренажер. Все домашние задания можно выполнить на нем.
Как проходит проверка домашних заданий?
После каждой лекции даются задачи для работы в интерактивном тренажере, либо на R/Python. По каждому домашнему заданию дается обратная связь.
Получу ли я сертификат о прохождении курса?
Все сертификаты будут отправлены вам на почту. Также вы можете запросить сертификат на английском языке.
Можно ли произвести оплату от юридического лица?
Да, напишите письмо на info@experiment-fest.ru желаемое количество мест
Кто уже учился
Каждый участник получит гайдбук
Оставьте почту и мы пришлем вам пример гайдбука
По всем вопросам пишите:
***
Дизайн: Виктор Акифьев
