ИНТЕНСИВ
МАТЕМАТИЧЕСКАЯ
СТАТИСТИКА
И A/B-ТЕСТЫ
ИЮНЬ 2024:

4, 6, 11, 13, 18, 20, 25, 27 ИЮНЯ

19:00–21:00
ИНТЕНСИВ ПО АНАЛИЗУ ДАННЫХ,
МАТЕМАТИЧЕСКОЙ СТАТИСТИКЕ
И A/B ТЕСТАМ.
ONLINE
***
ВОСЕМЬ ДНЕЙ ТЕОРИИ С ПРАКТИКОЙ В ONLINE
Стоимость участия
Восьмидневный интенсив с теорией и практикой.

Если вы хотите оплатить от юридического лица, напишите на почту: info@experiment-fest.ru
Листайте вправо →
Базовый, прослушивание интенсива
Базовый с домашними заданиями
Продвинутый с домашними заданиями
Кол–во лекций
9 тем
9 тем
14 тем
Гайдбук по A/B-тестированиям
Доступ к лекциям без ограничений
Q&A, разбор кейсов
Домашние задания
6 кейсов, факт-чекинг
9 кейсов, факт-чекинг
Доступ к статистическому калькулятору
40 000 ₽
50 000 ₽
60 000 ₽
РЕГИСТРАЦИЯ

Если вы хотите оплатить от юридического лица, напишите на почту: info@experiment-fest.ru
§ 1. Что даст интенсив
Как часто в своей работе вы сталкиваетесь с идеей провести A/B тест и проверить гипотезу на реальных данных?
Мы думаем, что регулярно.
Но прежде чем запустить эксперимент, чаще всего возникают следующие вопросы:
Хватит ли нам данных?
Что делать, если мне не будет хватать данных?
Как понять, что мне нужно запускать именно эту гипотезу из 100 остальных?
Как понять, что результаты эксперимента дадут рост для бизнеса?
Это базовые вопросы, на которые нужно уметь отвечать как продакт-менеджеру так и аналитику.
—
—
—
—
По итогам курса каждый участник получит гайдбук анализа A/B тестов
На курсе мы разберем основные методологические и математические проблемы A/B тестирования.
§ 2. Программа интенсива
Первый день.
Математическая статистика как инструмент анализа A/B-тестирований
— Какие бывают эксперименты
Введение: типы экспериментов, типы метрик и обзор тем курса

— Описательные статистики
Базовый курс математической статистики: что такое дисперсия, стандартное отклонение, квадратичная ошибка и ЦПТ
Второй день.
Статистические критерии для проверки основных типов метрик: параметрика, непараметрика
— Статистические критерии
Обзор классических статистических критериев. Почему для одной гипотезы подойдет критерий Стьюдента, а для другой Манн-Уитни
Третий день.
Определение времени на продолжительность эксперимента и обзор темы чувствительности метрик
— Fixed Horizon и MDE. Расчет прогноза остановки эксперимента.
Сколько нужно данных для проведения эксперимента и как посчитать минимальный объем выборки

— A/B/X-тестирования: множественная проверка гипотез
Поправка на множественное сравнение и как множественная проверка гипотез сказывается на ошибки первого и второго рода.
Четвертый день.
Расширенные инструменты математической статистики для анализа экспериментов
— Бутстрап
Повторные выборки и квантильная оценка А/Б-экспериментов

— Бакетирование и трансформирование метрик
Как привести распределение к нормальному, оптимизировать метрику и ускорить расчеты эксперимента с помощью бакетов

– Методы проверки качества систем сплитования: A/A-тестирования
Какими способами можно проверять качество сплитования пользователей в эксперименте
Пятый день.
Оптимизация скорости проведения экспериментов и ratio-метрики
– Ускорение экспериментов: CUPED, стратификация
Разберем теорию и закрепим на практике (демонстрации и задания) разные способы увеличения чувствительности метрик в эксперименте для сокращения времени проведения a/b тестов.

– Ratio-метрика: дельта-метод, линеаризация, бутстрап и еще раз про бакетирование
Обзор проблемы расчета дисперсии и оптимизация bias'a для ratio-метрик. Благодаря линеаризации появляется возможность работать с ratio-метриками и увеличить их чувствительность
Шестой день.
Не лекционный день
– Q&A
Разбор вопросов и кейсов студентов, накопившиеся за 2 недели материала
Седьмой день.
Симуляции и автоматизация A/B
– Monte-Carlo и синтетические эксперименты | только для продвинутого блока
Обзор Monte-Carlo процесса: расчет чувствительности метрик и времени на эксперимент непараметрическим методом. Ведение новой мета-метрики качества метрик – направленность

– Разработка метрик и pipeline их расчета | только для продвинутого блока
Обзор организации автоматизации расчетов метрик. Как придумать любую метрику с помощью числителей и знаменателей
Восьмой день.
Расширенные методы математической статистики для анализа экспериментов
– Offline-эксперименты: проблематика и обзор дизайнов | только для продвинутого блока
Обзор популярных статистических подходов, используемые в дизайне offline-экспериментов, переход к альтернативным единицам рандомизации: гео-хрон эксперименты в delivery- / ride- сервисах(switchback), подбор точек в retail / dark kitchen / dark store, синтетический контроль, network эффекты, эксперименты в социальных сервисах

– Sampling Bias и эффект новизны | только для продвинутого блока
В каких случаях приходится сталкиваться с систематической ошибкой смещения выборки и как с ней бороться
Кому будет полезен интенсив?
  • Аналитик Junior
    Только начал погружаться в A/B-тестирования и статистику. Что-то слышал, что-то читал, но не было полноценного опыта
  • Аналитик Middle / Senior
    Регулярно анализирует A/B-тестирования, есть базовые теория и опыт. Хочет углубить знания и получить больше инструментов
  • Продуктовый менеджер
    Запускает A/B-тестирования, но не изучал статистику и не в курсе потенциальных проблем при планировании и анализе экспериментов
Отзывы участников
Разбираем базовые и сложные статистические и математические методы на реальных примерах
Во время интенсива практикуемся на реальном тренажёре
Каждую тему закрепляем через квизы
Теория, подкреплённая практикой
На интенсиве мы разберем основные теоретические допущения анализа данных с точки зрения математической статистики и закрепим их сразу на реальных кейсах.
Разбор реальных кейсов
Все примеры будут разбираться с точки зрения бизнеса — никакой водянистой теории без практики.
Гайдбуки
Все участники по итогам обучения получат гайдбуки, с которым можно будет работать самостоятельно.
§ 3. Участие
РЕГИСТРАЦИЯ
Если вы хотите оплатить от юридического лица, напишите на почту: info@experiment-fest.ru
§ 4. Преподаватели
Виталий Черемисинов
Со-основатель EXPF. Более 8 лет занимается анализом данных и консалтингом. Работал с ключевыми российскими компаниями. Специализируется на построении методологии экспериментов и оптимизации метрик
Искандер Мирмахмадов
Со-основатель EXPF. Более 7 лет опыта в анализе данных. Работал с Мвидео, Citymobil, Аэрофлот, Райффайзен банком, Детским Миром, Яндексом, Леруа Мерлен и другими лидерами в своей отрасли. Искандер специализируется на анализе и автоматизации экспериментов, а также разработке метрик для них
FAQ
Кто уже учился
По всем вопросам пишите:
facebook.com/vit.cheremesinov
***
t.me/exp_fest
info@experiment-fest.ru
ИП МИРМАХМАДОВ ИСКАНДАР ТОШПУЛОТОВИЧ

Дизайн: Виктор Акифьев