Говоря про А/В тесты, первое, что приходит в голову – это статистический аппарат. Если же взглянуть на ситуацию шире, то нам быстро станет понятно, что статистический аппарат – это лишь маленькая часть экспериментов. Достаточно важная часть. Помимо этого в экспериментах можно выделить сплитование трафика, удобное управление изменением пользовательского опыта, обработку данных, дашборды, систему мониторинга и многое другое.

В данном докладе я хотел бы поделиться своим опытом выстраивания процесса проведения экспериментов в компании, в которой нет собственной платформы для экспериментов или она только зарождается.

Health checks экспериментов — важная составляющая процесса АБ-тестирования. В докладе расскажу о нескольких критериях, которые мы применяем в СберМаркете — Sample Ratio Mismatch и пересечение экспериментов. Как их корректно считать, автоматизировать и что делать, если ваши эксперименты не валидные.

А/Б тестирование - это не только процессы, инструменты и компетенции. Немаловажными составляющими являются гипотезы, ожидания команд и данные, от качества которых зависит полученный результат и выводы.



В своем докладе мы ответим на вопросы:

- Что такое качественные данные?

- Почему важно использовать качественные данные при проведении А/Б тестирования?

- Как валидировать полученные данные на полноту и отсутствие ограничений?



В конце выступления поделимся рекомендациями по сбору качественных данных.