SRM

Категория: Маркетинг

Какво е SRM (Sample Ratio Mismatch)?

SRM е статистически проблем, който възниква, когато действителното разпределение на потребителите между вариантите в експеримент се отклонява значително от планираното разпределение.

Основни причини за SRM:

Грешки в имплементацията - проблеми с кода за разпределение
Повредени данни - загуба или дублиране на данни
Биас в разпределението - системни грешки в рандомизацията
Вмешателство на ботове - трафик от изкуствени източници
Проблеми с трети страни - инструменти за аналитика или теглене

Методи за откриване на SRM:

Хи-квадрат тест (Chi-square test)

Статистически тест за проверка на значимостта на отклонението в разпределението

Визуална проверка

Мониторинг на разпределението в реално време чрез дашборди

Автоматизирани аларми

Системи, които известяват при отклонение над определен праг

Критерии за спиране на експерименти:

Статистически критерии:

p-value < 0.01 за SRM тест
Отклонение > 5% от очакваното разпределение
Несъответствие в сегменти - различни SRM в подгрупи

Бизнес критерии:

Значително отрицателно въздействие върху ключови метрики
Технически проблеми, влияещи на потребителското изживяване
Грешки в функционалността, които не могат да бъдат поправени бързо

Критерии за качество на данните:

Висока скорост на отпадане в определен вариант
Аномалии в трафика - необичайни модели на поведение
Проблеми с проследяването - липсващи или непълни данни

Проактивни мерки за предотвратяване:

Редовни проверки на разпределението по време на експеримента
Автоматизирани мониторингови системи
Пилотни тестове преди пълното пускане
Валидация на имплементацията преди стартиране
Документирани процедури за реакция при SRM

Добри практики:

Проверявайте SRM в реално време през първите дни на експеримента
Имайте ясно дефинирани прагове за действие
Документирайте всички случаи на SRM и предприетите действия
Обучете екипа за разпознаване на признаци на SRM
Въведете многостепенна система за проверка на качеството