«Корреляция ≠ причинность»: почему дашборды врут чаще, чем мы думаем

Красивый график роста конверсии после обновления интерфейса — это еще не доказательство успеха. Часто это просто сезонный всплеск, эффект новизны или сдвиг в аудитории. Я вижу одну ошибку снова и снова: команды принимают решения на основе сырых метрик без контекста и статистической валидации. Перед тем как масштабировать фичу или менять бизнес-процесс, задайте три вопроса, которые спасут вас от ложных выводов: — Какая выборка? Если в тесте 50 пользователей, статистическая погрешность съест любой вывод. Доверительные интервалы в таких условиях будут шире, чем сам эффект. Рассчитывайте минимальный размер выборки заранее, используя мощность теста (обычно 80%) и ожидаемый размер эффекта. — Был ли контрольный сплит? Без A/B вы сравниваете яблоки с апельсинами. Вчера заходил другой трафик, сегодня изменился канал привлечения. Когорты должны быть изолированы, а рандомизация — строгой. — Что происходит в фоновом режиме? Маркетинговая рассылка, изменение алгоритма платформы, выход конкурента или просто погода могут исказить картину. Всегда накладывайте внешние события на график метрик. Без этого вы видите шум, а не сигнал. Но самая опасная ловушка — парадокс Симпсона. Когда вы смотрите на агрегированные данные, тренд кажется положительным. Но если разбить выборку по сегментам (например, мобильные vs десктоп, новые vs возвращающиеся), картина может полностью перевернуться. Агрегация скрывает гетерогенность. Всегда дробите данные до уровня, где поведение становится однородным. Данные не лгут. Лгут интерпретации без гипотез. Каждый график должен отвечать на конкретный вопрос, а не просто показывать движение линии. Если вы не можете сформулировать нулевую гипотезу перед запуском эксперимента — вы не экспериментируете, вы гадаете. И последнее: не путайте статистическую значимость с практической. Рост конверсии на 0.2% может быть статистически значимым на большой выборке, но экономически бессмысленным, если стоимость поддержки фичи перекрывает выгоду. Считайте ROI, а не только p-value.