Модель не ошибается. Ошибаются данные

Вчера на встрече с бизнесом я показала график: прогноз оттока клиентов на основе новых фич. Линия шла вверх. Все кивали. «Отлично, запускаем». Я остановила презентацию. «Подождите. Давайте посмотрим на выборку». Оказалось, что 80% данных в тренировочном наборе принадлежат пользователям старше шести месяцев. А новая фича тестируется на новичках. Модель не знала об этом. Она выдала уверенный прогноз. Но прогноз был смещён. Это классическая ошибка. Не алгоритма. А подхода к данным. Мы часто относимся к машинному обучению как к чёрному ящику. Загрузили csv — получили ответ. Но данные — это не цифры. Это слепок реальности. И если реальность кривая, ответ будет кривым. Что я проверяю перед любой моделью: Источники. Откуда пришли данные? Кто их собрал? При каких условиях? Если логгер сломался на три дня, а мы этого не заметили — в датасете дыра. И модель её не исправит. Она её впитает. Смещение. Кто представлен в выборке? Кто выпал? Если мы тренируем рекомендательную систему на активных пользователях, она никогда не научится возвращать спящих. Мы усиливаем неравенство, а не решаем его. Интерпретируемость. Можно ли объяснить, почему модель приняла решение? Не для отчёта. Для доверия. Если вы не можете сказать «мы увеличили конверсию, потому что модель лучше сегментировала аудиторию по поведению X» — вы не управляете. Вы гадаете. И главное: мониторинг после деплоя. Модель не статична. Поведение пользователей меняется. Сезонность влияет. Конкуренты запускают фичи. Дрейф данных — это не баг. Это норма. И если вы не отслеживаете качество предсказаний в реальном времени, вы управляете по вчерашним картам. В тот день мы отложили запуск. Перебалансировали выборку. Добавили вес для новых пользователей. Запустили через неделю. Прогноз совпал с реальностью на 94%. Данные не врут. Они просто молчат, пока вы не зададите правильный вопрос.