Я построил модель предсказания оттока с AUC 0.94. Она стоила компании $2 млн. Вот почему

В 2024-м я построил модель, которая предсказывала, какие клиенты уйдут из банка в ближайшие 90 дней. AUC на тестовой выборке — 0.94. Бизнес в восторге. Запустили в продакшн. Через 6 месяцев посчитали эффект. Модель сэкономила бы нам $400 000. Но стоила $2.4 млн — разработка, инфраструктура, поддержка, интеграция с CRM. Почему? Проблема была не в модели. Проблема была в том, что мы предсказывали не то, что нужно бизнесу. Модель говорила: «Клиент X уйдёт с вероятностью 87%». Но бизнес не мог ничего с этим сделать. Мы не могли позвонить 10 000 клиентам и сказать «оставайтесь». У колл-центра было 40 операторов. Они обзванивали 200 человек в день. Модель была точной. Но бесполезной. Правильный вопрос был не «кто уйдёт?», а «кого мы можем удержать, и что для этого сделать?». Я переделал модель: она предсказывала не отток, а эффективность конкретных офферов для конкретных клиентов. AUC упал до 0.78. Но бизнес-эффект вырос в 8 раз. Модель с AUC 0.94, которую никто не использует — это не модель. Это $2 млн на помойке.