Пайплайн, который падал по пятницам

Два месяца наш пайплайн падал каждую пятницу в восемь вечера, и никто не мог понять почему. Я взял логи за полгода и увидел закономерность: в это время приходила выгрузка от партнёра с дублирующимися записями. Исправил обработку дублей — пайплайн больше не падает. Коллеги аплодировали на стендапе. А я просто посмотрел в данные. Data engineering — это не магия, это внимание. Большинство проблем решаются не сложными алгоритмами, а простым взглядом.