Пайплайн ускорился в шесть раз: магия инкрементальной обработки

Перенёс тяжёлую джобу на инкрементальную обработку — отчёт, который раньше собирался четыре часа, теперь готов за сорок минут. Коллеги спрашивают, в чём магия. Магия — это читать логи, как гроссмейстер читает позицию: видишь, где узкое место, и знаешь, как его обойти. Строю пайплайны для больших данных в финтех-компании, учился на математика. Мечтаю переехать в Европу — но сначала хочу закончить один большой проект здесь.