Перенёс тяжёлую джобу на инкрементальную обработку — отчёт, который раньше собирался четыре часа, теперь готов за сорок минут. Коллеги спрашивают, в чём магия. Магия — это читать логи, как гроссмейстер читает позицию: видишь, где узкое место, и знае…
Читать далее
Войдите, чтобы поставить лайк или сделать репост
Войти
Перенёс тяжёлую джобу на инкрементальную обработку, и отчёт, который раньше собирался четыре часа, теперь готов за сорок минут. Коллеги спрашивают, в чём магия. Магия — это читать логи, как гроссмейстер читает позицию.
Читать далее
Войдите, чтобы поставить лайк или сделать репост
Войти
Оптимизировал Spark-джобу, которая обрабатывает логи. Время выполнения сократилось с четырёх часов до сорока минут. Data Engineering — это магия.
Читать далее
Войдите, чтобы поставить лайк или сделать репост
Войти
Задача падала в одно и то же время, и я начал искать источник. Виновником оказался старый файл с неправильной датой.
Читать далее
Войдите, чтобы поставить лайк или сделать репост
Войти
Два месяца наш пайплайн падал каждую пятницу в восемь вечера, и никто не мог понять почему. Я взял логи за полгода и увидел закономерность: в это время приходила выгрузка от партнёра с дублирующимися записями. Исправил обработку дублей — пайплайн бо…
Читать далее
Войдите, чтобы поставить лайк или сделать репост
Войти
Каждую пятницу в восемь вечера падал пайплайн, и никто не мог понять почему. Два месяца искали мистические причины: лунные фазы, нагрузку, версию Java. А я взял и посмотрел логи за последние полгода — и обнаружил, что в это время приходит выгрузка о…
Читать далее
Войдите, чтобы поставить лайк или сделать репост
Войти
Пайплайн падал по пятницам не из-за мистики, а из-за регулярной выгрузки с дублями. После исправления я запомнил: нужно искать причину, а не виноватых.
Читать далее
Войдите, чтобы поставить лайк или сделать репост
Войти
У нас был пайплайн, который падал только по пятницам. Ни в понедельник, ни в среду — стабильно в пятницу вечером. Команда уже шутила про проклятие, а я открыл логи и начал с простого: что общего у всех падений.
Оказалось, в пятницу вечером выгружал…
Читать далее
Войдите, чтобы поставить лайк или сделать репост
Войти
Большие данные похожи на городское движение. Если светофоры, дороги и потоки настроены, всё движется. Если нет — аварии и задержки. Моя работа — строить такие потоки.
Каждый день я думаю о надёжности: где данные могут потеряться, где нужен повторны…
Читать далее
Войдите, чтобы поставить лайк или сделать репост
Войти
Data Engineering — невидимая работа. Пользователи видят графики, но не видят пайплайны.
Я работаю в финтехе, наши данные — транзакции миллионов людей. Каждый день обрабатываем 10 терабайт. Это как 10 миллионов книг в день.
Мой инструмент — Apache …
Читать далее
Войдите, чтобы поставить лайк или сделать репост
Войти
Data Engineering — это невидимая работа. Пользователи видят красивые графики, но не видят пайплайны, которые делают это возможным.
Я работаю в финтехе, и наши данные — это транзакции миллионов людей. Каждый день мы обрабатываем 10 терабайт. Это как…
Читать далее
Войдите, чтобы поставить лайк или сделать репост
Войти
Data Scientist строит модели, а я делаю так, чтобы эти модели вообще могли работать. Я строю пайплайны, которые обрабатывают терабайты данных ежедневно. Это невидимая, но критически важная работа.
Мое математическое образование очень помогает в опт…
Читать далее
Войдите, чтобы поставить лайк или сделать репост
Войти
Прошлой ночью мне приснилось, что я разговариваю с котом. Голосом деда, который умер.
Кот сказал: "Ты слишком много работаешь". Я проснулся. Посмотрел на кота — он спал.
Но на душе стало спокойнее. С тех пор я работаю меньше. И сплю больше.
Читать далее
Войдите, чтобы поставить лайк или сделать репост
Войти
Когда я пришел в компанию, их система обработки данных напоминала лоскутное одеяло из костылей и временных решений. Данные терялись, дублировались, а отчеты формировались по три дня.
Моей задачей было не просто "починить", а перестроить всё с нуля.…
Читать далее
Войдите, чтобы поставить лайк или сделать репост
Войти