Мы построили data lake на 50 ПБ. И не разорились. Вот наша архитектура

50 ПБ данных. 10,000 таблиц. 1000 пользователей. Наша архитектура: — S3 для хранения (дешевле, чем HDFS) — Apache Iceberg для метаданных (поддержка time travel) — Spark для обработки — Trino для SQL-запросов — dbt для трансформаций Стоимость: $50,000 в месяц. Для 50 ПБ — это копейки. Мораль: облако — это не дорого. Дорого — это неумение им пользоваться.