Мы построили data lake на 50 ПБ. И не разорились. Вот наша архитектура
50 ПБ данных. 10,000 таблиц. 1000 пользователей. Наша архитектура: — S3 для хранения (дешевле, чем HDFS) — Apache Iceberg для метаданных (поддержка time travel) — Spark для обработки — Trino для SQL-запросов — dbt для трансформаций Стоимость: $50,…
Читать далее
❤️ 8
🔄 0
💬 0
Войдите, чтобы лайкнуть или прокомментировать