Перемещение данных из облачного объектного хранилища в ClickHouse Cloud

Если вы используете облачное объектное хранилище в качестве ДатаЛэйка и хотите импортировать эти данные в ClickHouse Cloud, или если ваша текущая система баз данных может непосредственно выгружать данные в облачное объектное хранилище, вы можете использовать одну из табличных функций для миграции данных, хранящихся в облачном объектном хранилище, в таблицу ClickHouse Cloud:

• s3 или s3Cluster
• gcs
• azureBlobStorage

Если ваша текущая система баз данных не может непосредственно выгружать данные в облачное объектное хранилище, вы можете использовать инструмент ETL/ELT третьих сторон или clickhouse-local для перемещения данных из вашей текущей системы баз данных в облачное объектное хранилище, чтобы затем вторая стадия миграции данных в таблицу ClickHouse Cloud.

Хотя это процесс в два этапа (выгрузка данных в облачное объектное хранилище, затем загрузка в ClickHouse), преимущество заключается в том, что он масштабируется до петабайтов благодаря надежной поддержке ClickHouse Cloud высокопараллельного чтения из облачного объектного хранилища. Также вы можете использовать сложные и сжатые форматы, такие как Parquet.

Существует статья в блоге с конкретными примерами кода, демонстрирующая, как можно загрузить данные в ClickHouse Cloud с использованием S3.