Перейти к основному содержимому
Перейти к основному содержимому

Интеграция платформы Confluent с ClickHouse

Предварительные требования​

Мы предполагаем, что вы знакомы с:

Официальный Kafka коннектор от ClickHouse для платформы Confluent​

Установка на платформе Confluent​

Это краткое руководство, чтобы помочь вам начать работу с ClickHouse Sink Connector на платформе Confluent. Для получения более подробной информации, пожалуйста, обратитесь к официальной документации Confluent.

Создание темы​

Создание темы на платформе Confluent довольно просто, и подробные инструкции можно найти здесь.

Важные примечания​

  • Имя темы Kafka должно совпадать с именем таблицы ClickHouse. Способ изменить это - использовать трансформатор (например, ExtractTopic).
  • Большее количество партиций не всегда означает большую производительность - смотрите наше предстоящее руководство для получения более подробной информации и советов по производительности.

Установка коннектора​

Вы можете скачать коннектор из нашего репозитория - оставляйте, пожалуйста, комментарии и проблемы там тоже!

Перейдите в "Connector Plugins" -> "Add plugin" и используйте следующие настройки:

'Connector Class' - 'com.clickhouse.kafka.connect.ClickHouseSinkConnector'
'Connector type' - Sink
'Sensitive properties' - 'password'. This will ensure entries of the ClickHouse password are masked during configuration.

Пример:

Интерфейс платформы Confluent, показывающий настройки для добавления пользовательского коннектора ClickHouse

Соберите ваши данные подключения​

Чтобы подключиться к ClickHouse с помощью HTTP(S), вам необходима следующая информация:

  • ХОСТ и ПОРТ: как правило, порт 8443 при использовании TLS или 8123 при отсутствии TLS.

  • ИМЯ БАЗЫ ДАННЫХ: по умолчанию существует база данных с именем default, используйте имя базы данных, к которой вы хотите подключиться.

  • ИМЯ ПОЛЬЗОВАТЕЛЯ и ПАРОЛЬ: по умолчанию имя пользователя default. Используйте имя пользователя, подходящее для вашего случая.

Данные для вашего сервиса ClickHouse Cloud доступны в консоли ClickHouse Cloud. Выберите сервис, к которому вы хотите подключиться, и нажмите Подключиться:

Кнопка подключения к сервису ClickHouse Cloud

Выберите HTTPS, и данные будут доступны в примере команды curl.

Детали подключения ClickHouse Cloud по HTTPS

Если вы используете самоуправляемый ClickHouse, детали подключения устанавливаются вашим администратором ClickHouse.

Настройка коннектора​

Перейдите в Connectors -> Add Connector и используйте следующие настройки (обратите внимание, что значения приведены только в качестве примеров):

{
  "database": "<DATABASE_NAME>",
  "errors.retry.timeout": "30",
  "exactlyOnce": "false",
  "schemas.enable": "false",
  "hostname": "<CLICKHOUSE_HOSTNAME>",
  "password": "<SAMPLE_PASSWORD>",
  "port": "8443",
  "ssl": "true",
  "topics": "<TOPIC_NAME>",
  "username": "<SAMPLE_USERNAME>",
  "key.converter": "org.apache.kafka.connect.storage.StringConverter",
  "value.converter": "org.apache.kafka.connect.json.JsonConverter",
  "value.converter.schemas.enable": "false"
}

Укажите конечные точки подключения​

Необходимо указать список разрешенных конечных точек, к которым коннектор может обращаться. Вы должны использовать полное доменное имя (FQDN) при добавлении конечной точки сетевого выхода. Например: u57swl97we.eu-west-1.aws.clickhouse.com:8443

примечание

Вы должны указать HTTP(S) порт. Коннектор пока не поддерживает Native protocol.

Читать документацию.

Теперь вы готовы!

Известные ограничения​