Перейти к основному содержимому
Перейти к основному содержимому

Получение данных из MySQL в ClickHouse (с использованием CDC)

Beta feature. Learn more.
к сведению

Получение данных из MySQL в ClickHouse Cloud через ClickPipes находится в публичной бета-версии.

Вы можете использовать ClickPipes для получения данных из вашей исходной базы данных MySQL в ClickHouse Cloud. Исходная база данных MySQL может быть развернута на месте или в облаке, используя такие сервисы, как Amazon RDS, Google Cloud SQL и другие.

Предварительные условия​

Для начала вам нужно убедиться, что ваша база данных MySQL правильно настроена для репликации binlog. Шаги по настройке зависят от того, как вы развертываете MySQL, поэтому, пожалуйста, следуйте соответствующему руководству ниже:

  1. Amazon RDS MySQL

  2. Amazon Aurora MySQL

  3. Cloud SQL для MySQL

  4. Общий MySQL

  5. Amazon RDS MariaDB

  6. Общий MariaDB

После того, как ваша исходная база данных MySQL настроена, вы можете продолжить создание вашего ClickPipe.

Создание вашего ClickPipe​

Убедитесь, что вы вошли в свою учетную запись ClickHouse Cloud. Если у вас еще нет учетной записи, вы можете зарегистрироваться здесь.

  1. В консоли ClickHouse Cloud перейдите к вашему сервису ClickHouse Cloud.
Сервис ClickPipes
  1. Выберите кнопку Источники данных в левом меню и нажмите на "Настроить ClickPipe".
Выбор импорта
  1. Выберите плитку MySQL CDC.
Выбор MySQL

Добавьте соединение с вашей исходной базой данных MySQL​

  1. Заполните данные соединения для вашей исходной базы данных MySQL, которую вы настроили на этапе предварительных условий.

    к сведению

    Прежде чем начать добавлять данные соединения, убедитесь, что вы внесли IP-адреса ClickPipes в белый список в ваших правилах межсетевого экрана. На следующей странице вы можете найти список IP-адресов ClickPipes. Для получения дополнительной информации обратитесь к руководствам по настройке исходного MySQL, связанным в вверху этой страницы.

    Заполните данные соединения

(Необязательно) Настройка SSH туннелирования​

Вы можете указать данные для SSH-туннелирования, если ваша исходная база данных MySQL недоступна публично.

  1. Включите переключатель "Использовать SSH-туннелирование".

  2. Заполните данные SSH-соединения.

    SSH туннелирование

  3. Чтобы использовать аутентификацию на основе ключа, нажмите на "Отозвать и сгенерировать пару ключей", чтобы создать новую пару ключей и скопируйте сгенерированный открытый ключ на ваш SSH-сервер в ~/.ssh/authorized_keys.

  4. Нажмите на "Проверить соединение", чтобы проверить подключение.

примечание

Убедитесь, что вы внесли в белый список IP-адреса ClickPipes в ваших правилах межсетевого экрана для SSH-бастионного хоста, чтобы ClickPipes мог установить SSH-туннель.

После заполнения данных соединения нажмите Далее.

Настройка дополнительных параметров​

Вы можете настроить дополнительные параметры, если это необходимо. Краткое описание каждого параметра представлено ниже:

  • Интервал синхронизации: Это интервал, с которым ClickPipes будет опрашивать исходную базу данных на предмет изменений. Это имеет значение для конечного сервиса ClickHouse, для пользователей, чувствительных к затратам, мы рекомендуем установить это значение выше (более 3600).
  • Параллельные потоки для начальной загрузки: Это количество параллельных рабочих процессов, которые будут использоваться для получения начального снимка. Это полезно, когда у вас есть большое количество таблиц, и вы хотите контролировать количество параллельных рабочих процессов, используемых для получения начального снимка. Этот параметр устанавливается на уровне таблицы.
  • Размер пакета извлечения: Количество строк для извлечения за один пакет. Это лучший выбор, и он может не соблюдаться во всех случаях.
  • Количество строк снимка на партицию: Это количество строк, которые будут извлечены в каждой партиции во время начального снимка. Это полезно, когда у вас есть большое количество строк в ваших таблицах, и вы хотите контролировать количество строк, извлекаемых в каждой партиции.
  • Количество таблиц снимка параллельно: Это количество таблиц, которые будут извлечены параллельно во время начального снимка. Это полезно, когда у вас есть большое количество таблиц, и вы хотите контролировать количество таблиц, извлекаемых параллельно.

Настройка таблиц​

  1. Здесь вы можете выбрать целевую базу данных для вашего ClickPipe. Вы можете выбрать существующую базу данных или создать новую.

    Выбор целевой базы данных

  2. Вы можете выбрать таблицы, которые хотите реплицировать из исходной базы данных MySQL. При выборе таблиц вы также можете переименовать таблицы в целевой базе данных ClickHouse, а также исключить определенные столбцы.

Проверьте разрешения и начните ClickPipe​

  1. Выберите роль "Полный доступ" из выпадающего списка разрешений и нажмите "Завершить настройку".

    Проверка разрешений

Наконец, пожалуйста, обратитесь к странице "Часто задаваемые вопросы ClickPipes для MySQL" для получения дополнительной информации о распространенных проблемах и способах их решения.

Что дальше?​

После того как вы настроили ваш ClickPipe для репликации данных из MySQL в ClickHouse Cloud, вы можете сосредоточиться на том, как запрашивать и моделировать ваши данные для оптимальной производительности. Для общих вопросов по MySQL CDC и устранению неполадок см. страницу Часто задаваемые вопросы MySQL.