> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-mintlify-fbfa8bee.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.
> Передача потоковых данных в ClickHouse с помощью конвейеров данных NiFi
# Подключение Apache NiFi к ClickHouse
export const CommunityMaintainedBadge = () => {
return
Поддерживается сообществом
;
};
export const Image = ({img, alt, size}) => {
return
;
};
Apache NiFi — это ПО с открытым исходным кодом для управления рабочими процессами, предназначенное для автоматизации потоков данных между программными системами. Оно позволяет создавать ETL-конвейеры данных и включает более 300 процессоров данных. В этом пошаговом руководстве показано, как подключить Apache NiFi к ClickHouse в качестве источника и пункта назначения, а также загрузить примерный набор данных.
## Подготовьте сведения о подключении
Чтобы подключиться к ClickHouse по HTTP(S), вам понадобится следующая информация:
| Параметр(ы) | Описание |
| ------------------------- | ---------------------------------------------------------------------------------------------------------------------- |
| `HOST` and `PORT` | Обычно используется порт 8443 при использовании TLS и 8123 без TLS. |
| `DATABASE NAME` | По умолчанию есть база данных `default`; используйте имя базы данных, к которой хотите подключиться. |
| `USERNAME` and `PASSWORD` | По умолчанию имя пользователя — `default`. Используйте имя пользователя, подходящее для вашего сценария использования. |
Сведения о подключении для вашего сервиса ClickHouse Cloud доступны в консоли ClickHouse Cloud.
Выберите сервис и нажмите **Connect**:
Выберите **HTTPS**. Сведения о подключении будут показаны в примере команды `curl`.
Если вы используете самоуправляемый ClickHouse, сведения о подключении задаёт ваш администратор ClickHouse.
## Скачайте и запустите Apache NiFi
Для новой установки скачайте бинарный файл с [https://nifi.apache.org/download.html](https://nifi.apache.org/download.html) и выполните команду `./bin/nifi.sh start`
## Скачайте JDBC-драйвер ClickHouse
1. Перейдите на страницу релизов JDBC-драйвера ClickHouse на GitHub и найдите последнюю версию JDBC-драйвера
2. В выбранном релизе нажмите "Show all xx assets" и найдите JAR-файл, содержащий ключевое слово "shaded" или "all", например `clickhouse-jdbc-0.5.0-all.jar`
3. Поместите JAR-файл в папку, доступную Apache NiFi, и запишите его абсолютный путь
## Добавьте службу контроллера `DBCPConnectionPool` и настройте её свойства
1. Чтобы настроить службу контроллера в Apache NiFi, откройте страницу конфигурации потока NiFi, нажав кнопку с шестерёнкой
2. Перейдите на вкладку Controller Services и добавьте новую службу контроллера, нажав кнопку `+` в правом верхнем углу
3. Найдите `DBCPConnectionPool` и нажмите кнопку "Add"
4. После добавления `DBCPConnectionPool` по умолчанию будет находиться в состоянии Invalid. Нажмите кнопку с шестерёнкой, чтобы перейти к настройке
5. В разделе "Properties" введите следующие значения
| Property | Value | Remark |
| --------------------------------- | ---------------------------------------------------------------------------------------- | ------------------------------------------------------ |
| URL подключения к базе данных | jdbc:ch:[https://HOSTNAME:8443/default?ssl=true](https://HOSTNAME:8443/default?ssl=true) | Замените HOSTNAME в URL подключения на нужное значение |
| Имя класса драйвера базы данных | com.clickhouse.jdbc.ClickHouseDriver | |
| Расположение драйвера базы данных | /etc/nifi/nifi-X.XX.X/lib/clickhouse-jdbc-0.X.X-patchXX-shaded.jar | Абсолютный путь к JAR-файлу драйвера ClickHouse JDBC |
| Пользователь базы данных | default | Имя пользователя ClickHouse |
| Пароль | password | Пароль ClickHouse |
6. В разделе Settings измените имя службы контроллера на "ClickHouse JDBC" для удобства дальнейшей работы
7. Активируйте службу контроллера `DBCPConnectionPool`, нажав кнопку с молнией, а затем кнопку "Enable"
8. Проверьте вкладку Controller Services и убедитесь, что служба контроллера включена
## Чтение из таблицы с помощью процессора `ExecuteSQL`
1. Добавьте процессор `ExecuteSQL` вместе с соответствующими предшествующими и последующими процессорами
2. В разделе "Properties" процессора `ExecuteSQL` введите следующие значения
| Property | Value | Remark |
| ----------------------------------- | ----------------------------- | ------------------------------------------------------- |
| Database Connection Pooling Service | ClickHouse JDBC | Выберите Controller Service, настроенный для ClickHouse |
| SQL select query | SELECT \* FROM system.metrics | Введите здесь свой запрос |
3. Запустите процессор `ExecuteSQL`
4. Чтобы убедиться, что запрос был успешно обработан, проверьте один из `FlowFile` в выходной очереди
5. Переключитесь в режим "formatted", чтобы просмотреть результат в выходном `FlowFile`
## Запись в таблицу с помощью процессоров `MergeRecord` и `PutDatabaseRecord`
1. Чтобы выполнить вставку нескольких строк за одну операцию, сначала нужно объединить несколько записей в одну. Это можно сделать с помощью процессора `MergeRecord`
2. В разделе "Properties" процессора `MergeRecord` введите следующие значения
| Свойство | Значение | Примечание |
| ------------------------- | ------------------- | -------------------------------------------------------------------------------------------------------------------- |
| Record Reader | `JSONTreeReader` | Выберите подходящее средство чтения записей |
| Record Writer | `JSONReadSetWriter` | Выберите подходящее средство записи записей |
| Minimum Number of Records | 1000 | Увеличьте это значение, чтобы в одну запись объединялось минимально необходимое число строк. По умолчанию — 1 строка |
| Maximum Number of Records | 10000 | Укажите значение больше, чем "Minimum Number of Records". По умолчанию — 1 000 строк |
3. Чтобы убедиться, что несколько записей объединяются в одну, проверьте вход и выход процессора `MergeRecord`. Обратите внимание, что на выходе получается массив из нескольких входных записей
Вход
Выход
4. В разделе "Properties" процессора `PutDatabaseRecord` введите следующие значения
| Свойство | Значение | Примечание |
| ----------------------------------- | ---------------- | ------------------------------------------------------------------------------------------------------------------------------------------------- |
| Record Reader | `JSONTreeReader` | Выберите подходящее средство чтения записей |
| Database Type | Generic | Оставьте значение по умолчанию |
| Statement Type | INSERT | |
| Database Connection Pooling Service | ClickHouse JDBC | Выберите сервис-контроллер ClickHouse |
| Table Name | tbl | Укажите здесь имя таблицы |
| Translate Field Names | false | Установите значение "false", чтобы имена полей при вставке совпадали с именами столбцов |
| Maximum Batch Size | 1000 | Максимальное количество строк на одну вставку. Это значение не должно быть меньше значения "Minimum Number of Records" в процессоре `MergeRecord` |
5. Чтобы убедиться, что каждая вставка содержит несколько строк, проверьте, что число строк в таблице увеличивается как минимум на значение "Minimum Number of Records", заданное в `MergeRecord`.
6. Поздравляем — вы успешно загрузили данные в ClickHouse с помощью Apache NiFi!