> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-mintlify-8c05c8a2.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.
> 通过 BladePipe 数据管道将流式数据导入 ClickHouse
# 将 BladePipe 连接到 ClickHouse
export const PartnerBadge = () => {
return ;
};
export const Image = ({img, alt, size}) => {
return
;
};
BladePipe 是一款实时端到端数据集成工具，具备亚秒级时延，可实现跨平台间的无缝数据流转。
ClickHouse 是 BladePipe 的预置连接器之一，用户可以通过它自动将来自各种数据源的数据集成到 ClickHouse 中。本页将分步介绍如何将数据实时加载到 ClickHouse。
## 支持的数据源
目前，BladePipe 支持从以下数据源将数据集成至 ClickHouse：
* MySQL/MariaDB/AuroraMySQL
* Oracle
* PostgreSQL/AuroraPostgreSQL
* MongoDB
* Kafka
* PolarDB-MySQL
* OceanBase
* TiDB
后续还将支持更多数据源。
## 下载并运行 BladePipe
1. 登录 BladePipe Cloud。
2. 按照 安装 Worker (Docker) 或 安装 Worker (二进制) 中的说明，下载并安装 BladePipe Worker。
您也可以选择下载并部署 BladePipe Enterprise。
## 将 ClickHouse 添加为目标
1. BladePipe 支持 ClickHouse `20.12.3.3` 及以上版本。
2. 若要将 ClickHouse 用作目标，请确保该用户具有 SELECT、INSERT 和常见 DDL 权限。
1. 在 BladePipe 中，点击 "DataSource" > "Add DataSource"。
2. 选择 `ClickHouse`，然后填写相关设置，包括 ClickHouse 的主机和端口、用户名和密码，并点击 "Test Connection"。
3. 点击底部的 "Add DataSource"，即可添加一个 ClickHouse 实例。
## 将 MySQL 添加为源
在本教程中，我们将使用 MySQL 实例作为源，并介绍将 MySQL 数据加载到 ClickHouse 的过程。
要使用 MySQL 作为源，请确保该用户具有所需权限。
1. 在 BladePipe 中，点击 "DataSource" > "Add DataSource"。
2. 选择 `MySQL`，然后填写相关设置，输入 MySQL 主机和端口、用户名和密码，再点击 "Test Connection"。
3. 点击底部的 "Add DataSource"，即可添加 MySQL 实例。
## 创建管道
1. 在 BladePipe 中，点击 "DataJob" > "Create DataJob"。
2. 选择已添加的 MySQL 和 ClickHouse 实例，点击 "Test Connection"，确认 BladePipe 已连接到这些实例。然后，选择要迁移的数据库。
3. 在 DataJob Type 中选择 "Incremental"，同时勾选 "Full Data" 选项。
4. 选择要复制的表。
5. 选择要复制的列。
6. 确认创建 DataJob 后，DataJob 会自动运行。
## 验证数据
1. 停止向 MySQL 实例写入数据，并等待 ClickHouse 完成数据合并。
由于 ClickHouse 自动合并的时机不可预测，你可以手动运行 `OPTIMIZE TABLE xxx FINAL;` 命令来触发一次合并。请注意，这种手动合并并不一定每次都能成功。
或者，你也可以运行 `CREATE VIEW xxx_v AS SELECT * FROM xxx FINAL;` 命令创建一个视图，并在该视图上执行查询，以确保数据已完全合并。
2. 创建一个 验证 DataJob。验证 DataJob 完成后，请检查结果，确认 ClickHouse 中的数据与 MySQL 中的数据一致。