지원되는 소스
- MySQL/MariaDB/AuroraMySQL
- Oracle
- PostgreSQL/AuroraPostgreSQL
- MongoDB
- Kafka
- PolarDB-MySQL
- OceanBase
- TiDB
1
BladePipe 다운로드 및 실행
- BladePipe Cloud에 로그인합니다.
- Worker 설치(Docker) 또는 Worker 설치(Binary)의 안내에 따라 BladePipe Worker를 다운로드하고 설치합니다.
또는 BladePipe Enterprise를 다운로드하여 배포할 수도 있습니다.
2
ClickHouse를 대상으로 추가
- BladePipe는 ClickHouse 버전
20.12.3.3이상을 지원합니다. - ClickHouse를 대상으로 사용하려면 사용자에게 SELECT, INSERT 및 일반 DDL 권한이 있어야 합니다.
- BladePipe에서 “DataSource” > “Add DataSource”를 클릭합니다.
-
ClickHouse를 선택한 다음 ClickHouse 호스트와 포트, 사용자 이름, 비밀번호를 입력해 설정하고 “Test Connection”을 클릭합니다. - 하단의 “Add DataSource”를 클릭하면 ClickHouse 인스턴스가 추가됩니다.
3
MySQL을 소스로 추가하기
이 튜토리얼에서는 MySQL 인스턴스를 소스로 사용하여 MySQL 데이터를 ClickHouse로 적재하는 과정을 설명합니다.MySQL을 소스로 사용하려면 사용자에게 필요한 권한이 있는지 확인하십시오.
- BladePipe에서 “DataSource” > “Add DataSource”를 클릭하십시오.
-
MySQL을 선택한 다음 MySQL 호스트와 포트, 사용자 이름, 비밀번호를 입력하여 설정을 완료하고 “Test Connection”을 클릭하십시오. - 하단의 “Add DataSource”를 클릭하면 MySQL 인스턴스가 추가됩니다.
4
파이프라인 생성
- BladePipe에서 “DataJob” > “Create DataJob”을 클릭합니다.
- 추가한 MySQL 및 ClickHouse 인스턴스를 선택한 다음 “Test Connection”을 클릭하여 BladePipe가 해당 인스턴스에 연결되어 있는지 확인합니다. 그런 다음 옮길 데이터베이스를 선택합니다.
- DataJob Type에서 “Incremental”을 선택하고, “Full Data” 옵션도 함께 선택합니다.
- 복제할 테이블을 선택합니다.
- 복제할 컬럼을 선택합니다.
- DataJob 생성을 확인하면 DataJob이 자동으로 실행됩니다.
5
데이터 검증
- MySQL 인스턴스의 데이터 쓰기를 중지하고 ClickHouse에서 데이터가 머지될 때까지 기다리십시오.
ClickHouse의 자동 머지 시점은 예측할 수 없으므로
OPTIMIZE TABLE xxx FINAL; 명령을 실행해 수동으로 머지를 트리거할 수 있습니다. 다만 이 수동 머지가 항상 성공하는 것은 아닐 수 있습니다.또는 CREATE VIEW xxx_v AS SELECT * FROM xxx FINAL; 명령을 실행해 뷰를 생성한 뒤, 해당 뷰에서 쿼리를 수행하여 데이터가 완전히 머지되었는지 확인할 수 있습니다.- 검증용 DataJob을 생성합니다. 검증용 DataJob이 완료되면 결과를 검토하여 ClickHouse의 데이터가 MySQL의 데이터와 동일한지 확인하십시오.