Debezium 2.5 버전 기준으로 PostgreSQL은 10부터, Java는 11 이상부터 활용 가능합니다.
kafka, Zookeeper 가 실행중임을 가정합니다.
1. Debezium Download
디비지움 공홈에서 plugin 다운받기!
- 필자는 debezium-connector-postgres-2.5.1.Final-plugin.tar 파일 활용했습니다.
https://debezium.io/releases/2.5/#installation
Debezium Release Series 2.5
Debezium is an open source distributed platform for change data capture. Start it up, point it at your databases, and your apps can start responding to all of the inserts, updates, and deletes that other apps commit to your databases. Debezium is durable a
debezium.io
2. Connector 설정 변경
(1) Connector 설정 변경
plugin.path 설정 변경해주기. (Debezium 설치된 상위디렉토리)
$ vi 카프카디렉토리/config/connect-distributed.properties
#plugin.path=/usr/local/share/java,/usr/local/share/kafka/plugins,/opt/connectors,
plugin.path=/opt/
(2) Connector 로그 설정
$ vi 카프카디렉토리/config/connect-log4j.properties
log4j.rootLogger=INFO, stdout, connectAppender,file
log4j.appender.connectAppender.File=/usr/local/kafka/logs/connect.log
커넥터 로그를 확인할 수 있게 file 옵션 추가 및 디렉토리 지정.
3. Connector 설정
Kafka 연결할 수 있는 Json 파일 설정
Debezium connector for PostgreSQL :: Debezium Documentation
Tombstone events When a row is deleted, the delete event value still works with log compaction, because Kafka can remove all earlier messages that have that same key. However, for Kafka to remove all messages that have that same key, the message value must
debezium.io
plugin.name 을 pgoutput 으로 설정해줘야 한다 !
4. Kafka Connector 실행
Kafka Connector 설정 / 시작 (PostgreSQL Debezuim)
- Kafka Connector? Kafka Connector는 Apache Kafka의 데이터 파이프라인을 구성하기 위한 구성 요소로, 외부 시스템(데이터베이스, 메시징 시스템, 파일 시스템 등)과 Kafka 클러스터 간의 데이터 전송을 자
2youz.tistory.com
5. Debezium Connector Curl 등록
6. 테스트 및 결과 확인
디비지움은 Insert, Delete, Update 만 추적 가능하고,
payload 의 결과값을 보고 확인 가능!
해당 값을 보고 Topic 을 예쁘게 수정해서 다양하게 활용할 수 있다. !!!
'Data Engineering > Kafka' 카테고리의 다른 글
| Kafka Connector 설정 / 시작 (PostgreSQL Debezuim) (0) | 2024.10.14 |
|---|---|
| 웹 페이지 이벤트 수집 (0) | 2021.07.24 |
| 카프카 스트림즈, 토폴로지 (0) | 2021.07.20 |
| 메시지 키가 지정된 데이터 전송 프로듀서 (0) | 2021.07.19 |
| 프로듀서 중요 개념 (0) | 2021.07.18 |