728x90

토폴로지 : 2개 이상의 노드들과 선으로 이루어진 집합 (링형, 트리형, 성형)

 

카프카 스트림즈

 

- 토폴로지를 이루는 노드 : 프로세서 

- 노드와 노드를 이은 선 : 스트림 (토픽의 데이터)

 

프로세서 - (소스 프로세서, 스트림, 싱크) 3가지로 구성. 

(1) 소스 프로세서 : 데이터를 처리하기 위해 최초로 선언해야 하는 노드. 하나 이상의 토픽에서 데이터를 가져오는 역할

(2) 스트림 프로세서 : 다른 프로세서가 반환한 데이터를 처리하는 역할 (변환, 분기처리)

(3) 싱크 프로세서 : 데이터를 특정 카프카 토픽으로 저장하는 역할

 

 

 

'Data Engineering > Kafka' 카테고리의 다른 글

PostgreSQL CDC (2) - Kafka Debezium  (2) 2024.10.14
웹 페이지 이벤트 수집  (0) 2021.07.24
메시지 키가 지정된 데이터 전송 프로듀서  (0) 2021.07.19
프로듀서 중요 개념  (0) 2021.07.18
토픽, 파티션  (0) 2021.06.24

+ Recent posts