[Nifi 2.0] PutHive3QL / SelectHive3QL 실행 (Hive3ConnectionPool)

 

들어가기에 앞서, Nifi 2.0 버전에서는 Hive3QL 만 지원됩니다. 

기존 ~HiveQL 은 주로 Hive 1.x 및 2.x를 지원하는데 사용되었지만, Hive3QL 은 Hive 3.x 버전만 지원합니다.

 

 

 

 

1. Hive Connection Pool ( Hive3ConnectionPool 2.0.0-M2 )

설정값 입력

• Database Connection URL: jdbc:hive2://<hive-server-host>:<hive-server-port>/<database-name>
  • 예: jdbc:hive2://hive-server:10000/default
    ( 저는 DB 명 생략했습니다. )
• Database Driver Class Name: org.apache.hive.jdbc.HiveDriver
• Database Driver Location(s): file:///path/to/hive-jdbc-driver.jar
  • Hive JDBC 드라이버 파일의 경로를 입력합니다.
• Database User: Hive 데이터베이스 사용자 이름
• Password: Hive 데이터베이스 사용자의 비밀번호
• Max Wait Time: 500 millis
• Max Total Connections: 8
• Validation Query: SELECT 1

 

 

 

 

2. Select 쿼리 실행 ( SelectHive3QL 2.0.0-M2 )

• Select 쿼리는 SelectHive3QL 에서 바로 실행 가능합니다. 

 

 

 

 

 

 

3. Alter, Insert ... 쿼리 실행 ( PutHive3QL 2.0.0-M2 )

 

 

• PutHive3QL  내 Properties 에는 직접 쿼리를 입력하는 칸이 존재하지 않으므로,
  쿼리를 FlowFile의 내용 또는 속성으로 제공하는 방법을 사용할 수 있습니다.
• 저는 GenerateFlow 과 같은 타 프로세서를 통해 실행했습니다.
• LogAttribute 는 실행 완료 확인용입니다. (선택)

 

(1) GenerateFlowFile

실행할 쿼리 입력

 

(2) PutHive3QL

입력받은 쿼리를 Hive 통해 실행