데이터 엔지니어링 스터디 블로그 by 유즈

1. 첫번째 오류https://yjshin.tistory.com/744 [Linux] Ubuntu root 권한이 없는 경우, is not in the sudoers file. This incident will be reported.[username] is not in the sudoers file. This incident will be reported. 우분투에서 sudo 명령어 작성시 root 권한이 없을 때 발생하는 오류 문구 입니다. 해결 방법은 sudoers 파일에 계정 이름을 넣어 root 권한을 부여yjshin.tistory.com   2. 두번째 오류  원인 파악을 위해 로그파일 확인!    pg_hba.conf 파일에 오류가 있음을 확인했다.   위 파일에서 #local   replic..

배경) 각기 다른 port 를 사용하는 trino cluster 2대에 tls 적용 시 http-server.http.port 설정값을 지우고 http-server.https.port 설정값을 지정해줬다. trino cluster 가 한 대라면 실행 시 문제가 없으나, 두 대 이상이라면 나중에 실행한 클러스터가 실행 불가. server.log 의 Error Message ) Caused by: UncheckedIOException: Failed to bind to /0.0.0.0:8080 https 를 지정해주더라도, 기본 default http port 인 8080 을 통해 접속 후 동작하는 방식인 것 같다. 참고 ) https://trino.io/docs/current/security/tls.html..

배경) 스탠바이 네임노드, 데이터노드에서 각 소프트웨어( 저널노드, 네임노드, zkfc , datanode 등) root 계정이 아닌, 다른 계정으로 실행 하고 Actuve NameNode에서 root 계정으로 저널노드, 네임노드, zkfc 를 실행했을 때 yarn 실행 시 실행이 안된다. https://bloodguy.tistory.com/m/entry/Hadoop-hdfs-yarn-%EA%B4%80%EB%A0%A8-%EB%8D%B0%EB%AA%AC%EC%9D%84-root%EB%A1%9C-%EC%8B%A4%ED%96%89%ED%95%A0-%EB%95%8C-%EC%97%90%EB%9F%AC-%EB%B0%9C%EC%83%9D%EC%8B%9C [Hadoop] hdfs, yarn 관련 데몬을 root로 실행..

현상 ) linux ppc64le 환경에서 trino cli 가 제대로 동작하지 않음. - 접속은 정상! - 하지만, ctrl+z ( 종료) 외에 enter 등 모든 키가 입력되지 않는다. https://github.com/trinodb/trino/issues/10438 Unable to start trino-cli on ppc64le · Issue #10438 · trinodb/trino OS Debian 11 Bullseye (ppc64le) Version trino server 367 After deployment of trino server 367 I am able to successfully start trino with python3 bin/launcher.py run However when ..

vi conf/zoo.cfg 에서, standalone 실행인 경우 아래의 서버 설정을 삭제하거나 주석처리 하시면 됩니다. ex) #server.1=master:2888:3888#server.2=slave1:2888:3888 MultiNode Mode로 실행하는 경우 위의 zoo.cfg 파일에 각각의 서버 설정을 해주셔야 합니다. - 설정 정보 tickTime : tick 단위 시간을 설정, milliseconds 단위. (위에서는 2초) initLimit : 처음 주키퍼의 follower가 leader와의 연결 시도시 가지는 tick 제한 횟수. tick 제한 횟수가 넘으면 timeout. (위에서는 10초) syncLimit : follower가 leader와 연결된 후, 계속 ensemble 안에서..

Output Grouping (One Line Per Object / Array ) 결과 확인 (1) Array [] 배열안에 모든 값 넣기! 행 나눴을 때, 총 1개의 Key/Value 값 생성. (2) One Line Per Object 한 키값 쌍마다 줄바꿈해서 변환 행 나눴을 때, 총 4개의 Key/Value 값 생성.

Hadoop에서 "split brain"은 주로 고가용성(High Availability) 설정에서 발생하는 문제를 가리킵니다. Split brain은 네트워크 분할이나 네임노드 간 통신 장애로 인해 클러스터의 네임노드들이 서로 독립적으로 운영되는 상태를 의미합니다. 일반적으로 Hadoop의 고가용성 구성에서는 두 개의 네임노드가 서로 통신하여 클러스터 상태를 동기화합니다. 하지만 네트워크 분할이 발생하거나 네임노드 간 통신이 실패하는 경우, 각 네임노드는 자신이 활성(active)인지 스탠바이(standby)인지 판단할 수 없게 됩니다. 이렇게 되면 각각의 네임노드가 독립적으로 파일 시스템에 대한 읽기 및 쓰기 작업을 수행할 수 있게 됩니다. 이러한 상황에서는 데이터의 불일치가 발생할 수 있으며, 클러..

배경 ) 호스트명 test1, test2 --> namenode 이중화 현상 ) 1. 정상동작 test1 test2 active standby 일 때, test1 namenode stop 시 --> test2 namenode active 정상 변경 완료 2. 비정상동작 test1 test2 standby active 일 때, test2 namenode stop 시 --> test1 namenode active 변경 실패. (standby상태 유지) 2-1. 위의 상태에서, test2 namenode start 시 test1, test2 모두 standby 상태. 해결 ) 1번 현상에서 failover가 정상동작하는걸로 보아, zkfc 실행 자체에는 문제가 없다고 판단, fencing 작업에 문제 가능성 ..

vi workers hadoop 1인가? 에서 master 도 있었다는데 지금은 없음. 원래 데이터노드만 적어야 하는데 데이터노드 원래 필수 3대 있어야 하는데 우리는 서버 3대밖에 없으니 일단 다 적음. ( 네임노드든 데이터노드든 다 적어도 되긴 함 ) 원래는 데이터노드들만 적긴 함 /home/hadoop/etc/hadoop/core-site.xml - 클러스터 내의 네임노드에서 실행되는 하둡 데몬에 관한 설정 -로그파일, 네트워크 튜닝, I/O튜닝, 파일 시스템 튜닝, 압축 등 하부 시스템 설정 파일 - HDFS(hdfs-site.xml)와 맵리듀스(mapred-site.xml)에서 공통적으로 사용할 환경정보 설정 -만약 core-site.xml 이 없을 경우 core-default.xml 에 있..

NTP: 네트워크로 연결되어있는 컴퓨터들 끼리 클록 시각을 같게 동기화 시키는 프로토콜 하둡에 저장되는 데이터의 신뢰성을 위해 각 서버간 시각을 같게 동기화 https://mindnet.tistory.com/entry/NTP [ 네트워크 쉽게 이해하기 21편 ] NTP 란? NTP (network time protocol) ; 네트웍 시각 프로토콜 "NTP"는 네트웍으로 연결되어 있는 컴퓨터들끼리 클록 시각을 동기화시키는데 사용되는 프로토콜이다. "NTP"는 미국 델라웨어 대학의 데이빗 밀스에 mindnet.tistory.com 빅데이터는 노드들이 서로 상호작용하며 처리하는 것이기 때문에 메인서버를 정해두고, 나머지 서버들이 그 메인서버의 시간을 기준으로 작업하겠다! 라는 의미. -> hdfs 실행 자체..