Kafka 핵심 포인트
- Partition의 개수 >= Consumer 인스턴스의 갯수
- 전달 보증 - 요구사항에 따라 적절하게 조절
- At Most Once : 재전송 유무 X, 중복 삭제 유무 X
- At Least Once : 재전송 유무 O, 중복 삭제 유무 X
- Eactly Once : 재전송 유무 O, 중복 삭제 유무 O
- Offset Commit - 요구사항에 따라 적절하게 조절
- Auto Offset Commit
- Manual Offset Commit
- commitSync
- commitAsync
- Offset 은 Constumer Group 별로 관리된다.
- 하나의 메시지를 다른 Constumer Group 에서 똑같은 값을 consume 가능, 하지만, 같은 Constumer Group 내에서는 오직 한번만 가능
- Producer 처리방식
- 동기
- 비동기
- server.properties
- unclean.leader.election.enable
- true : ISR 에서 추방되었지만, 먼저 살아나면 자동으로 리더가 된다.
- false : 마지막 리더가 살아나기를 기다린다.
- 내부 클라이언트에서만 접속 가능하게 설정
- listeners=PLAINTEXT://{사설 IP}:9092
- advertised.listeners=PLAINTEXT://{사설 IP}:9092
- 외부 클라이언트에서만 접속 가능하게 설정
- listeners=PLAINTEXT://0.0.0.0:9092
- advertised.listeners=PLAINTEXT://{공인 IP}:9092
- (네트워크 설정 이슈로) 내/외부 클라이언트 모두 접속 가능하게 설정 1
- listeners=PLAINTEXT://0.0.0.0:9092
- advertised.listeners=PLAINTEXT://{도메인}:9092
- (네트워크 설정 이슈로) 내/외부 클라이언트 모두 접속 가능하게 설정 2 (프로토콜 설정 & 포트 분리)
- listener.security.protocol.map=EXTERNAL:PLAINTEXT,INTERNAL:PLAINTEXT
- listeners= INTERNAL://{사설 IP}:9092, EXTERNAL://0.0.0.0:9093
- advertised.listeners= INTERNAL://{사설 IP or 도메인}::9092, EXTERNAL://{공인 IP or 도메인}:9093
- unclean.leader.election.enable
참고
- cloud.google.com/solutions/processing-messages-from-kafka-hosted-outside-gcp?hl=ko
- jays1204.github.io/kafka/2017/07/12/kafka-caution.html
- kafka.apache.org/
- blog.voidmainvoid.net/331?category=698302
- medium.com/@eun9882/kafka-trouble-shooting-remote-connect-error-a7970b00ffca
- blog.voidmainvoid.net/331?category=698302
- kafka.apache.org/documentation/#brokerconfigs
'BigData' 카테고리의 다른 글
하둡 Cloudera Manager 설치 (0) | 2020.10.05 |
---|---|
8 Best Big Data Tools in 2020 (0) | 2020.09.19 |
엔터프라이즈 데이터 플랫폼 구축하기 1탄 (0) | 2020.09.19 |
IoT 에서의 네트워크 엔진 (0) | 2019.10.12 |
JMeter 사용법 (0) | 2019.05.05 |
Apache Flume 맛보기 (0) | 2019.03.12 |
MQTT (0) | 2015.06.17 |
참고서적 (1) | 2013.01.14 |
댓글