본문 바로가기
BigData

Kafka 핵심 포인트

by david100gom 2020. 9. 19.

Kafka 핵심 포인트

  • Partition의 개수 >= Consumer 인스턴스의 갯수 
  • 전달 보증 - 요구사항에 따라 적절하게 조절
    • At Most Once : 재전송 유무 X, 중복 삭제 유무 X 
    • At Least Once : 재전송 유무 O, 중복 삭제 유무 X 
    • Eactly Once  : 재전송 유무 O, 중복 삭제 유무 O 
    • Offset Commit - 요구사항에 따라 적절하게 조절 
      • Auto Offset Commit
      • Manual Offset Commit
      • commitSync 
      • commitAsync
  • Offset 은 Constumer Group 별로 관리된다.
    • 하나의 메시지를 다른 Constumer Group 에서 똑같은 값을 consume 가능, 하지만, 같은 Constumer Group 내에서는 오직 한번만 가능
  • Producer 처리방식
    • 동기 
    • 비동기
  •  server.properties
    •  unclean.leader.election.enable
      • true : ISR 에서 추방되었지만, 먼저 살아나면 자동으로 리더가 된다.
      • false : 마지막 리더가 살아나기를 기다린다.
    • 내부 클라이언트에서만 접속 가능하게 설정
      • listeners=PLAINTEXT://{사설 IP}:9092
      • advertised.listeners=PLAINTEXT://{사설 IP}:9092
    • 외부 클라이언트에서만 접속 가능하게 설정
      • listeners=PLAINTEXT://0.0.0.0:9092
      • advertised.listeners=PLAINTEXT://{공인 IP}:9092
    • (네트워크 설정 이슈로) 내/외부 클라이언트 모두 접속 가능하게 설정 1
      • listeners=PLAINTEXT://0.0.0.0:9092
      • advertised.listeners=PLAINTEXT://{도메인}:9092
    • (네트워크 설정 이슈로) 내/외부 클라이언트 모두 접속 가능하게 설정 2 (프로토콜 설정 & 포트 분리)
      • listener.security.protocol.map=EXTERNAL:PLAINTEXT,INTERNAL:PLAINTEXT
      • listeners= INTERNAL://{사설 IP}:9092, EXTERNAL://0.0.0.0:9093
      • advertised.listeners= INTERNAL://{사설 IP or 도메인}::9092, EXTERNAL://{공인 IP or 도메인}:9093

참고

'BigData' 카테고리의 다른 글

하둡 Cloudera Manager 설치  (0) 2020.10.05
8 Best Big Data Tools in 2020  (0) 2020.09.19
엔터프라이즈 데이터 플랫폼 구축하기 1탄  (0) 2020.09.19
IoT 에서의 네트워크 엔진  (0) 2019.10.12
JMeter 사용법  (0) 2019.05.05
Apache Flume 맛보기  (0) 2019.03.12
MQTT  (0) 2015.06.17
참고서적  (1) 2013.01.14

댓글