실시간빅데이터처리1 Kafka 핵심 포인트 Kafka 핵심 포인트 Partition의 개수 >= Consumer 인스턴스의 갯수 전달 보증 - 요구사항에 따라 적절하게 조절 At Most Once : 재전송 유무 X, 중복 삭제 유무 X At Least Once : 재전송 유무 O, 중복 삭제 유무 X Eactly Once : 재전송 유무 O, 중복 삭제 유무 O Offset Commit - 요구사항에 따라 적절하게 조절 Auto Offset Commit Manual Offset Commit commitSync commitAsync Offset 은 Constumer Group 별로 관리된다. 하나의 메시지를 다른 Constumer Group 에서 똑같은 값을 consume 가능, 하지만, 같은 Constumer Group 내에서는 오직 한번만 가.. 2020. 9. 19. 이전 1 다음 728x90
