반응형
Kafka earliest와 latest offset 값의 차이점이 무엇입니까?
producer
는 1, 2, 3, 4 메세지를 보냅니다.consumer
는 1, 2, 3, 4 메세지를 받습니다.consumer
는 충돌/접속을 끊었습니다.producer
는 5, 6, 7 메세지를 보냅니다.consumer
는 돌아와서 7 대신에 5부터 메세지를 받아야 합니다.
결과에 이러한 종류의 문제에 대해 어떤 제가 사용해야 할 offset
값이 무엇이고 다른 변경사항/설정이 필요한 게 무엇이 있을까요?
1개의 답변 중 1개의 답변만 추려냄
consumer가 consumer group에 join(가입)할 때 그것은 마지막에 commit된 offset을 가져오므로 그 consumer는 충돌하기 전에 commit된 최근 offset(4 이므로) 5,6,7부터 읽을 것입니다. auto.offset.reset
property의 earliest
와 latest
값은 지정한 partition에 commit된 offset이 없을 때 consumer가 시작할 때 사용됩니다. 이 경우에는 시작(earliest)부터 모든 메시지를 다시 읽거나 최근 것(latest) 이후에 모든 메시지를 읽을 것인지를 선택할 수 있습니다.
반응형
'Kafka' 카테고리의 다른 글
Kafka 디스크 저장공간의 부족을 피하는 방법 (0) | 2019.10.10 |
---|