라이언(Ryan)의 블로그

출처
​ https://stackoverflow.com/questions/48320672/what-is-difference-between-kafka-earliest-and-latest-offset-values

Kafka earliest와 latest offset 값의 차이점이 무엇입니까?

producer는 1, 2, 3, 4 메세지를 보냅니다.
consumer는 1, 2, 3, 4 메세지를 받습니다.
consumer는 충돌/접속을 끊었습니다.
producer는 5, 6, 7 메세지를 보냅니다.
consumer는 돌아와서 7 대신에 5부터 메세지를 받아야 합니다.
결과에 이러한 종류의 문제에 대해 어떤 제가 사용해야 할 offset값이 무엇이고 다른 변경사항/설정이 필요한 게 무엇이 있을까요?

1개의 답변 중 1개의 답변만 추려냄

consumer가 consumer group에 join(가입)할 때 그것은 마지막에 commit된 offset을 가져오므로 그 consumer는 충돌하기 전에 commit된 최근 offset(4 이므로) 5,6,7부터 읽을 것입니다. auto.offset.reset property의 earliest와 latest값은 지정한 partition에 commit된 offset이 없을 때 consumer가 시작할 때 사용됩니다. 이 경우에는 시작(earliest)부터 모든 메시지를 다시 읽거나 최근 것(latest) 이후에 모든 메시지를 읽을 것인지를 선택할 수 있습니다.