Kafka 오프셋 조회 실패에 배치 복구 경로 추가
수집과 적재를 분리하고, 재수집 데이터의 중복 유입을 제어
문제 상황
Kafka Reader에서 커밋 오프셋을 조회하지 못하면 배치의 시작 위치 결정 단계에서 적재 작업이 중단됐습니다. 컨슈머 상태 이상이 수집·적재 파이프라인 전체로 전파되지 않도록 복구 경로가 필요했습니다.
원인 분석
정상적인 커밋 오프셋 조회를 전제로 Reader를 초기화했습니다. 조회 실패 시 대체 위치가 없었고, 이전 메시지를 다시 읽는 경우의 중복 적재도 함께 고려해야 했습니다.
해결 설계
- 01 시작 위치 fallback커밋 오프셋 조회 실패 시 0 오프셋 fallback을 적용해 Reader 초기화의 복구 경로를 추가했습니다.
- 02 파이프라인 분리수집 스케줄과 적재 스케줄을 나눠 단계별 장애가 전체 흐름으로 번지는 범위를 줄였습니다.
- 03 재적재 중복 제어Post·Tag 저장에 upsert·insert-ignore를 적용해 재유입 데이터의 중복 적재를 제어했습니다.
결과와 검증
중단 대신 복구 경로
컨슈머 상태 이상에 대응하는 Reader
- 오프셋 조회 실패 시 대체 시작 위치 확보
- 재읽기 데이터는 중복 방지 저장 전략으로 처리
- 수집·적재를 독립적으로 운영할 수 있는 구조
0 fallback은 저장된 메시지 범위 안에서 재읽기를 시도하는 경로입니다. 보존 만료 데이터의 복원이나 무손실을 보장하지 않습니다.