← 프로젝트 목록
Side Project

Dev-Pick

2025.11 - 현재·FE 1 · BE 1 · Design 1

테크 블로그 큐레이션 서비스. 수집과 적재의 복구 경로를 구성하고, 태그 저장 재시도와 커서 기반 조회를 설계했습니다.

주요 구현 기능

  • api / authentication / collector / batch / domain / application 6개 모듈로 분리된 멀티모듈 백엔드 아키텍처 구성
  • Collector 파이프라인을 크롤링 → 추출 → 중복제거 → Kafka 발행 단계로 설계하고 타깃 사이트를 코루틴 기반으로 병렬 수집
  • RSS/Atom 혼합 포맷 대응을 위해 Extractor를 어댑터 구조로 분리, 실패 시 최대 3회 재시도(1s→2s→4s 백오프)
  • Batch에서 Kafka 메시지를 읽어 Post/Tag/PostTag를 배치 저장하고, upsert/insert-ignore로 중복 유입 제어
  • 키워드·카테고리 slug·소스 사이트·언어 필터 + lastPostId + pubDate 기반 커서 페이지네이션 적용 24개 엔드포인트 구성

성과

  • 수집 스케줄과 적재 스케줄을 분리해 파이프라인 장애가 전체 서비스로 전파되지 않는 구조 설계
  • Kafka Reader 커밋 오프셋 조회 실패 시 0 오프셋 fallback으로 컨슈머 상태 이상에도 배치 잡 중단 방지
  • 태그 배치 저장 중 PessimisticLockingFailureException에 최대 3회 재시도 + 선형 백오프(30ms × 시도횟수) 적용
  • Snowflake 기반 ID 생성기(41bit epoch, 10bit node, 12bit sequence)로 분산 환경 충돌 방지 및 식별자 정책 일관화

트러블슈팅

CASE 01

Kafka 오프셋 조회 실패에 배치 복구 경로 추가

수집과 적재를 분리하고, 재수집 데이터의 중복 유입을 제어

문제 상황

Kafka Reader에서 커밋 오프셋을 조회하지 못하면 배치의 시작 위치 결정 단계에서 적재 작업이 중단됐습니다. 컨슈머 상태 이상이 수집·적재 파이프라인 전체로 전파되지 않도록 복구 경로가 필요했습니다.

원인 분석

정상적인 커밋 오프셋 조회를 전제로 Reader를 초기화했습니다. 조회 실패 시 대체 위치가 없었고, 이전 메시지를 다시 읽는 경우의 중복 적재도 함께 고려해야 했습니다.

해결 설계

  1. 01 시작 위치 fallback커밋 오프셋 조회 실패 시 0 오프셋 fallback을 적용해 Reader 초기화의 복구 경로를 추가했습니다.
  2. 02 파이프라인 분리수집 스케줄과 적재 스케줄을 나눠 단계별 장애가 전체 흐름으로 번지는 범위를 줄였습니다.
  3. 03 재적재 중복 제어Post·Tag 저장에 upsert·insert-ignore를 적용해 재유입 데이터의 중복 적재를 제어했습니다.
Kafka 오프셋 조회 실패에 배치 복구 경로 추가 해결 설계 다이어그램

결과와 검증

중단 대신 복구 경로

컨슈머 상태 이상에 대응하는 Reader

  • 오프셋 조회 실패 시 대체 시작 위치 확보
  • 재읽기 데이터는 중복 방지 저장 전략으로 처리
  • 수집·적재를 독립적으로 운영할 수 있는 구조
Kafka 오프셋 조회 실패에 배치 복구 경로 추가 결과 다이어그램

0 fallback은 저장된 메시지 범위 안에서 재읽기를 시도하는 경로입니다. 보존 만료 데이터의 복원이나 무손실을 보장하지 않습니다.

CASE 02

태그 저장 락 경합에 제한된 재시도 적용

PessimisticLockingFailureException을 복구 가능한 실패로 처리

문제 상황

여러 배치 작업이 같은 태그를 저장할 때 락 경합으로 PessimisticLockingFailureException이 발생했습니다. 일시적인 경쟁 상태로 인해 태그 적재가 실패하는 흐름을 개선했습니다.

원인 분석

동일한 태그 데이터에 대한 동시 저장이 겹치면서 데이터베이스 잠금 경쟁이 발생했습니다. 즉시 재시도만 반복하면 같은 시점에 다시 충돌할 수 있어, 횟수와 대기 시간을 제한해야 했습니다.

해결 설계

  1. 01 대상 예외에 재시도PessimisticLockingFailureException 발생 시 최대 3회 재시도하도록 제한했습니다.
  2. 02 선형 백오프30ms × 시도 횟수의 대기 시간을 적용해 재시도 요청이 같은 시점에 집중되는 현상을 완화했습니다.
  3. 03 중복 유입 제어upsert·insert-ignore와 함께 적용해 재시도로 들어온 태그의 중복 저장을 제어했습니다.
태그 저장 락 경합에 제한된 재시도 적용 해결 설계 다이어그램

결과와 검증

최대 3회 재시도

30ms × n 선형 백오프

  • 일시적인 락 경합에 대한 복구 기회 확보
  • 재시도 횟수 제한으로 무한 반복 방지
  • 재시도와 중복 방지 저장을 함께 고려한 배치
태그 저장 락 경합에 제한된 재시도 적용 결과 다이어그램

설계 고려사항: 재시도 소진 시 실패를 식별할 수 있어야 하며, 재시도는 중복 저장 제어와 함께 설계합니다.

CASE 03

커서 페이지네이션과 분산 식별자 정책

조회 경계와 정렬 기준을 명시해 목록 API 구성

문제 상황

수집된 글을 키워드·카테고리·소스·언어로 탐색할 수 있도록 목록 조회 API를 구성했습니다. 페이지 이동 기준과 분산 환경의 글 식별자 정책을 일관되게 정의해야 했습니다.

원인 분석

오프셋 방식은 뒤쪽 페이지에서 건너뛰는 데이터가 많아질 수 있습니다. 발행 시간이 같은 글도 구분할 수 있도록 마지막 글의 ID와 발행 시각을 함께 조회 경계로 사용했습니다.

해결 설계

  1. 01 복합 커서 사용lastPostId + pubDate를 기준으로 다음 페이지를 조회하도록 커서 페이지네이션을 적용했습니다.
  2. 02 탐색 조건 제공키워드 · 카테고리 slug · 소스 사이트 · 언어 필터를 목록 조회와 함께 구성했습니다.
  3. 03 Snowflake ID41bit epoch · 10bit node · 12bit sequence 구조로 분산 환경의 식별자 정책을 통일했습니다.
커서 페이지네이션과 분산 식별자 정책 해결 설계 다이어그램

결과와 검증

lastPostId + pubDate

명확한 다음 페이지 경계

  • 커서 기반 목록 조회와 여러 탐색 필터 제공
  • 같은 발행 시각의 글도 ID로 구분할 수 있는 기준
  • 분산 노드의 고유 ID 생성을 위한 공통 정책
커서 페이지네이션과 분산 식별자 정책 결과 다이어그램

설계 고려사항: 정렬 기준·커서 조건·인덱스의 일치와 노드 ID 중복, 시계 역행에 대한 운영 정책이 필요합니다.

Spring BootSpring BatchKafkaMySQLRedisAWS↗ 서비스 보기