주문 동기화 워커의 재시도와 누락 대사 분리하기
주문 저장 후 동기화 큐 등록이 실패할 수 있다. 큐 오류에도 주문 API가 성공을 반환하도록 설계했다면, 누락된 동기화 작업을 다시 등록할 경로가 필요하다.
enqueue 오류를 로그만 남기고 무시하는 것과 Outbox에 발행 의도를 남기는 것은 다른 설계다. 전자는 누락 가능성을 받아들이므로 대사 경로가 필요하다.
구현한 범위
주문 동기화의 재시도·대사 작업과 실행용 Kubernetes 리소스를 구현했다. 개발 환경에서는 CronJob을 상시 실행 Deployment로 바꾸고 polling·대사 주기, 종료 유예 시간과 교체 전략을 설정했다. 이 전환을 운영 환경에 적용했다거나 처리량이 개선됐다는 의미는 아니다.
상태의 원본 정하기
예제에서는 주문의 version과 마지막으로 동기화된 synced_version을 DB에 둔다. 큐 메시지는 처리할 주문 ID와 version을 알려 주는 신호다.
order.version = 8
sync_state.synced_version = 6
→ version 8까지 반영해야 할 작업이 남아 있음최신 상태만 전송해도 되는 연동이면 중간 version을 합칠 수 있다. 모든 변경 이벤트가 필요한 연동이면 version 차이만으로 복원할 수 없으므로 변경 이력이나 Outbox를 보관해야 한다.
작업 선점과 실행 권한
여러 워커가 같은 작업을 집지 않도록 짧은 트랜잭션에서 선점한다. PostgreSQL에서는 FOR UPDATE SKIP LOCKED로 이미 잠긴 작업을 건너뛰는 큐 형태를 만들 수 있다. 이 기능은 일반 조회의 일관된 결과를 위한 것이 아니라 경쟁 소비자가 있는 큐에 적합하다. SELECT 문서
BEGIN
실행 시각이 된 작업 선택 및 잠금
lease_token과 lease_until 저장
COMMIT
외부 API 호출
lease_token이 여전히 같을 때만 완료 반영lease가 만료됐다고 이전 워커가 멈춘 것은 아니다. 새 워커가 선점한 후 이전 호출이 늦게 끝날 수 있다. 완료 갱신에 token 조건을 넣고, 외부 제공자에는 안정적인 멱등키를 전달한다. token은 로컬 완료 경합을 막고, 외부 중복 실행은 제공자의 멱등 처리나 별도 조회로 다룬다.
작업 완료가 최신 상태를 뜻하지 않을 수 있다
워커가 version 7을 전송하는 동안 주문이 version 8로 바뀔 수 있다. 완료 시 현재 version을 무조건 synced_version에 복사하면 version 8도 전송된 것처럼 보인다.
실제로 보낸 payload의 version만 완료 처리한다. 이후에도 version > synced_version이면 다시 작업이 필요하다. 이전 payload가 나중에 도착해 최신 상태를 덮어쓰는 문제는 제공자의 version 조건이나 주문 단위 순서 보장으로 막는다.
오류 격리와 재시도
오류는 대략 입력 오류, 일시 장애, 결과 불명확으로 나눈다. 잘못된 외부 식별자는 같은 입력을 반복해도 해결되지 않는다. 일시적인 통신 장애에는 제한된 지수 backoff와 jitter를 적용한다.
결과 불명확은 별도다. 외부 서비스가 저장했지만 응답만 유실됐다면 재전송이 중복을 만들 수 있다. 멱등키 또는 결과 조회를 이용하고, 지원하지 않으면 자동 복구 범위를 제한한다.
최대 시도 횟수를 넘긴 작업은 이유와 입력 version을 보존한 채 격리한다. 무한 재시도 큐에 남겨 정상 작업을 막게 두지 않는다.
누락을 다시 등록하는 대사
대사 작업은 version > synced_version인 주문을 훑되, 유효한 실행 lease나 예정 작업이 있는지 함께 확인한다. 중복 등록은 (order_id, target_version) 등의 unique 규칙으로 막는다.
수정 시각만 커서로 삼으면 늦게 커밋된 행이나 경계의 동률을 놓칠 수 있다. 겹치는 시간 구간과 ID 보조 키를 사용하고, 주기적으로 전체 미동기화 상태를 확인하는 경로도 둔다. 삭제된 주문을 외부에서도 지워야 한다면 삭제 tombstone을 보관해야 한다.
Outbox를 사용하더라도 처리 실패·소비자 장애·외부 불일치는 남으므로 업무 상태 대사는 유용하다. 다만 Outbox가 없는 enqueue 오류 격리에서는 이 대사가 큐에 한 번도 들어가지 않은 작업까지 찾아야 한다.
개발 환경의 CronJob을 상시 워커로 변경하기
CronJob은 정해진 시각에 작업을 시작하고 종료하는 모델이다. 상시 워커는 실행 중에 polling 간격을 관리한다. 개발 환경의 전환에서는 재시도와 대사의 실행 주기, 종료 유예 시간, Deployment 교체 전략을 함께 설정했다.
상시 실행으로 바꾸면 유휴 자원을 계속 사용하고 프로세스 내부의 오류 복구도 필요해진다. 대신 매번 프로세스를 시작하지 않고 작업을 가져올 수 있다. 이 선택만으로 지연이나 처리량이 개선됐다고 판단할 수는 없다.
종료 시에는 신규 선점을 중단하고 진행 중인 작업을 제한 시간 안에 마친다. 제한 시간을 넘긴 작업은 lease 만료 후 다시 실행될 수 있으므로 외부 전송의 멱등성이 필요하다. 교체 전략이나 replica 수만으로 단일 실행을 보장하지 않고, 앞에서 설명한 DB 선점과 결과 반영 조건을 유지한다.
기존 CronJob을 중지해도 이미 실행 중인 Job이 종료되는 것은 아니다. 전환을 검증할 때는 기존 Job과 새 워커가 겹치는 조건도 포함한다.
장애 주입으로 확인할 것
다음은 미실행 장애 주입 테스트의 조건과 기대 결과다.
| 중단 지점 | 기대 결과 |
|---|---|
| 주문 커밋 후 enqueue 실패 | 대사가 누락 주문을 재등록 |
| 외부 저장 후 응답 유실 | 같은 멱등키 또는 조회로 확인 |
| lease 만료 후 이전 워커 복귀 | 새 소유자의 완료 상태를 덮어쓰지 않음 |
| version 7 전송 중 version 8 생성 | 7 완료 뒤 8 작업이 남음 |
| 잘못된 입력 한 건 반복 실패 | 다른 주문의 처리가 진행됨 |
미동기화 건수뿐 아니라 가장 오래된 미동기화 주문의 나이도 본다. 처리량이 높아도 특정 주문 하나가 계속 빠져 있으면 평균 지표에서는 잘 드러나지 않는다.