SQS와 Lambda에서 실패한 메시지만 다시 처리하기
SQS 메시지 열 개를 한 번에 받아 아홉 개를 처리한 뒤 마지막에서 예외를 던지면, 성공했던 메시지도 다시 처리될 수 있다. 알림 발송처럼 외부 부작용이 있는 작업에서는 이 재시도가 중복 발송으로 이어진다.
부분 실패 응답으로 재시도할 항목을 지정할 수 있다. 중복 수신과 외부 발송의 멱등 처리는 별도로 다룬다.
이벤트 소스 매핑부터 설정한다
Lambda가 부분 실패 응답을 사용하려면 SQS 이벤트 소스 매핑에 ReportBatchItemFailures를 활성화해야 한다. 코드에서 실패 목록을 반환하는 것만으로 설정을 대신할 수는 없다. AWS 부분 배치 응답 문서
표준 큐의 처리 예제는 다음과 같다. 타입과 processMessage 구현은 애플리케이션에서 제공한다.
type QueueRecord = { messageId: string; body: string };
async function handleBatch(
records: QueueRecord[],
processMessage: (record: QueueRecord) => Promise<void>
) {
const batchItemFailures: { itemIdentifier: string }[] = [];
for (const record of records) {
try {
await processMessage(record);
} catch {
batchItemFailures.push({ itemIdentifier: record.messageId });
}
}
return { batchItemFailures };
}반환하는 식별자는 업무 주문 ID가 아니라 SQS messageId다. 잡지 못한 예외로 핸들러 전체가 실패하면 부분 실패 목록을 정상 응답한 것과 다르게 처리된다.
FIFO에서는 뒤 메시지도 고려한다
FIFO 큐에서는 순서를 보존해야 한다. 보수적인 구현은 첫 실패 후 처리를 멈추고 실패한 메시지와 아직 처리하지 않은 메시지를 모두 실패 목록에 넣는다. 앞의 표준 큐용 루프를 그대로 가져오면 실패한 작업 뒤의 작업을 먼저 실행할 수 있다.
서로 다른 message group의 병렬 처리는 별도 설계할 수 있지만, 같은 group 안의 순서와 미처리 항목 반환을 유지해야 한다. AWS 문서도 FIFO에서 첫 실패 후 남은 항목을 반환하는 방식을 설명한다.
제공자 어댑터에서 오류 의미를 맞춘다
알림 제공자가 여러 개라면 HTTP 상태만 공통으로 변환하지 않는다. 잘못된 수신자, 일시적인 제한, 인증 실패, 응답 유실의 의미가 다르다.
InvalidInput → 수정 없이는 재시도해도 실패
TemporarilyLimited → 지연 후 재시도
Unauthorized → 설정 수정 필요
OutcomeUnknown → 발송 여부 조회 또는 멱등 재시도 필요영구 실패를 정상 처리로 끝낼 수는 있지만 실패 사실을 내구성 있게 보관한 뒤 ACK해야 한다. 기록 저장도 실패했다면 그대로 성공 처리하지 않는다. DLQ의 redrive 정책과 수동 재처리 경로도 이 분류에 맞춰 둔다.
중복 발송은 여전히 가능하다
외부 발송이 성공한 직후 Lambda가 종료되면 메시지는 다시 올 수 있다. 처리 완료 기록을 발송 전에 쓰면 미발송을 성공으로 기록할 수 있고, 발송 뒤에 쓰면 그 사이의 중복 가능성이 남는다.
제공자가 멱등키를 지원하면 동일 업무 작업의 키를 고정한다. 그렇지 않다면 결과 조회나 중복 허용 정책이 필요하다. 로컬 DB의 processed=true만으로 외부 발송까지 원자적으로 만들 수는 없다.
visibility timeout도 배치 전체 처리 시간과 재시도 여유를 고려한다. 만료되면 기존 실행이 살아 있어도 다른 소비자가 같은 메시지를 받을 수 있다. 과도한 병렬 발송은 제공자의 제한을 더 자주 만나게 만들 수 있다.
합성 배치로 검증할 결과
다음 테스트는 실행하지 않았다. 입력별 기대 결과를 정리했다.
| 입력 | 기대 결과 |
|---|---|
| 표준 큐 세 건 중 두 번째만 실패 | 두 번째 messageId만 반환 |
| FIFO 세 건 중 두 번째 실패 | 두 번째와 미처리 세 번째 반환 |
| JSON 파싱 실패 | 해당 메시지를 실패 또는 영구 실패 기록 정책으로 처리 |
| 발송 성공 후 완료 저장 실패 | 재시도 때 동일한 업무 멱등키 사용 |
| 영구 실패 기록 저장 실패 | 성공 ACK하지 않음 |
단위 테스트에서는 반환 목록과 제공자 호출 횟수를 확인한다. 실제 큐에서는 이벤트 소스 매핑, visibility timeout, DLQ 이동과 재수신까지 확인해야 한다.