Kubernetes 배치의 성공과 실패를 판정하기
HTTP 요청을 보내는 배치에서 프로세스가 정상 종료했다고 업무가 완료된 것은 아니다. 서버가 200을 반환하면서 본문에 실패를 담을 수도 있고, 응답을 받기 전에 연결이 끊어져 실행 결과를 알 수 없을 수도 있다.
구현한 범위
운영 CronJob의 중복 실행 제한, 시작 기한, 실행 제한 시간과 자동 재시도 정책을 조정했다. HTTP 상태, 응답 본문, 통신 오류를 구분해 실패를 판정하고 Slack 알림을 추가했다. 이 글의 응답 형식과 검증 입력은 합성 예제다.
업무 결과를 프로세스 종료 상태에 연결한다
가상 API는 동기 작업 완료 시 HTTP 200과 {"success": true}를 반환한다고 가정한다. 이 계약에 대한 판정은 다음과 같다.
| 응답 | 판정 |
|---|---|
| 200, 유효한 JSON, success가 true | 계약상 업무 성공 |
| 200, success가 false | 업무 실패 |
| 200, 파싱 실패 또는 필수 필드 누락 | 응답 계약 위반 |
| 비정상 HTTP 상태 | 상태·본문에 따라 원인 분류 |
| timeout·연결 끊김 | 호출 실패이며 업무 결과는 불명확할 수 있음 |
202로 작업 접수만 반환하는 API라면 후속 상태 조회가 필요하다. HTTP 성공 범위만으로 완료를 판단하지 않는다. 실패를 출력만 하고 종료 코드 0을 반환하면 Kubernetes는 업무 실패를 알 수 없으므로, 판정 결과가 프로세스 종료 상태에 반영돼야 한다.
시작 기한과 실행 제한 시간을 구분한다
startingDeadlineSeconds는 예정 시각을 놓친 실행을 언제까지 시작할지 정한다. concurrencyPolicy: Forbid는 같은 CronJob이 만든 Job 사이의 중복 실행을 제한하며, 다른 CronJob이나 수동 실행까지 막지 않는다. 스케줄 실행은 중복·누락 가능성을 고려해야 한다. 기준은 CronJob 문서다.
Job의 activeDeadlineSeconds는 실행 전체의 제한 시간이고 backoffLimit은 실패 재시도를 제한한다. 둘은 같은 설정이 아니다. 동작은 Job 제한 시간과 재시도 정책을 기준으로 확인한다.
API 클라이언트와 Job이 각각 재시도하면 호출 횟수가 늘어날 수 있다. timeout 직전 서버가 작업을 완료했을 수도 있으므로, 재시도에는 같은 업무를 식별하는 키나 결과 조회가 필요하다. CronJob의 동시 실행 제한만으로 외부 부작용의 중복을 막을 수는 없다.
알림 실패와 업무 실패를 분리한다
업무 실패 후 Slack 전송까지 실패하더라도 원래 실패 원인을 보존한다. 반대로 업무는 성공했는데 알림 전송만 실패했다면, 알림 때문에 전체 업무를 다시 실행하지 않도록 경로를 구분한다. 재시도마다 같은 알림이 반복되는 경우도 고려한다.
별도 변경으로 Nginx 상태 확인 경로를 PHP 실행 경로에서 분리했다. 해당 경로의 성공은 Nginx 응답 가능 여부를 나타낸다. 애플리케이션이나 DB 상태, 배치 성공을 대신 확인하는 지표는 아니다.
합성 입력으로 확인할 조건
위 가상 API와 Kubernetes Job을 연결한 재현은 실행하지 않았다. 다음 조건을 나눠 확인할 계획이다.
- HTTP 200의 성공·업무 실패·잘못된 JSON에 대한 종료 코드
- 서버 처리 완료 후 응답 연결이 끊긴 경우의 재시도와 중복 처리
- 시작 기한 초과와 실행 제한 시간 초과의 상태 차이
- 이전 Job 실행 중 다음 스케줄이 도래한 경우
- 수동 Job과 정기 Job이 동시에 같은 업무를 실행한 경우
- 업무 실패와 Slack 전송 실패가 동시에 발생한 경우의 원인 보존
코드·매니페스트 변경 범위는 설명할 수 있지만 장애 감소율이나 운영 배치 성공률은 측정 근거가 없어 포함하지 않는다.