본문으로 건너뛰기
· infra · 1분 읽기

Kustomize base와 overlay에 어떤 설정을 둘 것인가

공통 base에 개발 전용 설정을 두면 운영 overlay가 값을 덮어쓰지 않았을 때 그대로 포함된다. 운영에서 override가 있는지만 확인하기보다, 공통 설정으로 둘 이유가 있는지를 먼저 확인해야 한다.

변경한 범위

개발 전용 DB SSL·Redis 설정을 공통 base에서 개발 overlay로 이동했다. ServiceAccount와 IAM 역할도 개발·운영 환경별로 분리했다. HPA와 충돌하는 Deployment의 고정 replicas 설정을 제거했다. 실제 설정값은 이 글에 포함하지 않는다.

공통 구조와 환경별 값을 구분한다

공개 예제에서는 다음 기준을 사용한다.

설정위치와 이유
컨테이너 이름, 포트 이름, 공통 라벨환경 간 계약이 같으면 base
DB·Redis 접속 대상과 TLS 정책환경별로 명시하는 overlay 또는 외부 설정
IAM 역할, Ingress 호스트환경마다 다른 overlay
HPA 사용 여부와 범위환경별 부하·운영 조건을 반영하는 overlay
비밀번호·토큰Git에 평문으로 두지 않고 별도 비밀정보 관리 경로 사용

파일 이름에 dev를 붙이는 것만으로는 분리되지 않는다. 운영 렌더링 결과에서 개발 리소스와 설정을 참조하지 않아야 한다. base의 필수 설정을 제거했다면 이를 사용하는 모든 overlay가 값을 제공하는지도 확인한다.

Kustomize는 base를 참조하는 overlay에서 patch 등을 적용해 최종 리소스를 만든다. 원본 파일별 diff와 최종 출력의 diff를 함께 보는 이유다. 구성 방식은 Kubernetes Kustomize 문서를 따른다.

선언을 관리하는 주체도 확인한다

HPA가 replica 수를 조절하는 Deployment에 고정 spec.replicas를 반복 적용하면 제어가 충돌할 수 있다. 이 경우 고정 값을 제거하는 방향을 검토한다. 기존 필드를 제거하는 첫 적용에서는 사용하는 apply 방식과 필드 소유권에 따라 영향이 달라질 수 있으므로 전환 과정도 확인한다. 관련 주의사항은 HPA와 Deployment의 replica 관리에 설명돼 있다.

환경별 값을 모두 base에서 제거하는 것도 목적은 아니다. 실제로 같은 계약까지 중복 선언하면 변경 누락이 생길 수 있다. 여러 환경에서 같아야 하는 구조와 환경마다 결정해야 하는 값을 구분한다.

렌더링으로 확인할 내용

가상 디렉터리 구조가 준비됐다면 다음처럼 결과를 만든다. 이 글에는 실행 결과를 첨부하지 않았으며, 명령은 검증 절차 예시다.

sh
kubectl kustomize overlays/dev > /tmp/sample-dev.yaml
kubectl kustomize overlays/prod > /tmp/sample-prod.yaml
diff -u /tmp/sample-dev.yaml /tmp/sample-prod.yaml

차이가 있다는 사실만으로 통과시키지 않는다. 운영 결과에 개발 DB 주소나 역할 참조가 없는지, 필수 환경변수가 누락되지 않았는지, Service selector와 Pod label이 연결되는지를 확인한다. 렌더링에 비밀정보가 포함될 수 있다면 출력 파일과 CI 로그의 보관 범위도 제한한다.

렌더링 성공은 DB 연결 성공이나 IAM 권한 부여의 증거가 아니다. 여기서 다룬 경험은 설정 분리와 매니페스트 변경이며, 런타임 연결 검증은 별도 단계다.

공유하기 X LinkedIn

관련 글