플랫폼 팀이 자주 막히는 세 가지
- 슬라이스 불일치: 리전별 게이트웨이 이미지·스킬 번들이 카나리 창마다 달라지면 Webhook JSON이 의미를 잃습니다.
- 프로브 분열: 헬스·5xx·p99를 엔드포인트마다 나누면 Flagger는 녹색, 운영자는 빨강을 봅니다.
- 측정 중 아티팩트 변동: rsync·빌드 락 없이 승격하면 AnalysisRun이 잘못된 바이너리를 채점합니다.
Flagger · Rollouts · Flux 역할 분리
| 엔진 | 카나리 소유 | 게이트웨이 Webhook |
|---|---|---|
| Flagger | Canary CR + MetricTemplate | AnalysisRun → /health/flagger |
| Argo Rollouts | Rollout 단계·가중 | AnalysisRun 분석 루프 |
| Flux | GitOps 동기·이미지 | 수신 Webhook·카나리 |
다중 노드 게이트웨이 버전 슬라이스와 스킬 패키지 락
리전별 Kustomize 슬라이스로 gateway 이미지 digest와 skills tarball 해시를 고정하세요. 카나리 대상만 표에 남기고 stable 풀은 건드리지 않습니다. 멀티 AZ 게이트웨이·카나리 스킬 글과 필드명을 통일합니다.
Flagger targetRef는 카나리 VIP만 가리키게 하고, DNS는 스플릿 DNS 매트릭스에 기록합니다.
AnalysisRun 지표 임계값과 프로브 병합
MetricTemplate에 5xx·p99·request-success-rate 임계를 두고, 게이트웨이 /health/flagger는 한 JSON으로 응답합니다.
{
"status": "healthy",
"canary": { "5xx_rate": 0.003, "p99_ms": 210 },
"gateway": { "disk_ok": true, "queue_depth": 2 },
"degraded": false
}
AnalysisRun마다 동일 스키마를 유지하고, Doctor 병합 선택 필드는 degraded로만 올리세요.
Webhook 실패 요약 방송과 토큰 순환
Flagger Webhook URL은 게이트웨이 HTTPS 전용. Bearer는 신·구 토큰 최소 한 창 병존 후 구 토큰 폐기. 실패 시 rollout명·지표 Δ·AZ를 200자 이내 digest로 로그·알리미 노드에 방송하고 상세는 JSONL로 분리합니다.
재시도는 지터·하드 캡(예: 총 5회·간격 상한 30s)으로 게이트웨이 폭주를 막습니다.
아티팩트 rsync / 빌드 락 파라미터
카나리 창에는 승격 경로만 flock하고, rsync는 --bwlimit=24576 --timeout=300 등 rsync 매트릭스 프로파일을 고정합니다. 측정 중 바이너리 교체는 금지—abort 후 교체.
- Flagger·MetricTemplate·Webhook Secret 적용
- 슬라이스·스킬 락 검증 후 카나리 10% 시작
- AnalysisRun 통과 시 가중 단계 상승
- 실패 digest·abort 동시 리허설
- 바스천 curl과 컨트롤러 로그로 패리티 확인
카나리 롤백 FAQ
Flagger abort 후 트래픽이 남나요? Canary 가중 0·primary 100을 runbook 한 페이지에 묶고 LB 스니펫을 같이 둡니다.
Rollouts와 Flagger를 동시에 쓰나요? 같은 서비스에 이중 카나리는 피하고, 표처럼 엔진별 Webhook 경로를 분리하세요.
Flux 이미지 자동 갱신과 충돌? ImageUpdateAutomation Secret과 Flagger Webhook Secret을 분리—Flux 카나리 글과 역할 표를 고정하세요.
Flagger 실전 후 clustervps 다중 노드로 확장
Argo Rollouts·Flux 카나리 글과 역할을 나눈 뒤, 홈에서 리전을 고르고 구매로 Mac Mini M4 클러스터 패키지를 맞추세요.