소형 아티팩트 폭주는 SeaweedFS volume·filer 메타가 먼저 병목이고 WAN rsync가 둘째 파도입니다. 토폴로지·동기화·확장·DR 매트릭스와 1TB/2TB 수위 검수를 한 번에 정리합니다.
- 1. filer IOPS 한계로 소파일 업로드가 밀리면 CI 큐 전체가 정체합니다.
- 2. rsync 동시성 과다는 빌드 락과 충돌해 중복 전송을 만듭니다.
- 3. 1TB와 2TB는 inode·Compaction 여유 패턴이 달라 동일 임계값이 위험합니다.
크로스리전 토폴로지와 Volume·Filer 배치
리전마다 volume 마스터를 두고 filer는 읽기 집약측에 붙이세요. S3 게이트웨이는 빌드 AZ에 두고 gRPC 타임아웃은 짧은 재시도로 고정합니다.
| 축 | Volume | Filer |
|---|---|---|
| 지연 | 000 볼륨+리전 샤드 | 메타 TTL 단축 |
| 소파일 | 30MB 청크·압축 | 단일 filer 회피 |
| 메타 | RocksDB 분리 | MySQL 샤드·SQLite 전용 디스크 |
아티팩트 rsync 제한속도·동시성·빌드 락
--bwlimit 계단과 --partial로 재개 비용을 줄이고 동시성은 4부터 filer CPU 70퍼센트 캡으로 올립니다.
rsync
rsync -aH --delete --bwlimit=60000 --partial --inplace src/ dst/flock -n /var/lock/ci-sync.lock -c 'rsync ...'- 1단계: 동기화 잡에 전용 태그로 빌드 슬롯과 분리합니다.
- 2단계: 스테이징에서 해시 검증 후 filer에 씁니다.
- 3단계: RTT 180ms 초과 시 단일 스트림·zstd3 고정입니다.
- 4단계: 실패 백오프 알람을 OpenClaw 로그 파이프에 연결합니다.
- 5단계: 주간 리포트에 바이트·재시도·락 대기를 적습니다.
| 모드 | 장점 | 주의 |
|---|---|---|
| 직접 PUT | 메타 일원화 | needle 폭주 |
| rsync | CI 호환 | 락·대역폭 필수 |
| 하이브리드 | 대용량 S3·소형 rsync | 정책 문서화 |
확장 시 Volume·Filer 파라미터와 디스크 티어
volume은 파일 수 알람을 최우선으로 두고 filer는 커넥션 풀·쿼리 타임아웃을 노드 수에 맞춰 늘리세요. 샤드 추가 땐 캐시 워밍업이 needle 이동보다 먼저입니다.
2TB는 vacuum 주기를 길게 잡아 IO 스파이크를 줄이고 APFS 스냅샷 일수는 별도 표로 관리합니다.
4
rsync 동시 상한 시작
70%
filer CPU 경보
180ms
단일 스트림 전환 RTT
장애·DR FAQ와 1TB/2TB 디스크 수위 검수
Q. filer 무응답 시 바로 보조 filer로 넘길까요?
A. 게이트웨이 읽기 전용 잠금 후 보조로 메타 복제 다음 쓰기 개방이 안전합니다.
Q. 1TB와 2TB에 동일 df 임계를 써도 되나요?
A. 1TB 65퍼센트 알림 2TB 72퍼센트 증설 검토 85퍼센트 공통 차단을 권장합니다.
- 검수 1:
df -h·df -i동시각 CSV 기록 - 검수 2: volume 가용률과 filer 디스크 분리 대시보드
- 검수 3: rsync 평균 속도가 기준 40퍼센트 미만 3회면 메타 병목으로 분류
시리즈: 병렬 rsync·락 · OpenClaw 로그 · 다중 노드 구매
Multi-Region Seaweed + CI
다중 노드 Mac Mini M4로 스토리지·동기화를 동시에 확장하세요
리전별 노드를 추가해 volume 샤드와 rsync 창을 나누고 filer 메타 IOPS를 여유 있게 설계하세요.