Dieser Leitfaden fasst eine Entscheidungsmatrix (SeaweedFS vs. reines NFS vs. Objekt-Pfad), zwei Parametertabellen für Volume- und Filer-Hosts sowie rsync-Caps zusammen und verknüpft sie mit einer Abnahme-Checkliste für Speicher und Buildsperren.
Ergänzend zur Parallel-Cluster-rsync-Matrix und zum restic- und rclone-Backup-Leitfaden zeigen wir, wie OpenClaw-Mehrknoten-Logs (Cluster-Log-Webhooks) helfen, Replikations- und Sync-Fehler sichtbar zu machen, bevor Plattenwarnungen es tun.
- Metadaten-Hotspots: Zentraler Filer ohne Replikations-Policy und ohne Snapshot-Rhythmus kollabiert, sobald tausende Build-Artefakte gleichzeitig angelegt werden.
- Kleindatei-Stürme: Viele kleine Dateien über WAN ohne Volume-Sharding erzeugen hohe Seek-Last auf einzelnen Knoten, selbst wenn die Rohbandbreite noch frei wirkt.
- rsync ohne Cap: Unbegrenzte
--parallel- oder Multi-Job-Fans fressen CPU und APFS-Journal, parallel laufende Xcode-Lanes verlieren Latenz.
| Speicherpfad | Kleindateien | WAN-tauglich | Metadaten-Risiko | Ops-Aufwand | Stabilität |
|---|---|---|---|---|---|
| SeaweedFS + Filer | Sharding über Volumes | Replik je Region | Meta-Backend + Snapshots | Mittel | Produktionsnah |
| NFS über VPN | Lock-lastig | Latenz-sensibel | Single-Mount | Gering | Abhängig vom RTT |
| rsync Spiegel | Batch-tauglich | Mit bwlimit stabil | Ziel-APFS beobachten | Gering | Vorhersagbar |
Topologie: Master, Volume und Filer über Regionen
Pro Region mindestens zwei dedizierte Volume-Hosts auf clustervps-Mac mini M4 einplanen; Master und Filer logisch trennen, sodass Steuer- und Metadatenpfade nicht dieselbe IOPS-Schicht wie Bulk-Writes teilen. DataCenter-Labels im Volume-Start helfen, Replikationsziele deterministisch zu halten.
| Volume-Parameter | Zweck | Startwert | Sicherheit | Stabilitätsnote |
|---|---|---|---|---|
-max=0 |
unbegrenzte Volumes | nur mit Quotas | Quota erzwingen | Ohne Quota riskant |
-fileSizeLimitInMB |
Split großer Dateien | 4–30 | CI-Tarballs prüfen | Weniger Hotspots |
-dataCenter |
Regionstag | eu-west, ap-sg … | DNS-Matrix | Replik-Ziele |
-minFreeSpacePercent |
Schutz vor voller Platte | 7–12 | APFS-Puffer | Hard-Stop früh |
-metricsPort |
Observability | frei wählbar | Firewall | Pflicht |
Synchronisation: rsync-Bandbreite, Parallelität und Buildsperre
Artefakte zwischen Regionen spiegeln Sie mit rsync nur innerhalb eines flock- oder Nomad-Zeitfensters; zwei bis drei parallele Streams mit moderaten Caps schlagen einen einzelnen ungedrosselten Job, sobald APFS-Metadaten mitmischen.
| rsync-Option | Funktion | Startwert | Parallelität | Stabilität |
|---|---|---|---|---|
--bwlimit |
KiB/s Cap | 8000–20000 | pro Job | WAN stabil |
--partial --inplace |
Resume | CI-Bundles | 1 | Weniger Duplikate |
--delete-delay |
Trash-Timing | nach Checksumme | 1 | APFS-schonend |
parallel-Wrapper |
Mehr Pfade | 2–3 Jobs | Shard-Liste | Mit flock |
--timeout |
Hänger | 300–600s | — | CI-sicher |
Vor jedem Massensync df und df -i loggen; kritische Meldungen an dieselbe Pipeline wie im OpenClaw-Cluster-Log-Playbook senden, damit Replikations- und rsync-Fehler nicht untergehen.
Skalierung: Filer-Metadaten, Replikation und operative Schritte
Der Filer benötigt ein separates Meta-Backend (z. B. etcd oder MySQL), klare defaultReplicaPlacement-Strings und zeitgesteuerte Snapshot-Jobs; ohne diese drei Säulen skaliert die Namenskonvention nicht mit tausenden Pipeline-Läufen pro Tag.
| Filer-Parameter | Zweck | Startwert | Sicherheit | Audit |
|---|---|---|---|---|
-defaultReplicaPlacement |
Kopienzahl | 001 für zwei DC | DC-Labels pflegen | Nachvollziehbar |
-s3-Port |
CI-Upload | TLS davor | Token-Rotation | TLS Pflicht |
TLS am Ingress |
Terminierung vor Filer | mTLS oder ACME | Zertifikats-Pinning | Härtung |
-localSocket |
localhost Admin | 0600 | chmod strikt | Least privilege |
- Master- und Volume-Startreihenfolge: Master vor Volumes, Health-Checks grün, dann Filer mit Read-Only-Probe.
- Replikations-Dry-Run: Testobjekte schreiben, Quorum prüfen, erst danach CI-Buckets umstellen.
- rsync-Fenster:
flock /var/lock/rsync-artifacts.lockmit Timeout koppeln. - Metriken: Schreib-IOPS, Queue-Länge, freier Speicher je Volume-Host exportieren.
- Log-Korrelation: Webhook-Slices aus dem OpenClaw-Log-Leitfaden mit rsync-Exit-Codes joinen.
- Review: Monatlich Parameter und Caps gegen reale Peak-Last kalibrieren.
Katastrophenfall, FAQ und 1TB/2TB-Wasserstände
Rechenzentrums-Ausfall: Volumen-Replikate müssen außerhalb der betroffenen Region existieren; Filer-Metadaten brauchen Offsite-Snapshots, sonst ist kein konsistentes Failover möglich. Einzelplatten-Fehler: Volume sofort read-only stellen, rsync stoppen, Ersatzknoten aus derselben Mehrknoten-Bestellmatrix provisionieren.
FAQ: Darf SeaweedFS lokale Derived Data ersetzen? Nein — es bündelt verteilte Artefakte, ersetzt aber nicht Xcode-lokale IOPS. Wie viele parallele rsync-Jobs? Zwei bis drei mit --bwlimit sind robuster als ein ungedrosselter Strom.
Abnahme-Checkliste 1TB/2TB: Warnschwelle freier Speicher unter 120 GiB bzw. 220 GiB auslösen, Hard-Stop unter 80 GiB bzw. 150 GiB; Inode-Warnung bei mehr als achtzig Prozent Belegung; nach jedem Failover SeaweedFS-Volume-Check und rsync --checksum-Spot auf Stichprobe fahren.
Zusätzliche Regionen-Knoten für SeaweedFS und rsync
Wenn Volume-Shards oder rsync-Fenster an physische Grenzen stoßen, skalieren Sie die Flotte mit einem Mehrknoten-Mac-mini-M4-Paket: dedizierte Bare-Metal-Kapazität pro Region hält Filer und Replikation reproduzierbar.