feat(p6): production hardening with circuit breaker, backup, monitoring and chaos engineering

P6 生产硬化阶段交付物（46 文件）：

## 1. API Gateway 中间件链（services/api-gateway/internal/middleware/）
- circuit-breaker.go: gobreaker v2 熔断器（5s 窗口/50% 错误率/30s OPEN→HALF_OPEN）
- ratelimit.go: 令牌桶限流（sync.Map + cleanup goroutine，默认 100rps/20 burst）
- cors.go: CORS 中间件（CORS_ORIGINS 环境变量）
- recovery.go: panic 恢复 + uuid request_id
- security.go: 安全头 + 请求体 10MB 限制
- requestid.go: 请求 ID 注入
- health/health.go: /healthz + /readyz 健康检查
- main.go: 重写注册全部中间件链（Recovery→RequestID→CORS→Security→BodyLimit→RateLimit→CircuitBreaker→Auth）

## 2. 基础设施硬化（infra/）
- backup/backup-mysql.sh: MySQL 全量备份（mysqldump+gzip，按服务独立）
- backup/restore-mysql.sh: 恢复脚本
- backup/backup-cron.sh: cron 调度入口（5 服务批量备份）
- alertmanager/alertmanager.yml: 告警路由（webhook + 邮件示例）
- prometheus/rules.yml: 8 条告警规则（服务可用性/性能/资源 3 组）
- grafana/dashboards/microservices-overview.json: 4 panel 仪表盘
- grafana/provisioning/: 数据源和仪表盘 provisioning
- k8s/namespace.yaml: 4 命名空间（edu-system/services/monitoring/ingress）
- k8s/api-gateway-deployment.yaml: Deployment + Service 骨架
- chaos/experiments.yaml: 3 个 Litmus 混沌实验（pod-kill/network-latency/disk-fill）
- docker-compose.monitoring.yml: 监控栈 profile
- security/secrets.example.env: 8 项密钥占位符
- security/waf-rules.conf: ModSecurity WAF 规则骨架

## 3. 业务服务健康检查 + 优雅停机（5 个 NestJS 服务）
- services/{iam,core-edu,content,msg,classes}/src/shared/health/: /healthz + /readyz
- services/{iam,core-edu,content,msg,classes}/src/shared/lifecycle/: OnModuleInit + OnApplicationShutdown

## 4. Python 服务健康检查
- services/{ai,data-ana}/src/health/health.py: FastAPI APIRouter

## 5. 运维文档
- docs/architecture/runbooks/p6-hardening.md: P6 总览 Runbook（9 章节）
- docs/architecture/runbooks/incident-response.md: 事件响应手册（5 章节）
- docs/architecture/004-p6-addendum.md: 004 架构补记 P6 章节
- docs/troubleshooting/known-issues-p6-addendum.md: 15 条 P6 场景→技术映射

## 验收信号
- RPO ≤ 15min（MySQL 备份 + binlog PITR）
- RTO ≤ 30min（K8s 滚动更新 + DNS 切换）
- P99 ≤ 500ms（熔断 + 限流 + 缓存）
- 熔断器错误率 > 50% 触发 OPEN
- 限流 100rps/20 burst
- 备份保留 7 天
- 混沌实验每月 1 次

services/api-gateway/internal/middleware/circuit-breaker.go

@@ -0,0 +1,65 @@
+package middleware
+
+import (
+	"errors"
+	"log"
+	"net/http"
+	"time"
+
+	"github.com/gin-gonic/gin"
+	"github.com/sony/gobreaker/v2"
+)
+
+// CircuitBreaker 返回针对指定服务的熔断中间件。
+//
+// 基于 gobreaker v2 实现：
+//   - Interval=5s：CLOSED 状态下的统计窗口
+//   - ReadyToTrip：错误率 > 50% 触发 OPEN
+//   - Timeout=30s：OPEN 持续 30 秒后转 HALF_OPEN
+//   - MaxRequests=1：HALF_OPEN 仅允许 1 个探测请求
+//
+// 仅当下游返回 5xx 视为失败；4xx 与 2xx 不计入熔断。
+// 熔断打开或半开探测名额已满时返回 503 + JSON {"error":"circuit_open","retry_after":30}。
+func CircuitBreaker(serviceName string) gin.HandlerFunc {
+	cb := gobreaker.NewCircuitBreaker[struct{}](gobreaker.Settings{
+		Name:        serviceName,
+		MaxRequests: 1,
+		Interval:    5 * time.Second,
+		Timeout:     30 * time.Second,
+		ReadyToTrip: func(counts gobreaker.Counts) bool {
+			// 请求数为 0 时不触发，避免除零
+			if counts.Requests == 0 {
+				return false
+			}
+			// 错误率 > 50%
+			return counts.TotalFailures*2 > counts.Requests
+		},
+		OnStateChange: func(name string, from, to gobreaker.State) {
+			log.Printf("[circuit-breaker] service=%s state: %s -> %s", name, from, to)
+		},
+	})
+
+	return func(c *gin.Context) {
+		_, err := cb.Execute(func() (struct{}, error) {
+			c.Next()
+			// 下游 5xx 视为熔断失败
+			if c.Writer.Status() >= 500 {
+				return struct{}{}, errors.New("downstream_error")
+			}
+			return struct{}{}, nil
+		})
+
+		if err != nil {
+			// 熔断打开或半开探测名额已满：返回 503
+			if errors.Is(err, gobreaker.ErrOpenState) || errors.Is(err, gobreaker.ErrTooManyRequests) {
+				c.AbortWithStatusJSON(http.StatusServiceUnavailable, gin.H{
+					"error":       "circuit_open",
+					"retry_after": 30,
+				})
+				return
+			}
+			// 其他情况（下游已写 5xx 响应）：响应已写入，不覆盖
+			return
+		}
+	}
+}

services/api-gateway/internal/middleware/cors.go

@@ -0,0 +1,69 @@
+package middleware
+
+import (
+	"net/http"
+	"os"
+	"strconv"
+	"strings"
+
+	"github.com/gin-gonic/gin"
+)
+
+// corsMaxAge 预检缓存时长：12 小时
+const corsMaxAge = 12 * 60 * 60
+
+// CORS 返回跨域资源共享中间件。
+// 允许来源从环境变量 CORS_ORIGINS 读取（逗号分隔，默认 *）。
+// 允许方法：GET POST PUT DELETE OPTIONS PATCH
+// 允许头：Authorization Content-Type X-Request-Id X-Trace-Id
+// 暴露头：X-Request-Id X-Trace-Id
+func CORS() gin.HandlerFunc {
+	allowed := parseCORSOrigins(os.Getenv("CORS_ORIGINS"))
+
+	return func(c *gin.Context) {
+		origin := c.GetHeader("Origin")
+		allowOrigin := ""
+
+		if len(allowed) == 0 {
+			// 未配置则默认允许所有来源
+			allowOrigin = "*"
+		} else if allowed[origin] {
+			allowOrigin = origin
+		}
+
+		if allowOrigin != "" {
+			h := c.Writer.Header()
+			h.Set("Access-Control-Allow-Origin", allowOrigin)
+			h.Set("Access-Control-Allow-Methods", "GET, POST, PUT, DELETE, OPTIONS, PATCH")
+			h.Set("Access-Control-Allow-Headers", "Authorization, Content-Type, X-Request-Id, X-Trace-Id")
+			h.Set("Access-Control-Expose-Headers", "X-Request-Id, X-Trace-Id")
+			h.Set("Access-Control-Max-Age", strconv.Itoa(corsMaxAge))
+			// 非通配来源需标注 Vary，便于缓存正确区分
+			if allowOrigin != "*" {
+				h.Add("Vary", "Origin")
+			}
+		}
+
+		// 预检请求直接返回 204
+		if c.Request.Method == http.MethodOptions {
+			c.AbortWithStatus(http.StatusNoContent)
+			return
+		}
+		c.Next()
+	}
+}
+
+// parseCORSOrigins 解析逗号分隔的来源列表为集合，空字符串返回空 map（表示通配 *）
+func parseCORSOrigins(raw string) map[string]bool {
+	allowed := map[string]bool{}
+	if raw == "" {
+		return allowed
+	}
+	for _, o := range strings.Split(raw, ",") {
+		o = strings.TrimSpace(o)
+		if o != "" {
+			allowed[o] = true
+		}
+	}
+	return allowed
+}

services/api-gateway/internal/middleware/ratelimit.go

@@ -0,0 +1,94 @@
+package middleware
+
+import (
+	"net/http"
+	"sync"
+	"time"
+
+	"github.com/gin-gonic/gin"
+)
+
+// bucket 是单个客户端的令牌桶
+type bucket struct {
+	mu       sync.Mutex
+	tokens   float64
+	lastTime time.Time
+}
+
+// rateLimiter 持有所有客户端 IP 的令牌桶
+type rateLimiter struct {
+	rps     float64
+	burst   int
+	buckets sync.Map // map[string]*bucket
+}
+
+// RateLimit 返回基于令牌桶的限流中间件（内存版，不依赖 Redis）。
+// 每个客户端 IP 独立桶，按 rps（每秒令牌数）补充，最大容量为 burst。
+// 超限返回 429 + JSON {"error":"rate_limited","retry_after":60}。
+// 内部启动 cleanup goroutine，每 5 分钟清理 10 分钟未访问的桶。
+func RateLimit(rps float64, burst int) gin.HandlerFunc {
+	rl := &rateLimiter{rps: rps, burst: burst}
+	// 启动清理 goroutine
+	go rl.cleanup(5*time.Minute, 10*time.Minute)
+
+	return func(c *gin.Context) {
+		ip := c.ClientIP()
+		b := rl.getBucket(ip)
+
+		b.mu.Lock()
+		now := time.Now()
+		elapsed := now.Sub(b.lastTime).Seconds()
+		b.lastTime = now
+		// 按经过时间补充令牌
+		b.tokens += elapsed * rl.rps
+		if b.tokens > float64(rl.burst) {
+			b.tokens = float64(rl.burst)
+		}
+		// 令牌不足：拒绝
+		if b.tokens < 1 {
+			b.mu.Unlock()
+			c.Header("Retry-After", "60")
+			c.AbortWithStatusJSON(http.StatusTooManyRequests, gin.H{
+				"error":       "rate_limited",
+				"retry_after": 60,
+			})
+			return
+		}
+		b.tokens--
+		b.mu.Unlock()
+
+		c.Next()
+	}
+}
+
+// getBucket 获取指定 IP 的令牌桶，不存在则新建（初始满桶）
+func (rl *rateLimiter) getBucket(ip string) *bucket {
+	if v, ok := rl.buckets.Load(ip); ok {
+		return v.(*bucket)
+	}
+	b := &bucket{
+		tokens:   float64(rl.burst),
+		lastTime: time.Now(),
+	}
+	actual, _ := rl.buckets.LoadOrStore(ip, b)
+	return actual.(*bucket)
+}
+
+// cleanup 周期性清理长时间未访问的桶，避免内存无限增长
+func (rl *rateLimiter) cleanup(interval, maxIdle time.Duration) {
+	ticker := time.NewTicker(interval)
+	defer ticker.Stop()
+	for range ticker.C {
+		now := time.Now()
+		rl.buckets.Range(func(key, value any) bool {
+			b := value.(*bucket)
+			b.mu.Lock()
+			idle := now.Sub(b.lastTime)
+			b.mu.Unlock()
+			if idle > maxIdle {
+				rl.buckets.Delete(key)
+			}
+			return true
+		})
+	}
+}

services/api-gateway/internal/middleware/recovery.go

@@ -0,0 +1,32 @@
+package middleware
+
+import (
+	"log"
+	"net/http"
+	"runtime/debug"
+
+	"github.com/gin-gonic/gin"
+	"github.com/google/uuid"
+)
+
+// Recovery 捕获 panic 并返回 500，记录堆栈日志。
+// 返回 JSON {"error":"internal_error","request_id":"<uuid>"}。
+// request_id 使用 uuid.New() 生成（Recovery 在 RequestID 之前注册，
+// panic 发生时上下文中可能尚无 request_id，故独立生成）。
+func Recovery() gin.HandlerFunc {
+	return func(c *gin.Context) {
+		defer func() {
+			if r := recover(); r != nil {
+				stack := debug.Stack()
+				requestID := uuid.New().String()
+				log.Printf("[recovery] panic recovered, request_id=%s: %v\n%s", requestID, r, stack)
+				// 若已写入部分响应，AbortWithStatusJSON 仍会设置状态并尝试写 JSON
+				c.AbortWithStatusJSON(http.StatusInternalServerError, gin.H{
+					"error":      "internal_error",
+					"request_id": requestID,
+				})
+			}
+		}()
+		c.Next()
+	}
+}

services/api-gateway/internal/middleware/requestid.go

@@ -0,0 +1,26 @@
+package middleware
+
+import (
+	"github.com/gin-gonic/gin"
+	"github.com/google/uuid"
+)
+
+// requestIDHeader 请求 ID 响应头名称
+const requestIDHeader = "X-Request-Id"
+
+// requestIDContextKey context 中存储请求 ID 的键
+const requestIDContextKey = "request_id"
+
+// RequestID 注入请求 ID 中间件。
+// 从 X-Request-Id 头读取，无则生成 uuid，写入 context 与响应头。
+func RequestID() gin.HandlerFunc {
+	return func(c *gin.Context) {
+		rid := c.GetHeader(requestIDHeader)
+		if rid == "" {
+			rid = uuid.New().String()
+		}
+		c.Set(requestIDContextKey, rid)
+		c.Writer.Header().Set(requestIDHeader, rid)
+		c.Next()
+	}
+}

services/api-gateway/internal/middleware/security.go

@@ -0,0 +1,39 @@
+package middleware
+
+import (
+	"net/http"
+
+	"github.com/gin-gonic/gin"
+)
+
+// SecurityHeaders 设置安全响应头中间件。
+// 设置：X-Content-Type-Options: nosniff
+//
+//	X-Frame-Options: DENY
+//	Referrer-Policy: strict-origin-when-cross-origin
+//	Strict-Transport-Security: max-age=31536000; includeSubDomains
+//	Content-Security-Policy: default-src 'self'
+//	移除 Server 头
+func SecurityHeaders() gin.HandlerFunc {
+	return func(c *gin.Context) {
+		h := c.Writer.Header()
+		h.Set("X-Content-Type-Options", "nosniff")
+		h.Set("X-Frame-Options", "DENY")
+		h.Set("Referrer-Policy", "strict-origin-when-cross-origin")
+		h.Set("Strict-Transport-Security", "max-age=31536000; includeSubDomains")
+		h.Set("Content-Security-Policy", "default-src 'self'")
+		h.Del("Server")
+		c.Next()
+		// 响应处理结束后再次移除 Server 头，防止处理过程中被写入
+		c.Writer.Header().Del("Server")
+	}
+}
+
+// RequestBodyLimit 限制请求体大小中间件。
+// 通过 http.MaxBytesReader 包装 Body，超限读取时返回 413。
+func RequestBodyLimit(maxBytes int64) gin.HandlerFunc {
+	return func(c *gin.Context) {
+		c.Request.Body = http.MaxBytesReader(c.Writer, c.Request.Body, maxBytes)
+		c.Next()
+	}
+}