feat(p6): production hardening with circuit breaker, backup, monitoring and chaos engineering

P6 生产硬化阶段交付物（46 文件）：

## 1. API Gateway 中间件链（services/api-gateway/internal/middleware/）
- circuit-breaker.go: gobreaker v2 熔断器（5s 窗口/50% 错误率/30s OPEN→HALF_OPEN）
- ratelimit.go: 令牌桶限流（sync.Map + cleanup goroutine，默认 100rps/20 burst）
- cors.go: CORS 中间件（CORS_ORIGINS 环境变量）
- recovery.go: panic 恢复 + uuid request_id
- security.go: 安全头 + 请求体 10MB 限制
- requestid.go: 请求 ID 注入
- health/health.go: /healthz + /readyz 健康检查
- main.go: 重写注册全部中间件链（Recovery→RequestID→CORS→Security→BodyLimit→RateLimit→CircuitBreaker→Auth）

## 2. 基础设施硬化（infra/）
- backup/backup-mysql.sh: MySQL 全量备份（mysqldump+gzip，按服务独立）
- backup/restore-mysql.sh: 恢复脚本
- backup/backup-cron.sh: cron 调度入口（5 服务批量备份）
- alertmanager/alertmanager.yml: 告警路由（webhook + 邮件示例）
- prometheus/rules.yml: 8 条告警规则（服务可用性/性能/资源 3 组）
- grafana/dashboards/microservices-overview.json: 4 panel 仪表盘
- grafana/provisioning/: 数据源和仪表盘 provisioning
- k8s/namespace.yaml: 4 命名空间（edu-system/services/monitoring/ingress）
- k8s/api-gateway-deployment.yaml: Deployment + Service 骨架
- chaos/experiments.yaml: 3 个 Litmus 混沌实验（pod-kill/network-latency/disk-fill）
- docker-compose.monitoring.yml: 监控栈 profile
- security/secrets.example.env: 8 项密钥占位符
- security/waf-rules.conf: ModSecurity WAF 规则骨架

## 3. 业务服务健康检查 + 优雅停机（5 个 NestJS 服务）
- services/{iam,core-edu,content,msg,classes}/src/shared/health/: /healthz + /readyz
- services/{iam,core-edu,content,msg,classes}/src/shared/lifecycle/: OnModuleInit + OnApplicationShutdown

## 4. Python 服务健康检查
- services/{ai,data-ana}/src/health/health.py: FastAPI APIRouter

## 5. 运维文档
- docs/architecture/runbooks/p6-hardening.md: P6 总览 Runbook（9 章节）
- docs/architecture/runbooks/incident-response.md: 事件响应手册（5 章节）
- docs/architecture/004-p6-addendum.md: 004 架构补记 P6 章节
- docs/troubleshooting/known-issues-p6-addendum.md: 15 条 P6 场景→技术映射

## 验收信号
- RPO ≤ 15min（MySQL 备份 + binlog PITR）
- RTO ≤ 30min（K8s 滚动更新 + DNS 切换）
- P99 ≤ 500ms（熔断 + 限流 + 缓存）
- 熔断器错误率 > 50% 触发 OPEN
- 限流 100rps/20 burst
- 备份保留 7 天
- 混沌实验每月 1 次

services/content/src/shared/health/health.controller.ts

@@ -0,0 +1,49 @@
+import { Controller, Get, HttpException, HttpStatus } from '@nestjs/common';
+import { DataSource } from 'typeorm';
+
+const SERVICE_NAME = 'content';
+
+/**
+ * 健康检查端点。
+ *
+ * - GET /healthz：liveness，仅返回进程存活，不检查依赖。
+ * - GET /readyz：readiness，检查 DB 连接，失败返回 503。
+ *
+ * 不需要鉴权，必须在路由白名单中放行。本控制器内容在 iam / core-edu /
+ * content / msg / classes 五个 NestJS 服务中一致，仅 SERVICE_NAME 不同。
+ */
+@Controller()
+export class HealthController {
+  constructor(private readonly dataSource: DataSource) {}
+
+  @Get('healthz')
+  liveness(): { status: string; service: string; timestamp: string } {
+    return {
+      status: 'ok',
+      service: SERVICE_NAME,
+      timestamp: new Date().toISOString(),
+    };
+  }
+
+  @Get('readyz')
+  async readiness(): Promise<{ status: string; service: string; timestamp: string }> {
+    try {
+      await this.dataSource.query('SELECT 1');
+      return {
+        status: 'ok',
+        service: SERVICE_NAME,
+        timestamp: new Date().toISOString(),
+      };
+    } catch (error) {
+      throw new HttpException(
+        {
+          status: 'error',
+          service: SERVICE_NAME,
+          timestamp: new Date().toISOString(),
+          error: error instanceof Error ? error.message : 'database unreachable',
+        },
+        HttpStatus.SERVICE_UNAVAILABLE,
+      );
+    }
+  }
+}

services/content/src/shared/health/health.module.ts

@@ -0,0 +1,23 @@
+import { Module } from '@nestjs/common';
+import { HealthController } from './health.controller';
+
+/**
+ * 健康检查模块。
+ *
+ * 集成说明（不修改 app.module.ts，仅在 README 注释说明）：
+ *
+ * 在 `app.module.ts` 的 imports 数组中加入 `HealthModule`：
+ *
+ * ```ts
+ * import { HealthModule } from './shared/health/health.module';
+ *
+ * @Module({ imports: [ ..., HealthModule ], ... })
+ * export class AppModule {}
+ * ```
+ *
+ * DataSource 由 `TypeOrmModule.forRoot(...)` 提供，本模块无需额外 provider。
+ */
+@Module({
+  controllers: [HealthController],
+})
+export class HealthModule {}

services/content/src/shared/lifecycle/lifecycle.service.ts

@@ -0,0 +1,64 @@
+import { Inject, Injectable, Logger, OnApplicationShutdown, OnModuleInit } from '@nestjs/common';
+import { DataSource } from 'typeorm';
+import type { Redis } from 'ioredis';
+import type { Producer } from 'kafkajs';
+
+const SERVICE_NAME = 'content';
+
+/**
+ * 优雅停机服务。
+ *
+ * 信号处理由 NestJS 在 `app.listen` 之前调用 `app.enableShutdownHooks()`
+ * 触发（SIGTERM / SIGINT），NestJS 会依次调用 OnApplicationShutdown 钩子。
+ * K8s 配置 `terminationGracePeriodSeconds=60` 给予足够时间清理。
+ *
+ * 关闭顺序：Kafka producer → Redis → DataSource。
+ * 先停外部消息生产避免新事件，再关缓存，最后关 DB。
+ * 注：content 服务额外使用 S3/MinIO 客户端，其连接由 SDK 内部管理，无需显式关闭。
+ *
+ * 集成说明（不修改 app.module.ts，仅在 README 注释说明）：
+ * - 在 `app.module.ts` 的 providers 中加入 `LifecycleService`。
+ * - 在 `main.ts` 中 `app.listen` 之前调用 `app.enableShutdownHooks()`。
+ *
+ * 依赖注入 token 约定（需与各服务 provider 注册一致）：
+ * - DataSource：由 `TypeOrmModule.forRoot()` 提供。
+ * - 'REDIS_CLIENT'：需在对应模块注册 `{ provide: 'REDIS_CLIENT', useFactory: ... }`。
+ * - 'KAFKA_PRODUCER'：需在对应模块注册 `{ provide: 'KAFKA_PRODUCER', useFactory: ... }`。
+ */
+@Injectable()
+export class LifecycleService implements OnModuleInit, OnApplicationShutdown {
+  private readonly logger = new Logger(LifecycleService.name);
+
+  constructor(
+    private readonly dataSource: DataSource,
+    @Inject('REDIS_CLIENT') private readonly redis: Redis,
+    @Inject('KAFKA_PRODUCER') private readonly kafkaProducer: Producer,
+  ) {}
+
+  onModuleInit(): void {
+    this.logger.log(`service ${SERVICE_NAME} module initialized`);
+  }
+
+  async onApplicationShutdown(signal?: string): Promise<void> {
+    this.logger.log(
+      `service ${SERVICE_NAME} shutting down (signal=${signal ?? 'unknown'})`,
+    );
+
+    await this.safeDisconnect('kafka producer', () => this.kafkaProducer.disconnect());
+    await this.safeDisconnect('redis', () => this.redis.quit());
+    await this.safeDisconnect('datasource', () => this.dataSource.destroy());
+
+    this.logger.log(`service ${SERVICE_NAME} shutdown complete`);
+  }
+
+  private async safeDisconnect(name: string, fn: () => Promise<unknown>): Promise<void> {
+    try {
+      await fn();
+      this.logger.log(`${name} closed`);
+    } catch (error) {
+      this.logger.error(
+        `${name} close failed: ${error instanceof Error ? error.message : String(error)}`,
+      );
+    }
+  }
+}