e9ea34fe53
P6 生产硬化阶段交付物（46 文件）：
## 1. API Gateway 中间件链（services/api-gateway/internal/middleware/）
- circuit-breaker.go: gobreaker v2 熔断器（5s 窗口/50% 错误率/30s OPEN→HALF_OPEN）
- ratelimit.go: 令牌桶限流（sync.Map + cleanup goroutine，默认 100rps/20 burst）
- cors.go: CORS 中间件（CORS_ORIGINS 环境变量）
- recovery.go: panic 恢复 + uuid request_id
- security.go: 安全头 + 请求体 10MB 限制
- requestid.go: 请求 ID 注入
- health/health.go: /healthz + /readyz 健康检查
- main.go: 重写注册全部中间件链（Recovery→RequestID→CORS→Security→BodyLimit→RateLimit→CircuitBreaker→Auth）
## 2. 基础设施硬化（infra/）
- backup/backup-mysql.sh: MySQL 全量备份（mysqldump+gzip，按服务独立）
- backup/restore-mysql.sh: 恢复脚本
- backup/backup-cron.sh: cron 调度入口（5 服务批量备份）
- alertmanager/alertmanager.yml: 告警路由（webhook + 邮件示例）
- prometheus/rules.yml: 8 条告警规则（服务可用性/性能/资源 3 组）
- grafana/dashboards/microservices-overview.json: 4 panel 仪表盘
- grafana/provisioning/: 数据源和仪表盘 provisioning
- k8s/namespace.yaml: 4 命名空间（edu-system/services/monitoring/ingress）
- k8s/api-gateway-deployment.yaml: Deployment + Service 骨架
- chaos/experiments.yaml: 3 个 Litmus 混沌实验（pod-kill/network-latency/disk-fill）
- docker-compose.monitoring.yml: 监控栈 profile
- security/secrets.example.env: 8 项密钥占位符
- security/waf-rules.conf: ModSecurity WAF 规则骨架
## 3. 业务服务健康检查 + 优雅停机（5 个 NestJS 服务）
- services/{iam,core-edu,content,msg,classes}/src/shared/health/: /healthz + /readyz
- services/{iam,core-edu,content,msg,classes}/src/shared/lifecycle/: OnModuleInit + OnApplicationShutdown
## 4. Python 服务健康检查
- services/{ai,data-ana}/src/health/health.py: FastAPI APIRouter
## 5. 运维文档
- docs/architecture/runbooks/p6-hardening.md: P6 总览 Runbook（9 章节）
- docs/architecture/runbooks/incident-response.md: 事件响应手册（5 章节）
- docs/architecture/004-p6-addendum.md: 004 架构补记 P6 章节
- docs/troubleshooting/known-issues-p6-addendum.md: 15 条 P6 场景→技术映射
## 验收信号
- RPO ≤ 15min（MySQL 备份 + binlog PITR）
- RTO ≤ 30min（K8s 滚动更新 + DNS 切换）
- P99 ≤ 500ms（熔断 + 限流 + 缓存）
- 熔断器错误率 > 50% 触发 OPEN
- 限流 100rps/20 burst
- 备份保留 7 天
- 混沌实验每月 1 次
70 lines
1.9 KiB
YAML
70 lines
1.9 KiB
YAML
# Alertmanager 配置 - Edu 平台
|
||
# 全局配置
|
||
global:
|
||
resolve_timeout: 5m
|
||
|
||
# 告警模板（可扩展）
|
||
templates:
|
||
- /etc/alertmanager/templates/*.tmpl
|
||
|
||
# 路由树
|
||
route:
|
||
# 顶层默认接收器
|
||
receiver: webhook-default
|
||
# 按 alertname + service 分组
|
||
group_by: ['alertname', 'service']
|
||
# 首次告警等待时间（聚合相同组）
|
||
group_wait: 30s
|
||
# 同组新告警发送间隔
|
||
group_interval: 5m
|
||
# 重复告警发送间隔
|
||
repeat_interval: 4h
|
||
routes:
|
||
# critical 告警走 webhook
|
||
- matchers:
|
||
- severity="critical"
|
||
receiver: webhook-default
|
||
continue: false
|
||
# warning 告警走 webhook
|
||
- matchers:
|
||
- severity="warning"
|
||
receiver: webhook-default
|
||
continue: false
|
||
|
||
# 接收器列表
|
||
receivers:
|
||
# 默认 Webhook 接收器（指向内部告警路由服务）
|
||
- name: webhook-default
|
||
webhook_configs:
|
||
- url: http://alert-router:5001/alert
|
||
send_resolved: true
|
||
max_alerts: 0
|
||
|
||
# 邮件接收器（注释示例，留作扩展）
|
||
# 启用前需在 global.smtp_* 配置 SMTP 服务器
|
||
# - name: mail-ops
|
||
# email_configs:
|
||
# - to: ops-team@example.com
|
||
# from: alertmanager@example.com
|
||
# smarthost: smtp.example.com:587
|
||
# auth_username: alertmanager@example.com
|
||
# auth_password: <SMTP_PASSWORD>
|
||
# require_tls: true
|
||
# headers:
|
||
# Subject: '[Edu Alert] {{ .GroupLabels.alertname }}'
|
||
|
||
# 钉钉/企业微信接收器（注释示例，留作扩展）
|
||
# - name: dingtalk-ops
|
||
# webhook_configs:
|
||
# - url: http://dingtalk-webhook:8060/dingtalk/ops/send
|
||
# send_resolved: true
|
||
|
||
# 抑制规则：critical 告警抑制同服务同名的 warning 告警
|
||
inhibit_rules:
|
||
- source_matchers:
|
||
- severity="critical"
|
||
target_matchers:
|
||
- severity="warning"
|
||
# 相同 alertname + service 才抑制
|
||
equal: ['alertname', 'service']
|