xiner/Edu
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
175 Commits 1 Branch 8 Tags
main
Commit Graph

80 Commits

Author SHA1 Message Date
SpecialX
566060fade feat(infra): p6 hardening - observability and deploy compose 
- 5 NestJS services add /metrics endpoint via app.getHttpAdapter()
- prometheus.yml scales to 8 services with rule_files and alertmanager
- monitoring compose replaces blackbox with Loki+Promtail
- Grafana datasource adds Loki
- docker-compose.deploy.yml scales to 11 services
- deploy.env.example completes Neo4j/ES/ClickHouse/LLM vars
- teacher-bff adds health.controller
- CI removes continue-on-error on lint step
- teacher-portal lint script changed to eslint src
 2026-07-09 10:21:06 +08:00
SpecialX
3ca654619f chore(infra): 配置ESLint 9 flat config并恢复lint-staged集成 
- 新增 eslint.config.js（ESLint 9 flat config 格式）
- 安装 @eslint/js + typescript-eslint + eslint-config-prettier
- 6 个 TS 服务 lint 脚本：eslint src --ext .ts → eslint src
- lint-staged 恢复 eslint --fix
- .gitignore 忽略 docker-compose.minimal.override.yml
- known-issues.md 新增 P6 硬化条目
 2026-07-09 09:14:44 +08:00
SpecialX
a70a74207e feat(ai): 完善AI网关服务并添加LLM降级模式 
config.py 加openai_api_key/base_url/dev_mode

新建llm_client.py httpx异步调OpenAI REST API

main.py 业务路由加/ai前缀+降级模式+readyz端点

Gateway添加/notifications和/ai路由

docs: known-issues记录P5三服务经验
 2026-07-09 09:09:27 +08:00
SpecialX
dfb6d2bfc1 feat(push-gateway): 修复WebSocket并发写竞争并添加DEV_MODE鉴权 
hub.go 重写用send chan+单写协程模式避免并发写竞争

handler.go 加DEV_MODE dev-token支持+broadcast端点

config.go 加DevMode/RedisURL字段
 2026-07-09 09:09:13 +08:00
SpecialX
416e1bc0b2 feat(msg): 修复通知服务并添加ES降级与Push Gateway推送 
database.ts 导出db常量替代getDb()函数

env.ts JWT_SECRET/ES_URL改optional加DEV_MODE/PUSH_GATEWAY_URL

elasticsearch.ts ES降级: ES_URL未设置时esClient=null

notifications.service.ts 加createBatch+分页查询+Push Gateway推送调用

新建msg-init.sql创建2张表
 2026-07-09 09:08:57 +08:00
SpecialX
421edd8a41 feat(data-ana): 完善学情诊断服务并添加ClickHouse降级模式 
config.py ClickHouse连接改可选+加DEV_MODE/kafka_brokers

clickhouse_client.py 降级模式: host为空时返回None

main.py 端点先查ClickHouse降级返回骨架数据+新增errorbook

新增clickhouse-init.sql创建宽表和错题表

Gateway添加/analytics路由
 2026-07-09 08:58:39 +08:00
SpecialX
5f18821302 feat(api-gateway): 添加content服务代理路由 
main.go添加textbooks/chapters/knowledge-points/questions四组路由

config.go新增ContentServiceURL字段

docs: known-issues记录P4 content端到端验证经验
 2026-07-09 08:52:30 +08:00
SpecialX
921fe82771 feat(content): 修复服务并添加chapters/knowledge-points/questions模块 
- database.ts 导出db常量替代getDb()函数

- env.ts JWT_SECRET/ES_URL/NEO4J_URL改optional加DEV_MODE

- neo4j.ts driver惰性创建+try/catch+connectionTimeout:3000

- health/lifecycle改用Drizzle原生查询

- textbooks.schema修复integer到int+导出NewTextbook类型

- 新建chapters/knowledge-points/questions三模块CRUD

- knowledge-points含Neo4j前置依赖图非阻塞查询

- content-init.sql创建4张表

端到端验证: textbooks/chapters/knowledge-points/questions全CRUD通过
 2026-07-09 08:52:15 +08:00
SpecialX
6215f4e21f feat(teacher-bff): 添加考试作业成绩聚合端点 
env.ts 新增 CoreEduServiceUrl
teacher.service 新增 listExamsByClass/listHomeworkByClass/listGradesByExam 三个聚合方法
teacher.controller 暴露 3 个 GET 端点:
  /teacher/classes/:classId/exams
  /teacher/classes/:classId/homework
  /teacher/exams/:examId/grades

验证: 3 端点全部 200 返回 core-edu 数据
 2026-07-09 08:05:24 +08:00
SpecialX
4f539b50dd feat(api-gateway): 添加 core-edu 服务代理路由 
main.go 新增 exams/homework/grades 三组路由(无尾斜杠+通配符)
config.go 新增 CoreEduServiceURL 字段默认 localhost:3004
删除死代码 internal/routing/routing.go(从未被 main 引用)

验证: GET /exams/class/:id 200, POST /exams 201, 链路全通
 2026-07-09 08:02:39 +08:00
SpecialX
4533da6484 feat(core-edu): 修复服务启动并打通考试作业成绩端到端链路 
database.ts 导出 db 常量替代 getDb()
env.ts JWT_SECRET 改 optional 并新增 DEV_MODE
kafka.ts connectKafka 加 try/catch 不阻塞启动
main.ts 去全局前缀 connectKafka 改非阻塞
app.module 移除未用模块加 HealthModule
controller 路由去前缀去 UseGuards 从 x-user-id 读身份
service datetime ISO 字符串转 Date 修复 drizzle 错误
修正相对 import 路径
health/lifecycle 改用 Drizzle 原生查询
新增 core-edu-init.sql 初始化 4 张表

端到端验证: exams/homework/grades 全部 201/200
Outbox 事件正确写入 core_edu_outbox 表
 2026-07-09 08:02:22 +08:00
SpecialX
b2c2f6e567 feat(teacher-bff): 添加视口聚合端点 + 修复身份头读取 
- 新增 GET /teacher/viewports 聚合 IAM 视口配置
- 修复 controller 从 x-user-id header 读取身份（替代 AuthenticatedRequest）
- 添加 zod + @types/express 依赖
 2026-07-09 00:49:24 +08:00
SpecialX
a2f0ca26ae feat(iam): 实现 RBAC + 视口配置 + DataScope 
- 新增 iam_role_viewports 表（4 层视口模型：L1 导航/L2 路由/L3 组件/L4 数据）
- iam_users 添加 data_scope 字段（6 级：self/class/grade/school/district/all）
- JWT payload 包含 dataScope，注册时自动分配 teacher 角色
- 新增 getEffectivePermissions（多角色权限去重）
- 新增 getUserViewports（按权限过滤视口）
- 新增 RbacController：GET /iam/viewports, /iam/permissions/effective, /iam/roles, /iam/permissions
- 添加 7 个权限点 + 12 条角色权限映射 + 7 个视口种子数据
 2026-07-09 00:35:34 +08:00
SpecialX
5759b09c9f feat(api-gateway): 添加公开路径白名单 
register/login/refresh 无需 JWT 即可通过 Gateway，修复之前无 token 无法注册登录的死锁问题。
 2026-07-09 00:30:35 +08:00
SpecialX
f658571726 fix(iam): 修复 TS 编译错误、ESM 依赖注入与身份头读取 
P1 端到端验证中发现 IAM 服务存在 14 个 TS 编译错误与运行时 DI 失败：

- 移除 typeorm/ioredis/kafkajs 依赖（IAM 用 Drizzle）
- health.controller.ts 改用 db.execute(sql SELECT 1) 校验连接
- lifecycle.service.ts 简化为只关闭 Drizzle 连接池
- Drizzle API 修正：r.roles -> r.iam_roles，.in() -> inArray()
- ESM 模式下 DI 必须显式 @Inject(IamRepository)（参考 classes 黄金模板）
- iam.controller.ts 直接读 req.headers[x-user-id]，不依赖未注册的 AuthMiddleware
- health.module.ts 补 .js 后缀
- package.json 补 @types/express

验证：register -> JWT -> Gateway /iam/me 200 -> /classes CRUD 200
 2026-07-09 00:25:37 +08:00
SpecialX
4a0893ef52 feat(infra): 新增生产 Dockerfile 与部署 compose 
- api-gateway/Dockerfile: 多阶段构建，golang:1.22-alpine → alpine:3.20，CGO_ENABLED=0 静态编译，非 root 运行

- teacher-portal/Dockerfile: 多阶段构建，node:20-alpine builder → runner，含 HEALTHCHECK

- docker-compose.prod.yml: 本地生产编排，3 服务，强制 DEV_MODE=false

- docker-compose.deploy.yml: 服务器部署用，镜像来自 Gitea Registry，通过 edu-shared 外部网络连接 MySQL/Redis

- deploy.env.example: 部署环境变量模板
 2026-07-08 15:12:34 +08:00
SpecialX
e5902ca2b3 fix(api-gateway): 修复尾斜杠重定向循环与 DEV_MODE 旁路 
- main.go: 禁用 RedirectTrailingSlash，为 classes/iam/teacher 双注册无尾斜杠与通配符路由

- auth.go: DEV_MODE=true 时接受 Bearer dev-token 注入开发用户

- config.go: 新增 DevMode 配置项与 getEnvBool 工具

- page.tsx: 开发模式请求携带 Authorization: Bearer dev-token

- .env.example: 添加 DEV_MODE=false 默认值与生产警告
 2026-07-08 15:11:47 +08:00
SpecialX
a4ec5b72c5 fix(classes): 修复依赖注入与 ESM 导入路径 
- classes.module.ts: 移除 useFactory，改用直接 provider 注册

- classes.service.ts: 添加 @Inject 装饰器显式注入 Repository

- health.module.ts: 修复 import 添加 .js 后缀（ESM 模式）

- package.json: 补充 ioredis/kafkajs/typeform 等运行时依赖
 2026-07-08 15:11:12 +08:00
SpecialX
beedbaf686 docs: 同步 P6 工作日志、runbook 与服务 README 
- known-issues.md: 追加 9 条 P6 工作经验日志，更新 arch-scan 经验
- post-p6-followup.md: 新增 P6 后续工作手册 runbook
- iam/core-edu/content/msg README: 补充健康检查端点说明
 2026-07-08 12:53:05 +08:00
SpecialX
20b1afd9ab fix(ai): ruff 自动修复 health 模块 2026-07-08 12:52:48 +08:00
SpecialX
4fea3de1d1 fix(data-ana): ruff 自动修复代码风格 2026-07-08 12:52:33 +08:00
SpecialX
3961a36308 fix(push-gateway): 同步 go.sum 2026-07-08 12:52:22 +08:00
SpecialX
a4cd970c54 fix(api-gateway): 升级 gobreaker v2 并更新 README 
- go.mod: 新增 github.com/sony/gobreaker/v2 v2.1.0
- go.sum: 同步校验和
- README: 新增 P6 中间件链说明、健康检查端点表、测试说明、配置环境变量表
 2026-07-08 12:52:08 +08:00
SpecialX
75804c7d64 fix: lint-staged 移除 Go gofmt 规则 
Go 工具链不在 git hook（Git Bash）PATH 中，gofmt 执行失败。
Go 文件格式化由开发者手动执行 go fmt。
 2026-07-08 12:51:46 +08:00
SpecialX
e9ea34fe53 feat(p6): production hardening with circuit breaker, backup, monitoring and chaos engineering
Some checks failed
CI Go / test (push) Has been cancelled
Details
CI Python / test (push) Has been cancelled
Details
CI TypeScript / test (push) Has been cancelled
Details
CI Proto / lint (push) Failing after 8m7s
Details 
P6 生产硬化阶段交付物（46 文件）：

## 1. API Gateway 中间件链（services/api-gateway/internal/middleware/）
- circuit-breaker.go: gobreaker v2 熔断器（5s 窗口/50% 错误率/30s OPEN→HALF_OPEN）
- ratelimit.go: 令牌桶限流（sync.Map + cleanup goroutine，默认 100rps/20 burst）
- cors.go: CORS 中间件（CORS_ORIGINS 环境变量）
- recovery.go: panic 恢复 + uuid request_id
- security.go: 安全头 + 请求体 10MB 限制
- requestid.go: 请求 ID 注入
- health/health.go: /healthz + /readyz 健康检查
- main.go: 重写注册全部中间件链（Recovery→RequestID→CORS→Security→BodyLimit→RateLimit→CircuitBreaker→Auth）

## 2. 基础设施硬化（infra/）
- backup/backup-mysql.sh: MySQL 全量备份（mysqldump+gzip，按服务独立）
- backup/restore-mysql.sh: 恢复脚本
- backup/backup-cron.sh: cron 调度入口（5 服务批量备份）
- alertmanager/alertmanager.yml: 告警路由（webhook + 邮件示例）
- prometheus/rules.yml: 8 条告警规则（服务可用性/性能/资源 3 组）
- grafana/dashboards/microservices-overview.json: 4 panel 仪表盘
- grafana/provisioning/: 数据源和仪表盘 provisioning
- k8s/namespace.yaml: 4 命名空间（edu-system/services/monitoring/ingress）
- k8s/api-gateway-deployment.yaml: Deployment + Service 骨架
- chaos/experiments.yaml: 3 个 Litmus 混沌实验（pod-kill/network-latency/disk-fill）
- docker-compose.monitoring.yml: 监控栈 profile
- security/secrets.example.env: 8 项密钥占位符
- security/waf-rules.conf: ModSecurity WAF 规则骨架

## 3. 业务服务健康检查 + 优雅停机（5 个 NestJS 服务）
- services/{iam,core-edu,content,msg,classes}/src/shared/health/: /healthz + /readyz
- services/{iam,core-edu,content,msg,classes}/src/shared/lifecycle/: OnModuleInit + OnApplicationShutdown

## 4. Python 服务健康检查
- services/{ai,data-ana}/src/health/health.py: FastAPI APIRouter

## 5. 运维文档
- docs/architecture/runbooks/p6-hardening.md: P6 总览 Runbook（9 章节）
- docs/architecture/runbooks/incident-response.md: 事件响应手册（5 章节）
- docs/architecture/004-p6-addendum.md: 004 架构补记 P6 章节
- docs/troubleshooting/known-issues-p6-addendum.md: 15 条 P6 场景→技术映射

## 验收信号
- RPO ≤ 15min（MySQL 备份 + binlog PITR）
- RTO ≤ 30min（K8s 滚动更新 + DNS 切换）
- P99 ≤ 500ms（熔断 + 限流 + 缓存）
- 熔断器错误率 > 50% 触发 OPEN
- 限流 100rps/20 burst
- 备份保留 7 天
- 混沌实验每月 1 次
 2026-07-08 02:16:58 +08:00
SpecialX
7474a92e3b feat(p5): messaging, push gateway and AI assistant services 
P5 阶段交付物：
- services/msg: 消息通知服务（NestJS）
  - notifications: 发送通知 + ES 全文检索 + search
  - config/elasticsearch.ts: ES Client 单例
  - package.json: 补充 @opentelemetry/sdk-node + exporter-trace-otlp-http
- services/push-gateway: WebSocket 推送网关（Go Gin）
  - internal/hub/hub.go: WebSocket 连接池管理（Register/Unregister/SendToUser）
  - internal/ws/handler.go: JWT 鉴权 + WebSocket 升级 + 内部推送 API
- services/ai: AI 辅助服务（Python FastAPI）
  - /chat + /chat/stream（SSE 流式）
  - /generate/question + /optimize/expression
  - config.py: OpenAI 兼容 API 配置
- packages/shared-proto/proto/msg.proto: NotificationService 契约（send/search）
- packages/shared-proto/proto/ai.proto: AiService 契约（含 stream 方法）
 2026-07-08 01:39:02 +08:00
SpecialX
9850bfcfd1 feat(p4): content analysis service with Neo4j knowledge graph and ClickHouse analytics 
P4 阶段交付物：
- services/content: 内容资源服务（NestJS）
  - textbooks: 教材 CRUD + 知识图谱绑定
  - config/neo4j.ts: Neo4j driver 单例
  - textbooks.service.ts: MySQL CRUD + Neo4j 知识图谱（createKnowledgeGraph/getPrerequisites）
  - package.json: 补充 @opentelemetry/sdk-node + exporter-trace-otlp-http
- services/data-ana: 数据分析服务（Python FastAPI）
  - main.py: FastAPI + /healthz + class_performance + student_weakness 骨架
  - clickhouse_client.py: ClickHouse 客户端封装
  - config.py: 环境变量配置
- packages/shared-proto/proto/content.proto: TextbookService + KnowledgeGraphService 契约
- packages/shared-proto/proto/analytics.proto: AnalyticsService 契约（class_performance/student_weakness）
 2026-07-08 01:38:35 +08:00
SpecialX
23246ade6d feat(p3): core teaching service with Outbox + Kafka event bus 
P3 阶段交付物：
- services/core-edu: 教学核心服务（DDD 限界上下文：exams/grades/homework/classes）
  - exams: 考试 CRUD + 事务内写 exam + outbox
  - grades: 成绩 CRUD
  - homework: 作业 CRUD
  - classes.module: 复用 P1 classes 模块（聚合到 core-edu 服务）
- Outbox 模式实现：
  - outbox.schema.ts: core_edu_outbox 表（id/aggregate_id/event_type/payload/status/retry_count）
  - outbox.repository.ts: 支持事务参数 tx，确保业务+事件原子性
  - outbox.publisher.ts: Kafka idempotent producer + transactionalId，TOPIC_MAP 路由 9 种事件，MAX_RETRY=5
- config/kafka.ts: idempotent producer + transactionalId 配置
- main.ts: 启动顺序 initTracer → connectKafka → outboxPublisher.start → app.listen
- packages/shared-proto/proto/core_edu.proto: ExamService/HomeworkService/GradeService 契约
- packages/shared-proto/proto/events.proto: ClassEvent/ExamEvent/HomeworkEvent/GradeEvent 领域事件契约
 2026-07-08 01:38:07 +08:00
SpecialX
524204d30a feat(p2): identity layer with IAM service and Teacher BFF 
P2 阶段交付物：
- services/iam: 完整身份认证服务（users/roles/permissions/refresh_tokens 6 表 schema）
  - register/login/refresh/getUserInfo 4 个核心 API
  - bcrypt 密码哈希 + JWT 双 Token（access + refresh）
  - 复用 classes 黄金模板（errors/observability/middleware 三件套）
- services/teacher-bff: 教师聚合 BFF
  - Promise.allSettled 并行聚合 IAM + classes 数据
  - /teacher/dashboard 单一聚合端点
- packages/shared-proto/proto/iam.proto: IamService 契约（Register/Login/RefreshToken/GetUserInfo）
- api-gateway: 新增 IamServiceURL/TeacherBffURL 配置 + /iam/* + /teacher/* 路由
 2026-07-08 01:37:29 +08:00
SpecialX
2ba4250165 feat(p1): complete P1 foundation stage
Some checks failed
CI Go / test (push) Has been cancelled
Details
CI Proto / lint (push) Has been cancelled
Details
CI Python / test (push) Has been cancelled
Details
CI TypeScript / test (push) Has been cancelled
Details 
- monorepo: pnpm workspace + go.work + pyproject.toml + commitlint/husky
- infra: docker-compose (minimal + full profiles) + init-sql + prometheus
- arch-scan: multi-language scanner skeleton (TS/Go/Python/Proto)
- shared-proto: buf v2 + classes.proto (ClassService CRUD contract)
- api-gateway: Go/Gin + JWT HS256 auth + reverse proxy + request ID
- classes: NestJS golden template (error system + observability + middleware + CRUD + tests)
- teacher-portal: Next.js + paper-feel UI design system
- CI/CD: 4 workflows (go/ts/py/proto)
- docs: migration guide + project_rules + coding-standards + git-workflow + ui-design-system + 004 + 9 module READMEs + known-issues + spec/plan migration + roadmap
 2026-07-07 23:39:37 +08:00