62 lines
1.9 KiB
Markdown
62 lines
1.9 KiB
Markdown
# 模块03：采集器监控 - 运维日志
|
||
|
||
**模块路径**：`/crawlers`
|
||
**前端文件**：`client/src/pages/Crawlers.tsx`
|
||
**后端路由**：`server/routers.ts` → `crawler.*`
|
||
**数据源**：MongoDB（nac_knowledge_engine.crawlers）
|
||
|
||
---
|
||
|
||
## 功能说明
|
||
|
||
采集器监控模块管理 NAC 知识引擎的数据采集任务，负责从各司法辖区的监管机构网站自动抓取最新合规规则。
|
||
|
||
## 数据模型
|
||
|
||
```typescript
|
||
interface Crawler {
|
||
_id: ObjectId;
|
||
name: string; // 采集器名称
|
||
source_url: string; // 采集源 URL
|
||
jurisdiction: string; // 目标辖区
|
||
status: "running" | "stopped" | "error";
|
||
last_run: Date; // 最后运行时间
|
||
success_rate: number; // 成功率（0-100）
|
||
items_collected: number; // 已采集条目数
|
||
schedule: string; // Cron 表达式
|
||
created_at: Date;
|
||
}
|
||
```
|
||
|
||
## 预置采集器（8个）
|
||
|
||
| 采集器 | 来源 | 辖区 | 状态 |
|
||
|--------|------|------|------|
|
||
| MAS 监管规则采集器 | mas.gov.sg | SG | running |
|
||
| SFC 合规规则采集器 | sfc.hk | HK | running |
|
||
| 人民银行规则采集器 | pbc.gov.cn | CN | running |
|
||
| ADGM 规则采集器 | adgm.com | AE | running |
|
||
| DIFC 规则采集器 | difc.ae | AE | running |
|
||
| MiCA 法规采集器 | esma.europa.eu | EU | running |
|
||
| SEC 规则采集器 | sec.gov | US | running |
|
||
| FINMA 规则采集器 | finma.ch | CH | stopped |
|
||
|
||
## API 端点
|
||
|
||
| 端点 | 方法 | 说明 |
|
||
|------|------|------|
|
||
| `crawler.list` | Query | 获取采集器列表 |
|
||
| `crawler.trigger` | Mutation | 手动触发采集任务 |
|
||
| `crawler.updateConfig` | Mutation | 更新采集器配置 |
|
||
|
||
## 运维操作
|
||
|
||
```bash
|
||
# 查看采集器状态
|
||
mongosh "mongodb://root:idP0ZaRGyLsTUA3a@localhost:27017/nac_knowledge_engine?authSource=admin" \
|
||
--eval "db.crawlers.find({}, {name:1, status:1, last_run:1, success_rate:1}).pretty()"
|
||
|
||
# 查看采集日志
|
||
journalctl -u nac-admin -n 100 | grep "crawler"
|
||
```
|