1.9 KiB

Raw Permalink Blame History

模块03：采集器监控 - 运维日志

模块路径：/crawlers
前端文件：client/src/pages/Crawlers.tsx
后端路由：server/routers.ts → crawler.*
数据源：MongoDB（nac_knowledge_engine.crawlers）

功能说明

采集器监控模块管理 NAC 知识引擎的数据采集任务，负责从各司法辖区的监管机构网站自动抓取最新合规规则。

数据模型

interface Crawler {
  _id: ObjectId;
  name: string;           // 采集器名称
  source_url: string;     // 采集源 URL
  jurisdiction: string;   // 目标辖区
  status: "running" | "stopped" | "error";
  last_run: Date;         // 最后运行时间
  success_rate: number;   // 成功率（0-100）
  items_collected: number; // 已采集条目数
  schedule: string;       // Cron 表达式
  created_at: Date;
}

预置采集器（8个）

采集器	来源	辖区	状态
MAS 监管规则采集器	mas.gov.sg	SG	running
SFC 合规规则采集器	sfc.hk	HK	running
人民银行规则采集器	pbc.gov.cn	CN	running
ADGM 规则采集器	adgm.com	AE	running
DIFC 规则采集器	difc.ae	AE	running
MiCA 法规采集器	esma.europa.eu	EU	running
SEC 规则采集器	sec.gov	US	running
FINMA 规则采集器	finma.ch	CH	stopped

API 端点

端点	方法	说明
`crawler.list`	Query	获取采集器列表
`crawler.trigger`	Mutation	手动触发采集任务
`crawler.updateConfig`	Mutation	更新采集器配置

运维操作

# 查看采集器状态
mongosh "mongodb://root:idP0ZaRGyLsTUA3a@localhost:27017/nac_knowledge_engine?authSource=admin" \
  --eval "db.crawlers.find({}, {name:1, status:1, last_run:1, success_rate:1}).pretty()"

# 查看采集日志
journalctl -u nac-admin -n 100 | grep "crawler"

1.9 KiB Raw Permalink Blame History Unescape Escape