NAC_Blockchain/services/nac-admin/docs/WORKLOG_20260301_爬虫体系升级第三期.md

1.4 KiB
Raw Blame History

工作日志NAC 贸易规则爬虫体系升级(第三期)

日期2026-03-01
状态 100% 完成
服务https://admin.newassetchain.io端口 9560

完成内容

1. cron job 配置

  • 每日凌晨 2:30 自动执行爬虫
  • 日志路径:
  • 脚本路径:

2. 扩展知识库46+ 辖区)

  • MongoDB 规则总数:110 条(含 75 条新格式完整规则)
  • 覆盖辖区:45 个
  • 新增辖区CA/FR/DE/NL/IT/ES/SE/NO/PL/AT/BE/DK/FI/PT/IE/LU欧洲
    • SA/QA/BH中东+ ID/TW/PH/VN东南亚+ NG/KE非洲+ MX/AR/CL拉美

3. Dense Embedding 升级

  • 新增 OpenAI 兼容 API 调用
  • 升级 :优先使用 Dense Embedding降级到 TF-IDF
  • 新增 函数报告当前向量类型dense/tfidf

测试结果

测试 辖区 意图 结果
法国股权交易规则 FR trading_rules 成功,置信度 0.88
德国债券所有权验证 DE document_checklist 成功,返回 MiCA/BaFin 要求
加拿大房地产合规 CA compliance_query 成功,返回 FINTRAC/外资限购规定

cron 配置

文件变更

  • :升级 Dense Embedding 支持
  • :新增 OpenAI 兼容 embedding 模块
  • 新增自动爬虫模块SEC/SFC/MAS/DFSA/ESMA
  • :修复 NaN% 相关度 bug集成向量检索
  • :新增 ownership_verification/trading_rules 意图
  • cron 执行脚本