摘要

AI 训练数据的竞争情报长期面临信息不对称、源碎片化和被动式监控三重瓶颈。AI Dataset Radar 提出一种多源异步竞争情报引擎：通过 aiohttp 全链路并发采集覆盖 7 大数据源共 337+ 监控目标（86 HF orgs / 50 GitHub orgs / 71 博客 / 125 X 账户 / 5 Reddit / Papers with Code），通过组织级水位线增量扫描将 API 调用量从 $O(N)$ 降至 $O(\Delta N)$，通过 7 条异常检测规则跨 4 类别实现从被动查看到主动告警的闭环。

AI Dataset Radar 实现了一个多源异步竞争情报引擎，覆盖 86 个 HuggingFace 组织、50 个 GitHub 组织、71 个博客、125 个 X 账户、5 个 Reddit 社区以及 Papers with Code。系统特色包括组织级水位线增量扫描（将 API 调用量从 $O(N)$ 降至 $O(\Delta N)$）、4 类别 7 条规则的异常检测，以及三维交叉分析（竞品矩阵、数据集谱系、组织关系图谱）。对外暴露 19 个 MCP 工具、19 个 REST 端点和 7 个 Claude Code Skills，实现 Agent 原生集成。

系统架构

flowchart TD
    subgraph S[" 7 大数据源 · 337+ 监控目标"]
        direction LR
        S1["HuggingFace<br/>86 orgs"] ~~~ S2["GitHub<br/>50 orgs"] ~~~ S3["博客<br/>71 sources"]
        S4["论文<br/>arXiv + HF"] ~~~ S5["X / Twitter<br/>125 accounts"] ~~~ S6["Reddit<br/>5 communities"]
        S7["Papers with Code"]
    end

    S --> T["采集器<br/>aiohttp 异步 · 组织级水位线"]
    T --> A["分析器<br/>分类 · 趋势 · 矩阵 · 谱系 · 组织图谱"]
    A --> D["异常检测<br/>7 规则 × 4 类别 · 指纹去重"]

    subgraph O[" 输出层"]
        direction LR
        O1["JSON 结构化数据"] ~~~ O2["Markdown 报告"] ~~~ O3["AI 洞察分析"]
    end

    D --> O

    subgraph I[" Agent 接口层"]
        direction LR
        I1["REST API<br/>19 端点"] ~~~ I2["MCP Server<br/>19 工具"] ~~~ I3["Skills<br/>7 命令"] ~~~ I4["仪表盘<br/>12 面板"]
    end

    O --> I

    style S fill:#1a1a2e,color:#e0e0e0,stroke:#444
    style T fill:#0969da,color:#fff,stroke:#0969da
    style A fill:#8b5cf6,color:#fff,stroke:#8b5cf6
    style D fill:#e5534b,color:#fff,stroke:#e5534b
    style O fill:#1a1a2e,color:#e0e0e0,stroke:#444
    style I fill:#2da44e,color:#fff,stroke:#2da44e

核心特性

快速开始

git clone https://github.com/liuxiaotong/ai-dataset-radar.git
cd ai-dataset-radar
pip install -r requirements.txt && playwright install chromium
cp .env.example .env  # 编辑填入 Token

# 基础扫描（自动生成 AI 分析报告）
python src/main_intel.py --days 7

# 扫描 + DataRecipe 深度分析
python src/main_intel.py --days 7 --recipe

# Docker
docker compose run scan

数据源

生态系统