Agent Pipeline
Human Judgment

不是用 AI 辅助标注。是整条数据供应链由 Agent 驱动,人类只介入判断节点。

传统模式
人海战术 + Excel + 按条计费
AI Native
Agent 编排 + 人类判断 + RL 闭环
01
Observe
情报扫描
Agent 扫描 93 个 HF 组织、125 个 X 账户,追踪数据集趋势与竞品动态
Human 决定追踪方向,判断情报价值
02
Analyze
逆向分析
Agent 逆向样本结构,自动生成标注规范、成本模型、复刻方案
Human 审核方案可行性,调整生产参数
03
Produce
数据生产
Agent 种子扩增、模板合成、批量生产,精确成本计算
Human 定义 Schema,审核合成质量
04
Judge
人类判断
Agent 预标注、任务分发、进度统计
Human 核心判断——这个回答是好的吗?这个推理是对的吗?
05
Verify
质量验证
Agent 9 规则自动检查、异常检测、模型指纹审计
Human 审计模型是否真正吸收了数据的价值
06
Train
训练闭环
Agent 轨迹录制、Reward 计算、Pipeline 编排
Human 定义 Rubric,调整奖励函数,评估训练效果
Train 的输出回流 Observe,持续迭代

蚁聚社区

Agent Pipeline 中每一个 Human 标签背后,是一个结构化的专家判断网络。

传统众包
机械劳动力池 + 按条计费 + 不可追溯
蚁聚社区
专家网络 + 能力模型 + 信号提纯
0
判断者节点
平均 3 天内完成任务匹配
0
专业领域
从代码推理到医学法律
0
本科以上
真正的从业者
0
平均年龄
AI 原生一代,理解前沿模型
TIER 1
Domain Expert
领域专家
提供能力评测判断
Judge 定义 Rubric,设计评价标准
Train 校准奖励函数,评估训练效果
Verify 审计模型是否真正吸收数据价值
数学博士 · 法律教授 · 资深架构师
TIER 2
Skilled Annotator
专业标注师
执行偏好对齐判断
Judge 偏好打分,成对比较,推理校验
Produce 审核合成质量,定义 Schema
Analyze 审核逆向方案可行性
全栈工程师 · 产品经理 · 数据分析师
TIER 3
Crowd Validator
社区验证员
完成数据生产判断
Verify 多人交叉验证,一致性检查
Observe 情报价值初筛,边界测试
Produce 数据采集,基础标注
在读硕士 · 自由职业者 · 跨领域爱好者

Signal Quality Assurance

人类信号从噪声中提纯的三层机制

01
多人交叉验证
同一任务分发给多名标注者独立完成,计算共识度(Inter-Annotator Agreement),低一致性样本自动触发专家复审。
图像标注一致性 < 70% → 自动发送至计算机视觉专家复审
02
能力模型校准
每位判断者持有领域能力向量,基于历史表现动态更新权重。高权重判断者的信号在 Reward Model 训练中获得更高置信度。
数学推理任务中,博士标注者权重 ×1.8,本科标注者 ×1.0
03
持续反馈回路
模型训练结果反馈至蚁聚社区。当模型在特定领域表现退化,自动追溯对应标注数据,校准信号来源。
模型在法律场景准确率下降 → 自动追溯该领域近期标注数据

智力资产化

判断者的贡献不是一次性消耗,而是可追溯、可累积的智力资产

传统模式
计件消耗
标注完即结束
贡献不可追溯
劳动一次性消耗
无法衡量个体价值
蚁聚模式
智力股权
贡献可追溯
能力模型持续积累
高质量信号持续分红
署名绑定,专家身份增值

覆盖领域

训练数据类型 × 专业领域的全覆盖网络

训练数据类型

SFT 指令微调 RLHF 偏好对齐 Reward 建模 Agent / 工具调用 代码生成 多模态 多语言 合成数据 评测基准

专业领域

代码开发 数学推理 逻辑推理 金融分析 医疗健康 法律咨询 学术研究 内容创作 产品设计 数据分析 机械工程 教育培训 生物科学 心理学
0 MCP Tools

整个基础设施对外暴露 130 个 MCP 端点。
你的 Agent 可以直接调用我们的能力。

Radar 19 · Recipe 12 · Synth 9 · Label 12 · Check 11 · Audit 8 · Gym 19 · knowlyr-crew 40
竞品监控

Agent 调用 Radar MCP 扫描 HuggingFace 新数据集,自动生成周报

Radar · Recipe
数据质检

上传数据集后 Agent 自动运行 9 规则检查,输出质量报告

Check · Audit
合成生产

Agent 读取 Schema → 调用 Synth 批量生成 → Label 分发标注任务

Synth · Label
// claude_desktop_config.json { "mcpServers": { "knowlyr-datacheck": { "command": "knowlyr-datacheck", "args": ["mcp"] } } }

技术咨询

社区运营、API 接入、基础设施相关问题,找他们

赵七条
赵七条
Operations
贺杨均
贺杨均
Operations
周念慈
周念慈 AI
社区运营官
卫子昂
卫子昂 AI
前端工程师
罗清河
罗清河 AI
数据工程师
马骁
马骁 AI
运维工程师

所有工具链已开源,CLI + MCP 双模式,支持 Claude、VS Code 和自定义 Agent

查看全部开源项目 →