Radar Brief 2026 年第 37 周 · 2026-11-07 — 2026-11-14

哪些任务值得测
哪些样本值得人看

本周扫描 86 个 HF 组织 · 50 个 GitHub 组织 · 71 个博客 · 125 个 X 账户

0
高价值数据集
0
相关论文
0
博客文章
0
活跃仓库
一句话速览

11月11日至12日论文分别研究自适应人工审计与固定预算偏好数据 [P0]、Surge AI于11月10日集中更新三项专业Agent评估基准 [P0]、NVIDIA于11月10日为GRAIL新增12,512条楼梯运动 [P1]。本周最强数据需求信号:专业多模态任务与评分准则。

Key Findings

本周 5 条高商业价值发现

P0 11月11日至12日论文分别研究自适应人工审计与固定预算偏好数据 [P0]

2026-11-12 发表的《Human or Synthetic? What a Fixed Budget Buys for Post-Training》将人类与合成偏好数据的比较,从固定样本数转向固定预算下的 SFT 与 DPO 配置。2026-11-11 发表的《Anytime-Valid Empirical Likelihood Inference from LLM Annotations with Adaptive Human Auditing》提出 AAELI 框架,针对模型输出相对人类判断的偏差与校准问题引入自适应人工审计。现有摘要未提供足以判定哪种数据方案全面胜出的实验结果。

商业意义 → 两项研究共同指向一个可验证机会:客户需要的不只是更多反馈,而是知道有限预算下哪些样本值得交给人判断。集识光年可提供“模型预处理+不确定样本筛选+付费人类判断+误差审计”的服务,按成本、错误发现率和下游效果证明价值,而非笼统宣称人类数据总是优于合成数据。
P0 Surge AI于11月10日集中更新三项专业Agent评估基准 [P0]

2026-11-10,Surge AI 的 `surgeai/Handbook-v1.1`、`surgeai/ComplexConstraints-v1.1`、`surgeai/Chartography-harbor` 在扫描中分别记录 60、28、489 次下载。Handbook 面向包含公司工具与 MCP 服务器的长上下文企业任务,覆盖五个企业领域。ComplexConstraints 包含 75 个专家设计提示,每个配套 10—40 项评分准则。Chartography 包含 100 个真实世界提示及专业图表任务,涉及桑基图、蜡烛图、等高线图和波特图等。

商业意义 → 竞品正在把专业判断沉淀为任务、评分准则和评估环境,而不只是交付数据。对集识光年而言,值得切入的是多约束指令审核、专业图表推理、企业流程合规评判。人类判断的价值在于定义“业务上真正正确”的标准、解释约束冲突并裁决边界案例;下载量尚不足以证明规模采购,但产品化竞争已清晰可见。
P1 NVIDIA于11月10日为GRAIL新增12,512条楼梯运动 [P1]

`nvidia/PhysicalAI-Robotics-Locomanipulation-GRAIL` 的数据卡明确记录,2026-11-10 新增 `stair_p3` 与 `stair_p4`,包含 12,512 条上下楼运动,覆盖 2,000 个新增程序生成楼梯资产,序列长度为 5—12 秒;快照下载量为 48,453、点赞数为 51。窗口前的 `nvidia/G1-Factory-Benchmark`(2026-10-20,269 次下载)包含九项工业任务的 900 条人类遥操作示范;`nvidia/PhysicalAI-Human-1M-100K`(2026-11-04,8,244 次下载)提供第一视角视频、语言描述及头手姿态。

商业意义 → 这些材料显示,程序生成场景与人类行为示范是并行路线,并非简单替代关系。集识光年不宜直接竞争仿真生成规模,而应试做运动失败归因、任务完成判定、接触风险评审、第一视角动作意图判断。合成运动数量增长并不自动证明真实部署安全,需要以人类判断补充任务与风险标准;同时须注意 GRAIL 的 CC BY-NC 4.0 非商业许可限制。
P1 Google于11月9日发布含10个展示案例的多模态知识Agent基准 [P1]

`google/multimodal-knowledge-agent` 日期为 2026-11-09,快照下载量 2,239、点赞数 25,提供 10 个展示案例,评估专业领域复杂、多步骤的真实视觉知识工作,涉及文档、地理空间和图像模态。作为窗口前背景,`google/physical-engineerings-last-exam` 日期为 2026-10-18,下载量 42,331、点赞数 50,其长时程工程任务由四个学科的持证执业工程师构建。GitHub 中 `allenai/olmocr` 为 19,822 星,`google-deepmind/science-skills` 为 3,472 星,均为存量快照。

商业意义 → 需求正从“读出文档文字”延伸到“结合视觉证据完成专业任务”,但 10 个案例尚不是大规模训练语料。可开发的品类包括跨文档证据链、图纸与表格联合判断、专业任务过程及结果评审。人类判断主要用于确认遗漏证据、识别专业错误,并给出可复核的验收依据,不能仅用 OCR 正确率替代。
P2 Meta于11月9日发布长期听觉个性化与合成立体视频数据集 [P2]

2026-11-09 的 `facebook/personalized-hearing` 记录 425 次下载、1 个点赞,面向可穿戴听觉助手的长期个性化记忆评估,明确仅供基准测试使用。同日的 `facebook/xrstereo` 记录 201 次下载、3 个点赞,提供静态场景中移动相机生成的校正立体视频对及稠密视差。两者均标注 CC BY-NC 4.0。随后,`facebook/meta-encoder-v1` 于 2026-11-12 发布或更新,记录 163 次下载、31 个点赞,包含多模态嵌入及视频检索标签。

商业意义 → 这是长期记忆和空间感知的早期信号,当前下载量不足以确认规模需求。集识光年可储备记忆相关性、个体偏好冲突、错误回忆纠正、隐私边界的判断任务设计。此类服务必须以知情同意、最小化采集和可撤回为前提;上述非商业或用途受限数据不能直接当作商业训练资产。

Demand Signals

从模型发布反推训练数据需求

数据类型 强度 趋势 关联信号
专业多模态任务与评分准则
极强 ↑ 新增
Google MKA 11月9日发布;Surge 11月10日集中更新三项基准
企业Agent多约束判断
强 ↑ 新增
Handbook 覆盖五个企业领域;ComplexConstraints 含75个专家提示
机器人运动与失败评审
强 ↑ 新增
NVIDIA GRAIL 11月10日新增12,512条运动 · 2,000个楼梯资产
合成反馈的人类审计
中 ↑ 新增
11月11日 AAELI 研究自适应人工审计,11月12日论文比较固定预算偏好数据
长期记忆与个性化判断
强 ↑ 新增
Meta personalized-hearing 11月9日发布,425次下载
立体视觉与空间一致性
强 ↑ 新增
Meta xrstereo 11月9日发布,201次下载
提示扩写与图像意图保持
强 ↑ 新增
MiniMax H3-Image-PE 11月8日发布或更新,1,668次下载
多语言能力回归评测
中 ↑ 新增
11月11日论文报告数学收益伴随 Indic 问答能力下降
编码Agent轨迹及验证器
强 ↑ 新增
Terminal-Corpus 13,866次下载;Snorkel 博客强调验证器加固
代码 Agent 数据 ↓ 退出 上期出现,本期未出现
机器人/具身智能数据 ↓ 退出 上期出现,本期未出现
文档 OCR 数据 ↓ 退出 上期出现,本期未出现
RLHF 偏好数据 ↓ 退出 上期出现,本期未出现
多语言语音数据 ↓ 退出 上期出现,本期未出现
安全/内容审核数据 ↓ 退出 上期出现,本期未出现
合成视觉数据 ↓ 退出 上期出现,本期未出现

想深聊本期内容?

Kai
Kai Founder & CEO
苏文
苏文 AI 文档与发布工程师
陆明哲
陆明哲 AI 产品经理

由 AI Dataset Radar 自动生成 · 每周更新

AI Dataset Radar →