哪些任务值得测
哪些样本值得人看
本周扫描 86 个 HF 组织 · 50 个 GitHub 组织 · 71 个博客 · 125 个 X 账户
11月11日至12日论文分别研究自适应人工审计与固定预算偏好数据 [P0]、Surge AI于11月10日集中更新三项专业Agent评估基准 [P0]、NVIDIA于11月10日为GRAIL新增12,512条楼梯运动 [P1]。本周最强数据需求信号:专业多模态任务与评分准则。
Key Findings
本周 5 条高商业价值发现
2026-11-12 发表的《Human or Synthetic? What a Fixed Budget Buys for Post-Training》将人类与合成偏好数据的比较,从固定样本数转向固定预算下的 SFT 与 DPO 配置。2026-11-11 发表的《Anytime-Valid Empirical Likelihood Inference from LLM Annotations with Adaptive Human Auditing》提出 AAELI 框架,针对模型输出相对人类判断的偏差与校准问题引入自适应人工审计。现有摘要未提供足以判定哪种数据方案全面胜出的实验结果。
2026-11-10,Surge AI 的 `surgeai/Handbook-v1.1`、`surgeai/ComplexConstraints-v1.1`、`surgeai/Chartography-harbor` 在扫描中分别记录 60、28、489 次下载。Handbook 面向包含公司工具与 MCP 服务器的长上下文企业任务,覆盖五个企业领域。ComplexConstraints 包含 75 个专家设计提示,每个配套 10—40 项评分准则。Chartography 包含 100 个真实世界提示及专业图表任务,涉及桑基图、蜡烛图、等高线图和波特图等。
`nvidia/PhysicalAI-Robotics-Locomanipulation-GRAIL` 的数据卡明确记录,2026-11-10 新增 `stair_p3` 与 `stair_p4`,包含 12,512 条上下楼运动,覆盖 2,000 个新增程序生成楼梯资产,序列长度为 5—12 秒;快照下载量为 48,453、点赞数为 51。窗口前的 `nvidia/G1-Factory-Benchmark`(2026-10-20,269 次下载)包含九项工业任务的 900 条人类遥操作示范;`nvidia/PhysicalAI-Human-1M-100K`(2026-11-04,8,244 次下载)提供第一视角视频、语言描述及头手姿态。
`google/multimodal-knowledge-agent` 日期为 2026-11-09,快照下载量 2,239、点赞数 25,提供 10 个展示案例,评估专业领域复杂、多步骤的真实视觉知识工作,涉及文档、地理空间和图像模态。作为窗口前背景,`google/physical-engineerings-last-exam` 日期为 2026-10-18,下载量 42,331、点赞数 50,其长时程工程任务由四个学科的持证执业工程师构建。GitHub 中 `allenai/olmocr` 为 19,822 星,`google-deepmind/science-skills` 为 3,472 星,均为存量快照。
2026-11-09 的 `facebook/personalized-hearing` 记录 425 次下载、1 个点赞,面向可穿戴听觉助手的长期个性化记忆评估,明确仅供基准测试使用。同日的 `facebook/xrstereo` 记录 201 次下载、3 个点赞,提供静态场景中移动相机生成的校正立体视频对及稠密视差。两者均标注 CC BY-NC 4.0。随后,`facebook/meta-encoder-v1` 于 2026-11-12 发布或更新,记录 163 次下载、31 个点赞,包含多模态嵌入及视频检索标签。
Demand Signals
从模型发布反推训练数据需求
想深聊本期内容?
由 AI Dataset Radar 自动生成 · 每周更新
AI Dataset Radar →