23种语言进入智能体评测
人类判断从翻译走向任务验收
本周扫描 86 个 HF 组织 · 50 个 GitHub 组织 · 71 个博客 · 125 个 X 账户
Qwen 发布覆盖23种语言、16,146个任务实例的 BabelArena [P0]、NVIDIA 发布系统与用户指令层级评估规则数据集 [P0]、Meta 发布800份冻结记忆历史,论文收集约1,000次记忆偏好判断 [P1]。本周最强数据需求信号:多语言 Agent 任务与判断。
Key Findings
本周 5 条高商业价值发现
2026-10-22,Qwen 发布 `Qwen/BabelArena`,覆盖23种语言、13个领域和4类 Agent 基准,包含702个标准任务、16,146个任务实例,扫描下载量9,637、点赞9。其本地化范围不仅包括提示词,还覆盖任务、工具描述等 Agent 接触的组件。同期,2026-10-21发表的《Task-Preserving Multilingual Instruction Tuning for Open-Ended QA in WMT 2026 MIST》研究保持任务语义的多语言本地化。
2026-10-22,NVIDIA 发布 `nvidia/Nemotron-System-User-Instruction-Hierarchy-v1`,扫描下载量787、点赞7,内容为模型生成的评估规则,用于判断回答是否遵守系统与用户消息之间的指令层级。2026-10-20,Allen AI 发布 `allenai/novelty-judge-bench`,下载量512、点赞4,研究主题指向 LLM 新颖性评估的不稳定性。扫描中的 evaluation 类条目由上期1个增至6个,但这一变化属于扫描结果构成变化,不能直接解释为市场需求增长5倍。
2026-10-20,Meta 发布 `facebook/MemProBench`,提供800份冻结记忆历史,扫描下载量867、点赞6。2026-10-22发表的《Memory-Aware Reward Modeling: Learning Human Preferences for LLM Memory Use》收集87名参与者的约1,000次成对判断,研究记忆使用是否真正改善用户体验。同日发表的《Abstract Priorities, Concrete Rewards: How Stated Preferences Relate to What People Reward in AI Responses》基于 PRISM 数据集中1,396名参与者,比较声明偏好与实际奖励偏好。
2026-10-19,NVIDIA 发布 `nvidia/Nemotron-Personas-Germany` 和 `nvidia/Nemotron-Personas-UK`,分别获得3,077和2,144次下载、53和34个点赞,均以现实人口等分布为基础生成合成人设。同日,Meta 为 `facebook/show3d-dataset` 更新 object_pose/v2,覆盖1,176段训练录制和390段测试录制,并发布 hand_pose/v3 的测试部分及 interaction_field/v1;该数据集扫描下载量142,553、点赞14,许可为 CC BY-NC 4.0。
2026-10-18,Anthropic 发布 `Anthropic/scorpion-toxin-binder-design`,扫描下载量6,217、点赞43,采用 CC BY 4.0。材料描述 Claude 针对5种蝎毒素设计结合蛋白,由 Adaptyv Bio 和 Twist Bioscience 两家合同研究机构通过表面等离子共振实验测量结合情况,并报告17个设计为结合蛋白。
Demand Signals
从模型发布反推训练数据需求
想深聊本期内容?
由 AI Dataset Radar 自动生成 · 每周更新
AI Dataset Radar →