完整原始转录 · 音频文稿点击展开
Harness Eval:用Harness开启新的评测时代
Harness 在AI时代越来越重要。
因为真正让 Agent 跑起来的,不只是模型能力,还有拆任务、调工具、找证据、做验证的一整套 workflow。
但 Eval 不也是一套 workflow 吗?
为什么 Agent 能动态规划,Benchmark 却还是固定题目、固定指标、固定分数?
因此,我们把 Harness 搬进了 Evaluation。
让 Evaluator Agent 自己决定:
测什么、怎么测、调用哪些 skills、sub-agents 和 tools,并综合证据给出结论。
第一站,MirroS 联合国内外顶尖研究机构,以 World Model 为试验田,开源 HarnessEval。
World Model 恰好把传统评测的局限暴露得很明显:不同 case 对应不同 failure mode,需要验证的对象、证据和工具都不一样,很难被一套固定 rubric 穷尽。
所以 HarnessEval 里的 skills 不是固定检查项,而成为可以按 case 动态组合的 evaluation primitives。
评测路径本身,成为 Benchmark 的一部分。
这也是 HarnessEval 真正想做的变化:
从预先写死的 scoring pipeline,
走向可组合、扩展并持续迭代的 evaluation system。
#Harness[话题]# #AgenticAI[话题]# #Benchmark[话题]# #WorldModel[话题]# #RSI[话题]# #世界模型[话题]# #大模型[话题]# #PhysicalRSl[话题]#
Harness Eval:用Harness开启新的评测时代 Harness 在... https://xhslink.cn/o/AX2XBSNy2AA 复制这段话,然后去【小红书】就能找到笔记。
resolved_url: https://www.xiaohongshu.com/explore/6a83dce3000000002701e70b
xhs_capture_status: success