Harness Eval：用Harness开启新的评测时代

Harness Eval：用Harness开启新的评测时代 Harness 在AI时代越来越重要。 因为真正让 Agent 跑起来的，不只是模型能力，还有拆任务、调工具、找证据、做验证的一整套 workflow。 但 Eval 不也是一套 workflow 吗？ 为什么 Agent 能动态规划，Benchmark 却还是固定题目、固定指标、固定分数？ 因此，我们把 Harness 搬进了 Evaluation。 让 Evaluator Agent 自己决定： 测什么、怎么测、调用哪些 skills、sub-agents 和 tools，并综合证据给出结…

Harness Eval：用Harness开启新的评测时代
Harness 在AI时代越来越重要。
因为真正让 Agent 跑起来的，不只是模型能力，还有拆任务、调工具、找证据、做验证的一整套 workflow。
但 Eval 不也是一套 workflow 吗？
为什么 Agent 能动态规划，Benchmark 却还是固定题目、固定指标、固定分数？
因此，我们把 Harness 搬进了 Evaluation。
让 Evaluator Agent 自己决定：
测什么、怎么测、调用哪些 skills、sub-agents 和 tools，并综合证据给出结论。

第一站，MirroS 联合国内外顶尖研究机构，以 World Model 为试验田，开源 HarnessEval。
World Model 恰好把传统评测的局限暴露得很明显：不同 case 对应不同 failure mode，需要验证的对象、证据和工具都不一样，很难被一套固定 rubric 穷尽。
所以 HarnessEval 里的 skills 不是固定检查项，而成为可以按 case 动态组合的 evaluation primitives。
评测路径本身，成为 Benchmark 的一部分。
这也是 HarnessEval 真正想做的变化：
从预先写死的 scoring pipeline，
走向可组合、扩展并持续迭代的 evaluation system。

#Harness[话题]# #AgenticAI[话题]# #Benchmark[话题]# #WorldModel[话题]# #RSI[话题]# #世界模型[话题]# #大模型[话题]# #PhysicalRSl[话题]#
Harness Eval：用Harness开启新的评测时代 Harness 在... https://xhslink.cn/o/AX2XBSNy2AA 复制这段话，然后去【小红书】就能找到笔记。
resolved_url: https://www.xiaohongshu.com/explore/6a83dce3000000002701e70b
xhs_capture_status: success