语音智能体怎么评？解读 Foundry 多轮评估器的一项内部研究

本文是对一篇微软 Foundry 博客文章的原创分析。数据均来自作者自述的微软内部研究，我只做归纳与评论，细节请以原文为准。

文章讨论的问题

语音智能体每天可能产生大量通话，智能体版本也在频繁更新，只靠人工听录音很难跟上。文章的出发点是：能否让评判模型读完整段多轮对话，自动给出结论。Foundry 提供了两种这样的评估器，文章用基准对话和一个 Foundry 语音智能体的轨迹，检验它们的可靠程度。

两种评估器的分工

第一种是任务完成评估器。它判断用户的任务是否被完整办成，输出一个是或否的结果，并附上解释。第二种是生成式评分标准评估器。它先根据你写下的评估要求生成评分细则，再给整段对话打 0 到 1 的加权总分，同时给出通过与否以及逐项得分。前者适合回答“事情办成了吗”，后者适合把团队自己关心的行为要求量化。

研究的主要数字

研究使用了 τ-Voice 基准中 3000 多段模拟通话，覆盖航空、零售与电信场景。另有 278 条来自一个以 gpt-realtime-2 为底座的 Foundry 语音智能体的轨迹。文章报告的要点如下：

以 gpt-5.6-terra 作评判时，任务完成评估器在基准通话上的均衡准确率约为 83%，原始准确率约为 85%。

对 12 个智能体按通过率排序，七个评判配置的 Kendall's τ 在 0.758 到 0.818 之间。通过率差距超过 10 个百分点的智能体对，排序方向全部与基准一致。

同一批通话评两次，平均预测一致率为 95.1%。七个评判中有六个保持了智能体排名，gpt-5.4-mini 的排名发生了变化。

在 Foundry 智能体轨迹上，七个评判的平均均衡准确率为 78.3%。

在电信对话上，生成式评分标准与任务完成各有高低：gpt-5.4 下前者低 2.3 个百分点，gpt-5.6-sol 下前者高 2.2 个百分点。

我的解读

先说我认为最有用的一点：数字本身不算惊艳，但文章对边界写得很克制。作者多次声明，研究没有做显著性检验，也没有比较价格、延迟，因此不能据此选出“最佳评判模型”。我同意这个态度。读这类结果时，最该关注的是评估器的用法，而不是排行榜。

对开发者而言，有三点具体影响。

1. 自动评估适合做大规模初筛和趋势监控，不宜直接当作最终裁决。均衡准确率在 80% 上下，意味着仍有相当比例的误判，关键通话需要人工抽检。 2. 比较不同智能体版本时，差距大的情形更可信。差距小的情形，排序更容易受评判噪声影响，需要多次评估或更多样本。 3. 同样设置下重复评估也会出现结论翻转，所以回归测试最好记录评判模型、重复次数和一致率，而不是只看单次分数。