怎样评估一个 Skill?
我们都知道怎么去创建一个 Skill,以及怎么去使用它,而且每个人对这一过程都有不同的理解和自己的偏好。但是,它在具体运行的过程中所达到的效果,是否如我们所预期、所设计的那样?
我们是凭着直觉,或者说一种整体的体感来估算这一预期,还是能够通过一些量化的方法,比较明确地评估一个 Skill 在整个生命周期中的表现是否如我们所想?
一般来说,一个 Skill 大致分为两个部分。
首先是 Description,也就是它的描述。一方面,它用来总结这个 Skill 能干什么;另一方面,它也作为一个触发的语义入口,包含一些关键词和适用场景,供大模型自动识别并触发。
而 Skill 的另一部分就是它的 Body,也就是正文部分。它大致包含需要给 Agent 下达的一些指令、规则和门控条件;遇到有明确规则的步骤时,应该怎么去拆解;以及提供一些没有歧义的示例、样板,供大模型参考,包括最终输出的格式应该是什么样的,等等。它定义了大模型调用这个 Skill 时应当遵循的约束和规范。
所以,如果我们想要评估一个 Skill,首先应该从这两方面入手,也就是 Description 表现怎么样,以及整个 Body 部分,也就是功能部分表现怎么样。
这两者可以分别称作 Triggering Quality 和 Functional Quality,也就是触发质量和功能质量。
但是,作为一个 Skill,我们使用它是为了达成某些目的,比如修复一个 Bug,或者写一份具有某种格式的调研报告。那么,接下来第三个可以评估的方面,就是这个目的是否被达到了。
所以,一个 Skill 的完整评估(Evaluation)可以分为三个部分:
- Triggering Quality,触发质量;
- Functional Quality,功能质量;
- Outcome Quality,结果质量。
一、Triggering Quality:触发质量
我们先说 Triggering Quality,也就是触发质量。
要评估一个 Skill 是否按照我们的预期触发,其实存在两个矛盾:应该被触发的,没有被触发;或者说,不应该触发的,反倒被触发了。
反映前者的一个量化指标是 Recall,也就是召回率。它指的是在所有应该触发的案例中,实际被正确触发的案例占多少比例。
而后者对应的另一个指标叫 Precision,也就是精确率。它指的是在所有实际触发的案例中,应该触发而且确实被触发的案例占多少比例。
有了这两个指标,我们就可以比较明确地展示刚才说到的,在 Triggering Quality 里面的这两个矛盾。
Recall 上升,表示预期应该触发的这些 Case 里面,实际上被触发的比例有所提升;Precision 提高,表示在已经触发的这些 Case 里面,正确触发的比例有所提高。
这两者都是正向的量化指标,数值越大,表示对应方面的效果越好。不过,单独提高其中一个指标,并不一定意味着整体的 Triggering Quality 更好,还需要结合另一个指标来看。
二、Functional Quality:功能质量
而说到 Skill 的功能质量如何测试,就是一个比较难以量化的问题。
因为一个 Skill 的 Body 里面可能包含多种不同的内容,我们还要根据这些内容,判断它在执行过程中应该遵循怎样的规则和轨迹。
举例来说,一个 Fix Bug 的 Skill 里面,如果详细写了第一步、第二步、第三步、第四步,但大模型在执行过程中并没有读取这些规则,或者说读取了这些步骤,但是没有实际执行,只是按照自己的方式做出了回应、采取了行动,这也是一个比较典型的案例。
所以,我们需要给一个 Skill 编写一些测试案例,把 Skill 的 Body 拆解成多个可以评估的维度,比如指令服从性、格式服从性、工具调用的准确性、工具调用的成功率等等,然后通过测试集,把它们量化成一些肉眼可见的分数。
但是这里面又存在两个矛盾。
其一,这些不同维度的指标,其实并不能均匀地反映一个 Skill 的功能质量(Functional Quality)。所以,我们需要给不同的维度加权,让重要的那部分维度在总分之中拥有更大的话语权。
另一方面,有些指标或者说维度,是和 Skill 本身强相关的。也就是说,假如某个指标的质量不达标,或者完全失败了,那么可以视作整个过程的其他部分都失去了意义和效用。
这就引出了 Functional Quality,也就是 Skill Body 部分评估的另一种方式——一票否决。
假如某个指标严重影响了 Skill 的执行结果,那么当这个维度的量化指标低于某个阈值的时候,就可以视作整个 Functional Quality 的失败,甚至不必再看其他维度的打分或者权重。
从另一个方面来说,一票否决也可以看作权重的一种极端体现。就是说,在这个指标低于或者高于某个特定阈值的时候,它的重要性上升到了足以决定整体是否通过的程度。
三、Outcome Quality:结果质量
除了这两个矛盾之外,还需要解决另外一个问题:测试集的成功,是否可以真实反映 Functional Quality,乃至整个 Skill 的实际效果?
这就对应到第三部分,对于 Skill 执行结果的评估。
一个 Skill 被成功地触发,或者说被合理地触发,然后准确地按照它的规则做完了应该做的事,测试集也表现良好,但是最终却并没有拿到一个预期的结果。
打个比方,一个 Fix Bug 的 Skill 被触发,然后它也走完了修复 Bug 的所有步骤,展示了一份符合我们要求的最终报告,但是这个 Bug 却没有被修复。
所以说,实际上它的结果是不符合预期的。这就是所谓的过程测试通过了,但是实际结果却不达标的情况,也就是对应 Skill 评估的第三部分:结果量化。
遇到这种问题,我们要先看这些 Case 是否正确地覆盖到了结果质量的部分。如果不是,则需要扩充测试案例的种类和覆盖范围,来获得比较准确的量化结果。
如果已经覆盖了,那么再往上看一层,评估这些 Case 的评分器,也就是 Grader,或者说 Judge,是否做到了一致性和准确性。
前者指的是它在一系列测试中表现稳定,而后者指的是它对于结果的判断符合我们的设计预期,或者说与可靠的参考标准保持一致。
四、持续优化与测试集泄露
讲完了这些,还有另外一个问题。
当我们量化完一个 Skill,走完了这三大部分,我们会去进行一些调整,做一些尽可能控制单一变量的持续优化。
在这个过程中,我们需要有一套用于开发和迭代的测试集,还需要有一套独立的保留测试集(Holdout Test Set),来对迭代结果进行最终的确认和复核。
同时,还要防止测试集泄露。
也就是说,我们用原本的测试集做完量化和迭代之后,发现结果在复验时,用 Holdout Test Set,也就是保留测试集来测试,却没有通过。
于是,我们又开始根据保留测试集的结果不断调整 Skill,不断量化和迭代。
这样一来,原本用于独立复验的保留测试集,也逐渐参与了我们的优化过程,失去了它原有的独立性,最终造成 Skill 对测试集的过度拟合,以及测试集的信息泄露。
五、Skill Evaluation 与 KPI
总体来讲,我觉得评价一个 Skill,就像是评价一个员工在公司里面的表现。
我们会把他的各种行为用可以量化的指标对应起来,比如把他的尽责性,用有没有迟到、是不是按时上下班、有没有主动加班的意愿、是不是经常请假等等这些指标来反映。
也就是说,用可量化的指标,去反映那些原本不容易直接量化的行为和特征。
所以,其实 Evaluate 一个 Skill,也就是给一个 Skill 做一套 KPI,然后观察它在其中的得分,从而判断我们所修改的每一个版本,是否都是一次真正的进步。
但是话说回来,KPI 对员工的考核,逐渐变成了一种桎梏和枷锁,让原本属于人类的自主性,变成了机器里面可排序的指标。
这不得不说是人类的悲哀。
但是对机器来讲,这确实是一套行之有效的方法。
评论Comments
加载中…Loading…
留下评论Leave a comment