LLM代理质量工程实战指南

来自vibeship-spawner-skills的LLM代理评估框架，提供行为测试、基准设计和可靠性指标方法论，帮助团队在生产前发现代理缺陷。

基本信息

• 技能名称?agent-evaluation
• 中文名称?LLM代理质量工程实战指南
• 作者?rustyorb
• 分类?其他
• 版本?未标注
• 标签?testing, ai-ml, automation, development-engineering, product-management

使用方法

使用说明
核心用法
agent-evaluation 是一套面向 LLM 代理的质量工程方法论，而非可执行工具。它指导用户构建三类核心评估体系： 统计测试评估 （多轮运行分析结果分布）、 行为契约测试 （定义代理行为不变量）、 对抗性测试 （主动破坏代理行为）。技能强调将基准测试与生产环境评估桥接，解决"高分低能"的行业痛点。
显著优点

1. 实战导向 ：作者明确指出现实中顶级代理在真实基准上得分不足50%，避免用户陷入"完美基准"幻觉
2. 方法论完整 ：覆盖从测试设计、能力评估到生产监控的全链路，包含具体的反模式警示（单轮测试、仅测试 happy path、字符串匹配断言）
3. 风险预判 ：Sharp Edges 表格直接列出4类高频问题及解决方案，如数据泄露预防、指标优化陷阱等
4. 生态协同 ：明确标注与 multi-agent-orchestration、agent-communication 等技能的协作关系
   潜在缺点与局限性
   纯文档型 ：无自动化工具或代码实现，需要用户自行落地
   学习曲线 ：要求使用者具备 testing-fundamentals 和 llm-fundamentals 前置知识
   模糊性处理 ：LLM 输出的非确定性本质导致"正确"标准难以量化，文档未提供具体阈值建议
   行业适配 ：部分方法论可能需根据金融、医疗等强监管领域调整
   适合的目标群体
   AI 质量工程师 ：负责代理系统测试策略设计的专业人员
   MLOps 团队 ：需要将代理评估纳入 CI/CD 流程的工程团队
   产品经理 ：评估代理能力边界、设定合理预期的决策者
   研究人员 ：从事 agent benchmark 设计的学术工作者
   使用风险
5. 实施成本 ：方法论落地需要大量标注数据和工程投入
6. 指标博弈风险 ：团队可能过度优化评估指标而非实际任务表现
7. 测试不稳定性 ：LLM 的随机性导致 flaky tests，需额外设计重试和置信区间机制
8. 数据隔离挑战 ：需严格防止测试数据泄露到训练或提示词中