源于真实开发者工作流的评估实践
2026年10月16日，Google Cloud开发者关系主管Casey West发表文章，总结了团队在构建智能体插件时获得的四个评估工程教训。这些经验来源于新发布的Google Cloud Developer插件开发过程，该插件被团队用作在真实开发者工作流中进行压力测试的实时测试平台。
文章强调，建立系统化、可重复的测试来衡量智能体的真实行为，是决定交付的AI工具究竟值得信赖还是会默默崩溃的关键基础。
考核实际执行轨迹并保留异步轮次结构
教训一指出应当对智能体的执行步骤而非总结进行评分。在针对Google Cloud Developer插件的初始11个提示词评估中，自动评分器因智能体未在总结中说明已检查命令语法，判定其中3个测试失败，但实际日志显示智能体确实运行了正确的gcloud命令。LLM裁判仅依凭最终总结容易产生误判，唯有审查原始执行轨迹才能验证实际运行。
教训二强调需要为异步操作专门设计评估。现代智能体框架常将多个工具调用批处理到单个助手轮次中，如果将遥测数据提取为扁平列表，会掩盖技能加载与文档搜索同时调度等并发问题，因此遥测提取器中必须保留轮次结构。
并排测试运行与专家黄金基准集
教训三建议将实时运行与剥离凭据的仅计划运行（试运行）进行并排测试。实时运行虽可检验实际API调用语法及破坏性操作，但常因权限错误提前中止；而仅计划运行可展示模型纯粹的推理和路由意图，能够快速暴露无视组织策略等认知缺陷。
教训四提出使用人类专家策划的黄金数据集作为持久基准。团队将评估机制作为对包含框架、实时模型和工具的复合堆栈的持续集成测试，通过专家基准深入衡量智能体在完整任务中的执行表现。