Harness Engineering(Agent 生产化工程)
围绕 Agent 构建可运行、可治理、可扩展生产系统的工程方法
围绕同一主题聚合相关知识卡片,帮助你从核心概念延伸到工具、模式与实践,形成连续的学习路径。
分类概览
适合先按主题连续阅读;如果你已经有明确问题,也可以进入搜索页,用关键词快速定位相关内容。
围绕 Agent 构建可运行、可治理、可扩展生产系统的工程方法
通过缓存、模型路由、上下文压缩等手段降低 Agent 应用的 LLM 调用成本
系统化评估 Agent 多轮对话中连贯性、意图理解和上下文保持能力的测试方法体系。
Agent 应用中限制"谁能用什么工具、碰什么数据"的安全机制
验证 Agent 能否选对工具、传对参数、按合理顺序执行并正确处理返回结果的测试方法
对 Agent 系统的所有关键操作进行不可篡改的追踪记录,满足监管合规要求
每次变更后用已验证的测试集重新跑一遍,确保没有破坏已有功能。
Agent 应用开发中代码、Prompt、版本号与文档的标准化规范体系
通过重试、熔断、Fallback 和优雅降级确保 Agent 应用在故障下仍能稳定运行
对 LLM 应用中的模型、Prompt、配置进行统一版本化管理,实现可追溯、可回滚、可对比。
AI 系统中敏感数据的识别、脱敏、加密与全生命周期防护体系
Agent 开发团队如何通过 Prompt 版本管理、行为评估和知识库共享实现高效协同
通过延迟、吞吐量、Token 成本和并发能力四个维度评估 Agent 应用的生产就绪程度
LLM 推理与 Agent 应用中降低响应延迟的核心策略体系
从代码提交到生产部署的全流程自动化体系,覆盖传统 CI/CD 与 Agent 特有的 Prompt/模型评估流水线
Agent 系统全生命周期的安全防护体系,覆盖身份认证、权限控制、输入输出验证、运行时监控与审计
针对 LLM Agent 非确定性特性设计的分层测试框架,用概率性验证替代精确断言。
Agent 应用的推荐目录组织方式,让代码、配置、工具、提示词各归其位
Agent 应用通过分环境、分阶段、可回滚的自动化流程实现安全上线
Agent 项目的持续集成流水线,在传统 CI 基础上增加 LLM 输出评估环节,保障非确定性系统的质量。
由大语言模型驱动、实时辅助代码编写与调试的智能开发伙伴。
用 LLM 自动审查 PR 中的代码变更,提前发现风格、安全、逻辑问题。
用 LLM 从代码自动生成注释、API 文档和更新日志,解决文档滞后和风格不统一问题
以 LLM 为核心驱动力、贯穿需求→设计→编码→测试→部署全链路的开发范式
LLM 输出测试的分层方法论,从格式校验到语义评估到 LLM-as-Judge 的完整评估体系。
Agent 应用面临的首要安全威胁——提示词注入攻击的原理、攻击分类与多层防御体系。