Knowledge-driven Harness Engineering

Agent Harness / Agentic Engineering 系统学习

学习模块已按系统化知识主线重构:不是泛泛学 LLM,而是按“知识能力 → 工程主题 → 项目实践 → 理解表达”倒推。线性路径升级为 6 周 / 43 天,每天都有知识对应点、必须掌握、工程注意事项、练习交付物和理解表达;知识图谱继续作为回看与问答入口。

登录后可以标记节点已学、保存学习进度,并使用统一问答。

已学节点:0/33

查看每日学习计划打开核心详细思维导图统一问答
科学学习闭环

Diagnose → Learn → Retrieve → Apply → Explain → Review

先诊断误区,再做最小讲解;通过主动回忆、实战迁移、费曼解释和间隔复习,把抽象知识压成可迁移的工程判断。

开始诊断测评 今日学习任务 复习队列 实战实验室
完整学习框架

知识主线:Harness、Memory、LLM 原理、工程实战、Eval/Sandbox、项目沉淀

这不是单纯的 Agentic Engineering 阅读页,而是围绕核心主题展开:Agent Loop、Context Engineering、Tool Use/MCP、Memory/RAG、Subagent/Multi-Agent、Evaluation/Benchmark、Sandboxing、Prompt/KV Cache、Trace/MCTS、成本/延迟/成功率。每天的任务仍会结合每日 AI Digest,用真实条目做案例或原理佐证。

Harness / Loop Engineering

理解 harness 是约束与运行体系,loop 是可观测、可恢复、可评估的执行闭环。

目标与边界 / 运行循环 / 状态与恢复 / 成本与评估

记忆系统

掌握 RAG、Wiki、Memory、Skill、Session 的生命周期、写入门槛、污染风险和治理方式。

上下文工程 / RAG/Wiki/Memory / 记忆卫生 / 知识沉淀

大模型原理

理解 token、attention、预训练/对齐、推理不确定性、上下文窗口和幻觉的工程含义。

Transformer 直觉 / 概率生成 / 指令遵循 / 上下文与幻觉

大模型工程实战

把模型能力落到 SDK、工具调用、评估、观测、部署、模型路由和产品反馈闭环。

工具契约 / Eval/Regression / Observability / Deployment/Routing

参考训练体系

参考 Anthropic / OpenAI / Google / DeepLearning.AI 等专业材料组织课程

这些资料只作为知识结构与工程原则参考;每日页面会把抽象概念改写为通俗释义、专业释义、当天检查和实践交付。

Agents whitepaper / Agents companion

Google / Kaggle

基础概念、agent 架构、工具与规划

打开参考资料

Agent Development Kit Docs

Google

实战框架、agent 结构、工具和部署

打开参考资料

Building effective agents

Anthropic

workflow vs agent、编排模式、可靠性原则

打开参考资料

A practical guide to building agents

OpenAI

从业务场景到 guardrails/evals 的产品化指南

打开参考资料

Four AI Agent Strategies

DeepLearning.AI / Andrew Ng

Reflection、Tool Use、Planning、Multi-Agent 四类设计模式

打开参考资料

12-factor agents

HumanLayer

工程化 agent 的上下文、工具、状态与人工确认原则

打开参考资料

今日推荐

Day 02 · 一次 LLM 调用生命周期:从 Context Builder 到 Trace

主题轨道:Harness / Loop Engineering · 第 1 周:能力图谱与 Harness 基础

一次调用不是“发 prompt 收答案”,而是上下文构造、token 预算、模型路由、API 调用、解析、验证、trace 和成本记录。主题中的 Prompt Cache、KV Cache、latency、cost 都依赖这个生命周期。

今日 25 分钟学习闭环:5 分钟主动回忆 → 8 分钟原理讲解 → 7 分钟结合每日 AI Digest 做实战迁移 → 5 分钟费曼解释与复习安排。

进入今日学习

三张核心图

三张 imagegen 图 + 一张可交互 HTML/SVG 思维导图:先建立科学学习闭环,再建立全局概念和工程流程,最后进入节点实践。

核心详细概念图

用一张概念图说明 Agentic System 的目标、上下文、记忆/知识、工具、状态、编排、评估和安全边界。

点击小图全屏预览,可双击/滚轮/双指放大

核心详细流程图

用一张流程图说明从需求澄清到执行、验证、失败恢复、知识沉淀和运营反馈的完整工程闭环。

点击小图全屏预览,可双击/滚轮/双指放大

科学学习闭环图

用一张图说明 Diagnose、Learn、Retrieve、Apply、Explain、Review 如何驱动 Agentic Engineering 学习。

点击小图全屏预览,可双击/滚轮/双指放大

系统化学习路径:6 周 / 43 天

围绕 Agent Harness 核心知识重构:从能力图谱出发,覆盖 Agent Loop、Tool Use、MCP、Memory、Subagent、Multi-Agent、Evaluation、Sandboxing、Prompt/KV Cache、Trace/MCTS、成本延迟和项目实践。

第 1 周:能力图谱与 Harness 基础

把 Agent 系统/Agent 系统/Agent 平台/Agent 系统 等 主题 拆成能力地图:Model + Harness = Agent,先理解主题到底在交付什么。

第 2 周:Agent Loop、Tool Use 与协议边界

掌握 Agent Loop、工具契约、MCP/Tool schema、状态机、错误恢复和 Human-in-the-loop。

第 3 周:Context、Memory、RAG 与缓存

训练 Context Engineering、记忆治理、长时记忆、Prompt/KV Cache、上下文压缩与检索引用。

第 4 周:Planning、Reasoning、Search 与 Agentic RL

理解 Planning、Reasoning、MCTS/Trace 搜索、反思、自主调试和策略优化。

第 5 周:Multi-Agent、Eval、Benchmark 与可观测性

把多 Agent 编排、subagent、handoff、eval、benchmark、回归测试和 trace 串成质量闭环。

第 6 周:Sandbox、Runtime、产品化与项目沉淀

补齐浏览器/终端/代码环境、Docker sandbox、权限安全、SLO、成本延迟和学习记录级项目表达。

目标、状态、计划、工具、观察、评估、记忆构成最小 agentic 闭环。

工具调用前定义权限和 schema,调用后验证副作用与证据。

多角色协作只有在边界清晰、可评估、可回归时才值得引入。

第 1 周:能力图谱与 Harness 基础

Day 01 · Agent Harness 能力图谱:Model + Harness = Agent

核心指数知识覆盖 5/5 · 全局视角 5/5

核心知识主线是:模型本身不是产品,Harness 把模型能力转成可运行、可控、可评估的 Agent 产品。除模型训练以外,架构、工具、上下文、状态、评估、运行环境都属于 Harness 范畴。

第 1 周:能力图谱与 Harness 基础

Day 02 · 一次 LLM 调用生命周期:从 Context Builder 到 Trace

核心指数工程基础 5/5 · 成本意识 4/5

一次调用不是“发 prompt 收答案”,而是上下文构造、token 预算、模型路由、API 调用、解析、验证、trace 和成本记录。主题中的 Prompt Cache、KV Cache、latency、cost 都依赖这个生命周期。

第 1 周:能力图谱与 Harness 基础

Day 03 · Context Engineering:主题里的核心基本功

核心指数上下文质量 5/5 · 抗污染 5/5

多个系统实践都把 Context Engineering 列为核心。它不是写长 prompt,而是决定当前任务需要哪些系统规则、用户目标、工具证据、记忆、历史轨迹和输出契约。

第 1 周:能力图谱与 Harness 基础

Day 04 · Workflow vs Agent:什么时候不要 Agent 化

核心指数架构判断 5/5

系统设计强调“对模型行为有品味的判断”。固定、高频、可枚举任务优先 workflow;开放、多工具、可根据观察修正的任务才需要 agent loop。

第 1 周:能力图谱与 Harness 基础

Day 05 · 任务编排、成功标准和退出条件

核心指数可靠性 5/5

Harness 要把模糊需求转成可验证任务,并先完成编排:确定 orchestrator 负责什么、worker/tool 做什么、何时验收、何时停止。没有成功标准、权限边界和终止条件,Agent 会过度探索、重复执行或沉默失败。

第 1 周:能力图谱与 Harness 基础

Day 06 · 知识能力路线与项目选择

核心指数实践产出 5/5

学习计划必须服务于可掌握能力:一个 AI Digest 学习教练、一个工具调用/记忆系统、一个 sandboxed coding agent 或多 Agent 代码评审项目。

第 1 周:能力图谱与 Harness 基础

Day 07 · 周复盘:从 主题 到个人能力差距

核心指数诊断 5/5

第一周的产物是一张差距图:哪些能力已经能证明,哪些只有概念,哪些完全缺项目实践。

第 2 周:Agent Loop、Tool Use 与协议边界

Day 08 · Agent Loop:Observe → Decide → Act → Verify

核心指数Agent Loop 5/5

Agent Loop 的关键是每一步都有状态和证据,不能只让模型连续思考。

第 2 周:Agent Loop、Tool Use 与协议边界

Day 09 · Tool Contract:Schema、副作用、幂等与验证

核心指数工具工程 5/5

工具是模型接触真实世界的边界,主题中的 Tool Use/MCP/协议都依赖严格契约。

第 2 周:Agent Loop、Tool Use 与协议边界

Day 10 · MCP 与 Tool Ecosystem:统一工具协议

核心指数协议能力 4/5

MCP 的价值是把工具、资源、prompt 以统一协议接入 Agent runtime,但权限和可观测性仍要由 harness 兜底。

第 2 周:Agent Loop、Tool Use 与协议边界

Day 11 · 状态机:让 Agent 可恢复

核心指数状态 5/5

状态比聊天历史可靠;长任务、重试、异步执行和用户刷新都依赖持久状态。

第 2 周:Agent Loop、Tool Use 与协议边界

Day 12 · 错误恢复:重试、降级、人工介入

核心指数稳定性 5/5

真实环境一定失败,优秀 harness 会区分网络、权限、格式、语义和安全失败。

第 2 周:Agent Loop、Tool Use 与协议边界

Day 13 · Human-in-the-loop 与权限分级

核心指数安全 5/5

删除、发布、外发、支付、高权限文件写入必须在人类确认前停住。

第 2 周:Agent Loop、Tool Use 与协议边界

Day 14 · 第 2 周复盘:实现一个最小 Harness Loop

核心指数MVP 5/5

本周要把概念做成最小 loop:任务规格、工具契约、状态、验证、失败恢复。

第 3 周:Context、Memory、RAG 与缓存

Day 15 · Memory 系统分层:Session / Memory / Wiki / Skill / RAG

核心指数记忆 5/5

主题中的 Memory 不等于保存聊天记录,而是多层生命周期治理。

第 3 周:Context、Memory、RAG 与缓存

Day 16 · RAG:Chunk、Metadata、Rerank、Citation

核心指数检索 4/5

RAG 是读取机制,质量来自语料、切分、元数据、rerank 和引用,不是“接向量库”。

第 3 周:Context、Memory、RAG 与缓存

Day 17 · 长时记忆与个性化:Memory Personalization

核心指数个性化 4/5

Agent 系统 主题 提到更可靠的 memory/personalization;关键是写入门槛、权限隔离和过期治理。

第 3 周:Context、Memory、RAG 与缓存

Day 18 · Context Compaction:长任务上下文压缩

核心指数长上下文 5/5

长时任务不能无限带历史,必须把轨迹压缩成目标、决策、证据、未决风险。

第 3 周:Context、Memory、RAG 与缓存

Day 19 · Prompt Cache 与 KV Cache:成本/延迟优化

核心指数性能 4/5

主题中的 Prompt Cache/KV Cache 体现的是运行成本意识:稳定前缀、复用上下文和减少重复推理。

第 3 周:Context、Memory、RAG 与缓存

Day 20 · 权限过滤:多用户 Memory / Session / Profile 隔离

核心指数隔离 5/5

多用户 Agent 必须在检索前做权限过滤,不能把隔离寄托给 prompt。

第 3 周:Context、Memory、RAG 与缓存

Day 21 · 第 3 周复盘:构建知识与记忆底座

核心指数知识底座 5/5

本周产物是一套可审计的知识系统:RAG source、Wiki、Memory、Skill 和 Review queue。

第 4 周:Planning、Reasoning、Search 与 Agentic RL

Day 22 · Planning:从自然语言到可执行 DAG

核心指数规划 5/5

Planning 要把不确定需求拆成可暂停、可验证、可回滚的小步,而不是生成漂亮待办。

第 4 周:Planning、Reasoning、Search 与 Agentic RL

Day 23 · Reasoning 与 Verification:推理不等于验证

核心指数可靠性 5/5

模型可以推理,但验证需要测试、工具、引用和真实外部状态。

第 4 周:Planning、Reasoning、Search 与 Agentic RL

Day 24 · Reflection:结构化自检而不是自言自语

核心指数自检 4/5

Reflection 适合在关键节点检查遗漏、格式、风险,但不能代替外部验证。

第 4 周:Planning、Reasoning、Search 与 Agentic RL

Day 25 · Trace 搜索、代码空间搜索与自主调试

核心指数前沿 4/5

顶尖应届 主题 提到 Trace 自动诊断、搜索 harness 代码空间、MCTS 工作流搜索,核心是把尝试路径显式化。

第 4 周:Planning、Reasoning、Search 与 Agentic RL

Day 26 · Agentic RL 与 Test-time Optimization

核心指数前沿 4/5

Agentic RL 关注在交互环境中用 reward/反馈优化策略;工程上先要有可度量任务和安全边界。

第 4 周:Planning、Reasoning、Search 与 Agentic RL

Day 27 · 第 4 周复盘:策略优化与可解释执行轨迹

核心指数优化 5/5

本周产物是一个能解释“为什么这样走”的 agent:有计划、有 trace、有评分、有失败归因。

第 4 周:Planning、Reasoning、Search 与 Agentic RL

Day 28 · Orchestration / 编排:Orchestrator-Worker 与 Subagent

核心指数编排 5/5

编排的价值是把复杂任务拆成可验证责任边界:orchestrator 负责计划、调度、合并、验收和失败恢复,worker/subagent 只承担清晰子任务;多 Agent 价值来自隔离、并行和独立评审,不是堆角色名。

第 5 周:Multi-Agent、Eval、Benchmark 与可观测性

Day 29 · Handoff 协议:多 Agent 交接格式

核心指数协作 4/5

交接要包含目标、已做、证据、风险、下一步,否则上下文会丢失。

第 5 周:Multi-Agent、Eval、Benchmark 与可观测性

Day 30 · Eval:从 Demo 到 Regression

核心指数评估 5/5

主题 高频要求 eval、benchmark、回归测试。没有 eval 的 Agent 只能 demo。

第 5 周:Multi-Agent、Eval、Benchmark 与可观测性

Day 31 · Benchmark 与线上指标:solve rate / completion quality / latency / cost

核心指数指标 5/5

Agent 系统/Agent 系统 主题 强调任务成功率、completion quality、latency、cost、user trust、recoverability。

第 5 周:Multi-Agent、Eval、Benchmark 与可观测性

Day 32 · Observability:日志、Trace、证据链

核心指数可观测 5/5

可观测性让失败可归因:模型、上下文、工具、权限还是外部系统。

第 5 周:Multi-Agent、Eval、Benchmark 与可观测性

Day 33 · 多 Agent 是否值得:成本、冲突与合并

核心指数架构品味 5/5

多 Agent 只有在可并行、需要独立评审或上下文过大时才值得。

第 5 周:Multi-Agent、Eval、Benchmark 与可观测性

Day 34 · 第 5 周复盘:质量闭环项目

核心指数质量闭环 5/5

本周产物是一个带 eval、trace、benchmark 和多角色评审的小型 Agent 项目。

第 5 周:Multi-Agent、Eval、Benchmark 与可观测性

Day 35 · Sandboxing:Docker、文件系统、网络与权限

核心指数安全运行时 5/5

多个系统实践 提到 Docker、沙箱隔离、执行代码/终端/浏览器。Sandbox 决定 Agent 能否安全做真实任务。

第 6 周:Sandbox、Runtime、产品化与项目沉淀

Day 36 · Browser / Computer Use:Playwright、Claw 与真实环境

核心指数运行环境 4/5

Agent 真正决定能走多远的是能否稳定操作浏览器、终端、桌面、企业系统和代码仓库。

第 6 周:Sandbox、Runtime、产品化与项目沉淀

Day 37 · 代码环境与异步任务:Service、Queue、Cron、CI/CD

核心指数工程化 5/5

Harness 不是脚本;长任务要异步化,服务要健康检查,改动要 CI/CD。

第 6 周:Sandbox、Runtime、产品化与项目沉淀

Day 38 · 模型路由与成本预算

核心指数运营 5/5

强模型不该包办一切;规划、工具参数、总结、验证可采用不同模型和缓存策略。

第 6 周:Sandbox、Runtime、产品化与项目沉淀

Day 39 · 产品反馈与用户社区:从失败样本改进 Harness

核心指数产品 4/5

Agent 系统/Agent 系统 主题 都提到用户反馈和社区。Harness 层要把真实失败转成 prompt、工具、eval、UI 改进。

第 6 周:Sandbox、Runtime、产品化与项目沉淀

Day 40 · 全栈 Agent 产品:前端状态、后端 API、数据库与部署

核心指数全栈 5/5

Agent 系统/Agent 系统 主题 要求真实一线工程实践。Agent 产品需要前端、后端、数据库、异步任务、监控一起设计。

第 6 周:Sandbox、Runtime、产品化与项目沉淀

Day 41 · 项目沉淀 工程案例:把项目讲成知识能力

核心指数学习记录 5/5

最后要把学习成果变成讲解可讲的 case:问题、架构、权衡、指标、失败恢复、材料。

第 6 周:Sandbox、Runtime、产品化与项目沉淀

Day 42 · 系统设计练习:设计 Agent Harness

核心指数讲解 5/5

用主题语言回答:如何设计一个能在浏览器和代码仓库中长期执行任务的 Agent Harness。

第 6 周:Sandbox、Runtime、产品化与项目沉淀

Day 43 · 总复盘:从学习者到 Harness 工程师

核心指数综合 5/5

合格的 Harness 工程师能连接模型、工具、上下文、状态、eval、安全和产品指标,并能把失败样本转成工程迭代。

查看每日学习计划从 Day 01 开始

核心详细思维导图

点击节点查看详情;已学节点会点亮。重点节点覆盖:RAG / Wiki / Memory 的差异、Agent 的实现载体、Worker 的实现载体,并扩展到状态机、工具契约、评估、权限和部署。

目标/边界上下文/知识载体/Worker验证/恢复运营/反馈
Foundations待学习

Agentic System 到底是什么

Agentic System 是围绕目标、状态、工具、反馈和终止条件运行的工程系统,不等于一个会聊天的模型。

节点解释图:concept-map

关键点

  • Agent 不是模型人格,而是一套闭环:目标 → 上下文 → 动作 → 观察 → 修正 → 终止。
  • 判断一个系统是否 agentic,要看它是否能基于反馈改变下一步,而不是看它用了多大的模型。
  • 工程上要先定义可验证目标,再决定是否需要 agent。

深入解释

如果流程完全固定、输入输出可枚举,workflow 通常更可靠。

如果任务开放、多工具、状态不确定、需要探索或修正,才值得引入 agentic loop。

Agentic engineering 的核心不是“更聪明”,而是让不确定执行变得可观察、可控、可回归。

实践任务

把你当前的 AI RSS Digest 写成:目标、状态、工具、观察、终止条件五栏。

交付物:一张五栏表,说明这个系统哪些部分是 workflow,哪些部分可能是 agent。

验收标准

  • 能说明 agent 和 LLM app 的区别
  • 能指出至少两个不该 agent 化的环节
  • 能写出一个可验证终止条件

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

LLM App 和 Agent 最大差异是什么?

LLM App 常是一次性输入输出;Agentic System 有状态、工具、副作用和反馈修正。

用了 tool calling 就是 agent 吗?

不一定。Tool calling 是能力,agent 还需要目标、策略、观察、验证和终止条件。

为什么先问“是否需要 agent”?

因为 agent 增加不确定性、成本和安全面;如果 workflow 能解决,workflow 往往更稳定。

Foundations待学习

Workflow vs Agent:什么时候不要用 Agent

固定路径优先 workflow,开放探索才考虑 agent;这是成本、可靠性和安全性的第一道判断。

节点解释图:decision-tree

关键点

  • Workflow:路径固定、状态少、可测试性强。
  • Agent:路径动态、能根据观察调整策略。
  • Human-in-the-loop 不是失败,而是高风险动作的设计边界。

深入解释

把 agent 用在确定性任务上,会把简单问题变成概率问题。

把 workflow 用在开放探索任务上,会导致规则爆炸和脆弱分支。

好的系统通常是 workflow + 局部 agent,而不是全盘 agent。

实践任务

给“生成每日摘要、筛选高价值条目、深入追问、生成图示”分别选择 workflow/agent/human。

交付物:一张自动化层级表。

验收标准

  • 每个环节有选择理由
  • 能说明失败模式
  • 能指出人工确认点

前置/关联

无硬性前置,可从这里开始。

状态机:让 Agent 可恢复

敢于反问:问题与答案

agent 越多越好吗?

不是。agent 是处理不确定性的工具,不是架构装饰。

固定 prompt 链算 agent 吗?

多数情况下更像 workflow,除非它能根据观察动态改变路径。

如果一个需求能写成状态机,还需要 agent 吗?

未必。状态机能覆盖的确定性部分应优先状态机,agent 可处理异常和开放判断。

Foundations待学习

任务边界、成功标准、退出条件

没有明确边界的 agent 会无限探索、过度执行或沉默失败。

节点解释图:spec-card

关键点

  • 任务规格至少包含输入、输出、约束、权限、成功标准、退出条件。
  • 成功标准要可验证,不要只写“做好一点”。
  • 退出条件包括完成、失败、等待人工、成本上限。

深入解释

Agent 的很多失败来自目标含糊:它不知道何时停止,也不知道什么证据算完成。

把验收条件写成断言,是从 prompt 走向工程的关键。

实践任务

为“节点问答助手”写 8 条验收标准和 4 条停止条件。

交付物:验收标准清单。

验收标准

  • 至少包含安全边界
  • 至少包含格式约束
  • 至少包含成本/时间上限

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

为什么不是让模型自己判断完成?

模型可以辅助判断,但工程系统需要外部可审计标准。

如果成功标准写不出来,意味着什么?

可能需求还没澄清,或任务不适合自动化。

Foundations待学习

Context Engineering:上下文工程

上下文工程决定 agent 看到什么、忘掉什么、如何压缩和如何防污染。

节点解释图:context-stack

关键点

  • Context 不是 prompt 文案,而是任务状态、约束、记忆、检索结果、工具观察的组合。
  • 上下文过少会瞎猜,过多会稀释注意力。
  • 上下文必须区分事实、偏好、临时状态和工具证据。

深入解释

Context Engineering 的关键问题:哪些内容在当前任务必要?哪些会过期?哪些可能污染?

高质量 agent 常把上下文拆成系统规则、任务卡、状态、证据和下一步,而不是一坨聊天记录。

实践任务

把一次长需求压缩成 10 行任务上下文,标出事实/假设/证据。

交付物:10 行 context card。

验收标准

  • 包含目标
  • 包含约束
  • 包含证据
  • 包含未知点

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

prompt engineering 和 context engineering 区别?

前者偏表达和指令,后者偏信息选择、状态建模和检索注入。

为什么上下文不是越多越好?

因为 token 有成本,且无关信息会让模型注意力漂移。

Knowledge待学习

RAG / Wiki / Memory 的差异

RAG、Wiki、Memory 都和知识有关,但生命周期、写入方式、可信边界完全不同。

节点解释图:comparison-matrix

关键点

  • RAG 是运行时检索:针对当前问题,从外部语料取证据。
  • Wiki 是稳定知识沉淀:人或流程维护的结构化知识资产。
  • Memory 是跨会话少量注入:偏好、稳定事实、长期约定,而不是资料库。
  • 文件系统/Markdown 适合 Wiki/Skill,因为可审查、可 diff、可版本化;RAG 适合查询时取证据,不适合无脑承载所有记忆。

深入解释

一个有审视能力的问题是:为什么记忆不用 RAG 做,而采用 md 文件等文件系统实现?答案不是绝对的。RAG 可以检索记忆,但写入与治理才是关键:长期记忆需要可读、可删、可审计、可迁移,Markdown/文件系统天然支持 review 与版本控制;向量库更适合召回,不适合判断什么应该被永久保存。

Wiki 和 Memory 的区别在于使用方式:Wiki 是用户主动查阅或 agent 检索的知识库;Memory 是默认注入到每次会话的高影响事实,所以必须更克制。

RAG 的风险是召回错误或过期资料;Memory 的风险是污染所有未来会话;Wiki 的风险是无人维护。

实践任务

把 12 条信息分类为 RAG source / Wiki note / Memory / 不保存,并写出理由。

交付物:一个四列表格,附每条信息的生命周期和风险。

验收标准

  • 能说出三者写入门槛
  • 能说出三者读取方式
  • 能说出三者失败模式
  • 能提出一个反问并回答

前置/关联

Context Engineering:上下文工程

Memory Hygiene:什么不该记检索设计:Chunk、Metadata、Rerank、Citation

敢于反问:问题与答案

RAG 能不能当 Memory?

可以作为 memory 的检索层,但不等于 memory。Memory 更关注保存准入、默认注入和长期影响。

为什么很多 skill/wiki 用 Markdown?

因为它可读、可 diff、可 code review、可迁移,适合程序化记忆和稳定知识治理。

Wiki 和 RAG 有什么关系?

Wiki 可以是 RAG 的语料来源之一;RAG 是读取机制,Wiki 是知识资产形态。

为什么不把所有聊天记录都塞进向量库?

因为可召回不代表该信任;聊天记录大量临时、错误、过期信息会污染答案。

什么时候 RAG 比 Memory 更适合?

资料变化快、内容多、问题相关性强且需要引用来源时。

Knowledge待学习

检索设计:Chunk、Metadata、Rerank、Citation

RAG 的质量主要来自语料治理、切分、元数据、重排和引用,而不是“接个向量库”。

节点解释图:retrieval-pipeline

关键点

  • Chunk 要围绕语义边界,不是固定字数万能。
  • Metadata 决定过滤能力:来源、时间、权限、主题、可信度。
  • Citation 让答案可追溯,rerank 改善召回噪声。

深入解释

好的 RAG 回答应区分:检索证据、模型推理、仍需验证。

权限过滤必须在检索阶段做,不能只靠最后让模型别说。

实践任务

为 agentic engineering 学习资料设计 metadata schema。

交付物:metadata schema + 3 个查询例子。

验收标准

  • 包含来源
  • 包含更新时间
  • 包含权限
  • 包含主题标签

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

向量库是不是 RAG 的核心?

它只是召回工具之一,语料质量和引用链更关键。

如果检索结果互相冲突怎么办?

展示冲突来源,降低结论强度,要求进一步验证。

Knowledge待学习

Memory Hygiene:什么不该记

长期记忆是高权限上下文,保存越多不一定越聪明,可能越容易偏。

节点解释图:risk-map

关键点

  • 偏好、稳定身份、长期约定适合 memory。
  • 临时任务进度、一次性结果、会过期的链接不适合 memory。
  • 流程方法应进 skill,不应写成命令式 memory。

深入解释

Memory 的写入应该像数据库迁移一样慎重,因为它会影响未来很多任务。

删除和更新能力与新增同样重要。

实践任务

审查 10 条候选记忆,决定 add/skip/skill/wiki/session。

交付物:记忆治理表。

验收标准

  • 至少拒绝 3 条不该保存的信息
  • 能指出过期风险

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

为什么任务完成记录不该进 memory?

因为很快过期,占用上下文并误导未来判断。

如果用户说“记住所有项目进展”怎么办?

应解释风险,建议用项目文档/session,而不是长期 memory。

Knowledge待学习

知识沉淀闭环:回答到 Wiki/Skill/Test

一次回答结束后,真正的复利来自把可复用部分沉淀为 wiki、skill 或 test。

节点解释图:knowledge-loop

关键点

  • 稳定事实 → wiki。
  • 可重复流程 → skill。
  • 容易回归的行为 → test。
  • 临时上下文 → session,不进长期层。

深入解释

工程化 agent 要能反问:这个输出是否值得未来复用?应该沉淀到哪里?

沉淀不是保存全文,而是提炼可验证知识。

实践任务

把一次 bug 修复经历拆成 wiki/skill/test/session 四类。

交付物:沉淀决策表。

验收标准

  • 分类理由明确
  • 没有保存临时流水账

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

skill 和 wiki 的区别?

skill 是操作流程,wiki 是知识说明;skill 应包含触发条件、步骤、验证。

什么时候不要沉淀?

一次性、低价值、无法验证、即将过期的信息不要沉淀。

Implementation待学习

Agent 的实现载体:Skill、Subagent、CLI、Service

Agent 是行为模式,不是某个固定技术形态;skill、subagent、CLI、服务、队列任务都可能承载不同层级的 agent 行为。

节点解释图:carrier-map

关键点

  • Skill 本身不是运行实体,更像程序化记忆/流程模板;它能塑造 agent 行为。
  • Subagent 是独立上下文的执行实体,适合隔离、并行、评审。
  • CLI agent、HTTP service、队列 worker、cron job 也可以承载 agent loop。
  • 判断载体看四件事:独立目标、状态、工具、反馈循环。

深入解释

“agent 实现载体可以是 skill 吗?”这个问题要拆开:skill 不是 worker 进程,但它可以定义 agent 的策略、工具使用规范和验证步骤;真正执行它的是当前 agent 或 subagent。

“agent 实现载体可以是 subagent 吗?”可以。subagent 天然有隔离上下文和独立目标,适合研究、实现、评审等子任务。

不要把载体和职责混淆:同一个 subagent 可扮演 worker、reviewer、researcher;同一个 skill 可被多个 agent 调用。

实践任务

为一个“代码审查 agent”选择实现载体,并说明为什么不用另外三种载体。

交付物:载体选择矩阵。

验收标准

  • 覆盖 skill
  • 覆盖 subagent
  • 覆盖 service/queue
  • 包含反例

前置/关联

无硬性前置,可从这里开始。

Worker 的实现载体是什么Orchestrator-Worker 模式

敢于反问:问题与答案

Skill 是 agent 吗?

严格说不是。Skill 是可复用流程/知识,执行它的 agent 才是运行实体。

Subagent 是 worker 吗?

可以是,但不总是。它也可以是 reviewer、planner、researcher。

什么时候用 CLI agent?

需要独立工具链、长任务、代码仓库操作或外部进程隔离时。

如果 skill 不是运行实体,为什么感觉它像 agent?

因为它封装了策略和步骤,降低了当前 agent 的决策空间,但它不会自己执行。

载体选择的首要约束是什么?

副作用风险、上下文隔离、可验证性和运行时长。

Implementation待学习

Worker 的实现载体是什么

Worker 是被分派去完成可验证子任务的执行者;它可以是 LLM subagent,也可以是普通代码、队列消费者、tool handler 或 workflow step。

节点解释图:worker-implementation-carriers

关键点

  • Worker 是角色,不是技术。
  • Worker 可以是 subagent、函数、tool、queue job、systemd service、workflow step、人工执行者。
  • Worker 不一定需要 LLM;确定性任务用代码 worker 更可靠。
  • Worker 的输入应小而明确,输出应可验证。

深入解释

Orchestrator-worker 的关键是边界:orchestrator 负责拆分、调度、合并、验收;worker 负责执行局部任务。

如果 worker 是 subagent,要给它完整上下文和验收格式;如果 worker 是 queue job,要给它幂等 key 和状态表;如果 worker 是 tool handler,要定义 schema、副作用和错误码。

Worker 的实现载体由任务性质决定:推理密集 → subagent;IO/批处理 → queue job;纯计算 → function;外部副作用 → tool/service。

实践任务

把摘要系统拆成 6 个 worker,并分别选择 subagent/function/tool/queue job/workflow step。

交付物:worker 设计表。

验收标准

  • 每个 worker 有输入输出
  • 每个 worker 有验证方式
  • 至少一个非 LLM worker

前置/关联

Agent 的实现载体:Skill、Subagent、CLI、Service

Tool Contract:Schema、副作用、幂等、验证状态机:让 Agent 可恢复

敢于反问:问题与答案

Worker 和 Tool 的区别?

Tool 是能力接口;worker 是承担任务的执行角色。一个 worker 可以调用多个 tool,tool handler 也可被当作 worker。

Worker 一定由 orchestrator 调用吗?

通常在编排模式中是,但也可以由队列、cron 或用户触发。

Workflow step 是 worker 吗?

可以把它看作确定性 worker,前提是有明确输入输出和完成状态。

为什么不要所有 worker 都用 subagent?

LLM worker 成本高且不确定;确定性任务用代码更快、更可测。

Implementation待学习

Orchestrator-Worker 模式

编排者拆分和验收,worker 执行边界清晰的子任务。

节点解释图:sequence-flow

关键点

  • Orchestrator 不应该亲自做所有事。
  • Worker 需要任务卡、上下文、输出格式。
  • 合并与评审是 orchestrator 的职责。

深入解释

并行化只有在边界清晰时才安全。

Worker 的交付物必须能被独立验证。

实践任务

设计三路并行实现、测试、评审任务。

交付物:任务分派表。

验收标准

  • 任务互不覆盖
  • 有合并策略

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

多 agent 什么时候值得?

任务可并行、需要独立评审、上下文过大时。

如果 orchestrator 自己能做完,为什么还要 worker?

为了隔离上下文、并行和独立评审,而不是为了形式。

Implementation待学习

Tool Contract:Schema、副作用、幂等、验证

工具是 agent 接触真实世界的边界,必须有契约。

节点解释图:tool-contract

关键点

  • Schema 限制输入。
  • 副作用要显式。
  • 幂等 key 防重复。
  • 工具结果要验证。

深入解释

最危险的 bug 往往不是模型说错,而是工具副作用没验证。

实践任务

为发送通知工具写 schema 和验证步骤。

交付物:工具契约。

验收标准

  • 包含错误码
  • 包含幂等设计

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

为什么工具调用后还要验证?

工具成功返回不等于外部世界真的达成目标。

如果工具不可验证怎么办?

降低权限、增加人工确认或改工具设计。

Implementation待学习

状态机:让 Agent 可恢复

状态机把不确定过程变成可观察、可恢复的节点。

节点解释图:state-machine

关键点

  • pending/running/blocked/completed/failed/retry 是基础状态。
  • 状态比聊天历史更可靠。
  • 每次副作用都应落状态。

深入解释

状态机帮助处理刷新、重复提交、进程崩溃和重试。

实践任务

给图像生成任务设计状态表。

交付物:状态表 DDL。

验收标准

  • 包含幂等 key
  • 包含错误信息

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

为什么不只靠前端禁用按钮?

刷新、重试、多请求仍会发生,必须在持久层防重。

状态越多越好吗?

不是。状态要覆盖恢复路径,过多会增加转移复杂度。

Implementation待学习

Handoff:任务交接协议

交接格式决定多 worker 协作是否丢上下文。

节点解释图:handoff-card

关键点

  • 交接包含目标、已做、证据、风险、下一步。
  • 不要让接手者猜历史。

深入解释

交接是压缩上下文的一种工程格式。

实践任务

写一份 worker 交接模板。

交付物:handoff 模板。

验收标准

  • 包含证据
  • 包含未决问题

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

handoff 和 summary 区别?

handoff 面向继续执行,summary 面向回顾。

交接信息太多怎么办?

保留决策和证据,链接到原始材料。

Reliability待学习

Reflection 与 Verification 的差异

Reflection 是自检思路,Verification 是外部证据;两者不能混用。

节点解释图:verification-ladder

关键点

  • Reflection 可发现遗漏。
  • Verification 要用测试、工具、事实来源。
  • 自我感觉正确不是验证。

深入解释

高风险输出必须有外部验证。

实践任务

把一次代码修改设计成 reflection checklist + verification commands。

交付物:双层验证清单。

验收标准

  • 区分自检和工具验证

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

让模型检查自己有用吗?

有用但有限,不能替代测试和真实工具结果。

什么时候 reflection 会有害?

无限自我对话、没有外部证据、引入新幻觉时。

Reliability待学习

Eval:从 Demo 到回归测试

Agentic 系统不能只靠演示,需要任务集、评分和回归门禁。

节点解释图:eval-dashboard

关键点

  • Eval set 覆盖常见、边界、故障任务。
  • 评分可以是规则、LLM judge、人审混合。
  • 每次改动都应跑关键回归。

深入解释

没有 eval 的 agent 很难长期迭代。

实践任务

为学习问答功能写 5 个 eval case。

交付物:eval 表。

验收标准

  • 含失败用例
  • 含评分标准

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

LLM judge 靠谱吗?

适合辅助,但关键场景要规则或人审抽检。

demo 很好为什么还要 eval?

demo 是样本,eval 是分布和回归保障。

Reliability待学习

Observability:日志、Trace、证据链

可观测性让 agent 的失败能被复盘,而不是只看到一句失败。

节点解释图:trace-map

关键点

  • 记录输入、工具、输出、耗时、错误、成本。
  • trace id 串起多 worker。
  • 用户可读证据比原始日志更重要。

深入解释

没有证据链就无法判断是模型错、工具错还是上下文错。

实践任务

为聊天问答设计 trace 字段。

交付物:trace schema。

验收标准

  • 含耗时
  • 含模型/工具
  • 含错误

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

日志越详细越好吗?

不是,要避免泄密和噪音。

用户要不要看到 trace?

通常看到摘要证据和错误解释,内部 trace 留给调试。

Reliability待学习

失败恢复:重试、降级、人工介入

真实 agent 必然失败,区别在于能否安全恢复。

节点解释图:failure-tree

关键点

  • 重试要有上限和退避。
  • 降级路径比沉默失败好。
  • 高风险失败转人工。

深入解释

失败恢复策略应按错误类型区分:网络、权限、格式、语义、外部系统。

实践任务

给 imagegen 失败设计三层 fallback。

交付物:恢复策略表。

验收标准

  • 包含重试上限
  • 包含人工路径

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

所有失败都重试可以吗?

不可以。权限错误和输入错误重试只会放大问题。

失败时最少要留下什么?

错误类型、输入摘要、已完成副作用、下一步建议。

Operations待学习

成本、延迟与模型路由

Agentic 系统要把 token、工具耗时和模型选择当作产品约束。

节点解释图:routing-map

关键点

  • 不同步骤可用不同模型。
  • 缓存和批处理能显著降成本。
  • 慢任务应异步化。

深入解释

成本控制不是上线后再说,而是设计时决定路径。

实践任务

给节点问答设计模型路由策略。

交付物:路由表。

验收标准

  • 含快/慢路径
  • 含缓存策略

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

最强模型一直用就好吗?

不一定。分类、格式化、检索可用小模型或规则。

用户感知延迟如何控制?

loading、异步状态、局部更新、可取消。

Safety待学习

Human-in-the-loop:何时必须确认

人工确认是安全设计,不是自动化失败。

节点解释图:risk-gate

关键点

  • 删除、支付、发布、外发、高权限操作要确认。
  • 确认界面要展示将发生的副作用。

深入解释

HITL 的核心是把不可逆动作停在边界前。

实践任务

列出当前系统 5 个需确认动作。

交付物:确认点清单。

验收标准

  • 包含副作用
  • 包含回滚策略

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

所有动作都确认会怎样?

用户疲劳,真正风险反而被忽视。

确认前要展示什么?

目标、对象、范围、不可逆风险、替代方案。

Safety待学习

权限边界与最小工具集

Agent 只能拿完成任务所需的最小权限。

节点解释图:permission-map

关键点

  • 工具权限按任务分配。
  • 读写分离。
  • 跨用户/session/profile 隔离。

深入解释

权限过宽会让模型错误变成安全事故。

实践任务

为另一个用户使用 Hermes 设计权限边界。

交付物:权限矩阵。

验收标准

  • 包含读写
  • 包含隔离

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

prompt 能限制权限吗?

不能替代系统级权限控制。

为什么工具集要少?

减少误用空间和审计复杂度。

Operations待学习

部署、队列、Cron、Systemd、回滚

Agentic 功能上线后就是运维问题:任务、队列、日志、回滚、健康检查。

节点解释图:deployment-topology

关键点

  • 长任务不要阻塞请求。
  • systemd/cron 适合周期任务。
  • 队列适合异步工作。
  • 回滚路径要提前准备。

深入解释

能跑一次不等于能长期运行。

实践任务

为批量节点图生成设计 systemd/queue 运行方式。

交付物:部署方案。

验收标准

  • 包含健康检查
  • 包含日志
  • 包含回滚

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

为什么不用请求线程直接生成所有图?

慢、易超时、失败不可恢复。

什么时候用 cron,什么时候用 queue?

固定周期用 cron/timer;用户触发且耗时用 queue。

Operations待学习

产品反馈闭环:学习行为如何改进系统

学习系统要记录完成、卡点和问题类型,用来调整内容,而不是只展示内容。

节点解释图:feedback-loop

关键点

  • 已学节点反映进度。
  • 聊天问题反映困惑。
  • 失败/跳过节点反映难度。

深入解释

指标应服务学习,不制造噪音。

实践任务

设计 5 个不侵犯隐私的学习指标。

交付物:指标表。

验收标准

  • 含隐私考虑
  • 含用途

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

要不要记录所有聊天?

要克制,至少明确用途和可删除。

指标如何反哺内容?

高频困惑变 FAQ,完成率低的节点加实践或图示。

Projects待学习

实战:把 AI RSS Digest 拆成 Agentic System

用现有摘要系统练习把真实产品拆成 workflow、agent、worker、eval。

节点解释图:case-study-map

关键点

  • 抓取/归档适合 workflow。
  • 高价值筛选可引入 judge/eval。
  • 深入追问适合 agentic assistant。

深入解释

实践项目是把概念落地到当前系统。

实践任务

画出当前 AI RSS Digest 的 agentic 架构。

交付物:架构图草案。

验收标准

  • 包含 worker
  • 包含 eval
  • 包含失败恢复

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

为什么用真实项目练?

真实约束会暴露成本、安全和运维问题。

哪些环节先不要 agent 化?

稳定抓取、文件归档、通知发送。

Projects待学习

实战:构建节点式学习助手

本模块自身就是一个学习助手案例:知识图谱、进度、问答、图示、反馈。

节点解释图:product-map

关键点

  • 节点图谱组织学习路径。
  • 问答绑定节点上下文。
  • 已学状态提供反馈。

深入解释

用产品本身解释产品,是最好的 工程案例。

实践任务

为本学习模块写一页 工程案例。

交付物:工程案例。

验收标准

  • 包含问题
  • 包含架构
  • 包含验证

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

为什么思维导图比按天课程更适合?

概念依赖不是线性日期,图谱能表达分支和回看。

如何避免学习助手泛泛回答?

聊天 prompt 必须绑定当前节点知识和 FAQ。

Projects待学习

实战:多 Agent 代码实现与评审

用 implementer、spec reviewer、quality reviewer 练习多 agent 协作。

节点解释图:multi-agent-review

关键点

  • 实现和评审分离。
  • 先 spec review,再 quality review。
  • 每步有测试证据。

深入解释

多 agent 的价值来自独立视角和上下文隔离。

实践任务

设计一次三角色代码任务流程。

交付物:多 agent 流程卡。

验收标准

  • 包含评审门禁
  • 包含失败处理

前置/关联

无硬性前置,可从这里开始。

暂无关联节点。

敢于反问:问题与答案

为什么评审也用 agent?

独立上下文能发现实现者忽略的问题,但仍需最终验证。

何时不要多 agent?

任务很小、边界不清、合并成本高时。

Learning待学习

主题 知识能力地图:Agent Harness 工程师

把 Agent 系统、Agent 平台、Agent 系统、Agent 系统、工程主题拆成可学习、可实践、可理解表达的能力簇。

图片暂不可预览

节点解释图:career-map

关键点

  • Model + Harness = Agent:Harness 负责模型之外的产品化工程。
  • 高频关键词包括 Agent Loop、Tool Use、MCP、Memory、Subagent、Multi-Agent、Evaluation、Sandboxing、Prompt Cache、KV Cache、Context Engineering。
  • 学习计划必须最终落成项目实践,而不是只背概念。

深入解释

工程职责可以归纳为六类:架构选型、上下文/记忆、工具与运行环境、规划/多 Agent、eval/benchmark、产品反馈与成本延迟优化。

知识表达要把每个词映射到可验证 artifact:代码、页面、指标、trace、测试、材料。

实践任务

把 6 张 主题 材料整理成能力矩阵,并标注你当前掌握程度。

交付物:知识能力矩阵 + 学习差距图。

验收标准

  • 覆盖至少 10 个 核心主题
  • 每个能力有项目实践或补齐计划
  • 能说清模型层和 Harness 层边界

前置/关联

无硬性前置,可从这里开始。

实战:构建节点式学习助手实战:把 AI RSS Digest 拆成 Agentic System

敢于反问:问题与答案

为什么先做 能力图谱?

因为学习不是泛泛积累名词,而是反推工程主题和项目沉淀证据。

如果一个词只会解释不会实现,算掌握吗?

不算。至少要能在真实系统里指出它的位置、失败模式和验证方式。

Operations待学习

Prompt Cache / KV Cache 与 token 成本

Prompt Cache 和 KV Cache 是 Harness 成本/延迟优化的关键入口:稳定前缀、复用上下文、减少重复推理。

图片暂不可预览

节点解释图:cache-map

关键点

  • 缓存命中依赖稳定上下文前缀和清晰 cache key。
  • 缓存不是免费午餐:污染、过期和权限边界会导致错误复用。
  • token、latency、throughput 要和模型路由一起设计。

深入解释

日常工程里常见优化是把 system prompt、工具说明、固定知识放入稳定前缀,把用户任务和新证据作为增量。

缓存指标至少记录 hit rate、saved tokens、added latency、stale/permission miss。

实践任务

给每日学习推送设计一个可缓存 prompt 前缀和 cache invalidation 规则。

交付物:缓存策略表。

验收标准

  • 包含 cache key
  • 包含失效条件
  • 包含权限隔离
  • 包含成本指标

前置/关联

Context Engineering:上下文工程

成本、延迟与模型路由

敢于反问:问题与答案

缓存会不会影响安全?

会。跨用户或跨任务复用上下文必须先做权限隔离和失效检查。

什么时候不该缓存?

上下文含高敏感、强时效、权限相关或容易污染后续任务的内容时。

Safety待学习

Sandboxing 与 Agent Runtime:Docker、文件、网络、进程

Agent 要操作终端、浏览器、代码仓库和企业系统时,Sandbox 决定它能否安全地做真实任务。

图片暂不可预览

节点解释图:sandbox-topology

关键点

  • Sandbox policy 要定义文件挂载、网络访问、进程时间、密钥暴露和清理策略。
  • Docker 只是载体,真正重要的是权限边界和审计。
  • 高风险动作必须和 Human-in-the-loop、trace、回滚机制结合。

深入解释

Agent 系统/Agent 平台 主题 中的 Docker、浏览器操控、终端、代码环境,本质都是 Tool-use Environment。Harness 要保证环境稳定、可控、可观察。

实践任务

为一个 coding agent 设计 Docker sandbox:可读写目录、网络白名单、超时、日志、清理。

交付物:Sandbox policy 文档。

验收标准

  • 最小权限
  • 可复现
  • 可清理
  • 可审计
  • 不泄露密钥

前置/关联

权限边界与最小工具集

部署、队列、Cron、Systemd、回滚Human-in-the-loop:何时必须确认

敢于反问:问题与答案

Docker 等于安全吗?

不等于。还要限制网络、挂载、用户权限、密钥和资源。

为什么 Sandbox 是 Harness 主题?

因为它决定模型动作如何进入真实环境,并限制错误动作的伤害范围。

Implementation待学习

Browser / Computer Use:真实环境操作

浏览器、终端、桌面和企业系统操作让 Agent 真正进入工作流,也带来等待、断言、页面变化和权限风险。

图片暂不可预览

节点解释图:browser-agent-loop

关键点

  • Playwright/Claw 类工具需要显式等待条件和结果断言。
  • 材料、DOM、日志和网络请求都是观察证据。
  • UI 自动化失败通常来自选择器漂移、异步加载、登录态和权限边界。

深入解释

主题里提到浏览器操控和真实用户任务,重点不是会点按钮,而是把观察、动作、验证和恢复写成协议。

实践任务

为一个网页登录并抓取页面的 Agent 写 Observe/Act/Assert 步骤。

交付物:Browser task spec。

验收标准

  • 有等待条件
  • 有失败恢复
  • 有材料或 DOM 证据
  • 不保存敏感登录信息

前置/关联

Tool Contract:Schema、副作用、幂等、验证

Sandboxing 与 Agent Runtime:Docker、文件、网络、进程

敢于反问:问题与答案

UI 自动化为什么比 API 更脆弱?

因为页面结构、异步状态和用户态变化更多,必须有更强断言和恢复。

如果页面变化导致失败怎么办?

保留材料/DOM 证据,降级为人工确认或更新选择器,并加入回归用例。

Research待学习

Trace / MCTS / Agentic RL:策略搜索与在线优化

顶尖应届 主题中的 Trace 搜索、MCTS 工作流搜索、Agentic RL,核心是让 Agent 的尝试路径可记录、可评分、可优化。

图片暂不可预览

节点解释图:search-tree

关键点

  • Trace 把每次计划、动作、观察、评分串成可分析轨迹。
  • MCTS/搜索适合开放策略空间,但必须有 reward/eval 才能剪枝。
  • Agentic RL 前提是任务环境、反馈信号和安全约束足够清晰。

深入解释

工程上先做 trace 和 eval,再谈搜索和 RL;没有评分函数的搜索只会扩大成本。

Reward 需要防止 reward hacking,关键任务要有人审或规则约束。

实践任务

选择一个失败任务,画出 3 条候选修复 trace,并定义评分标准。

交付物:Trace search 练习表。

验收标准

  • 包含候选路径
  • 包含 reward/score
  • 包含剪枝理由
  • 包含安全边界

前置/关联

Eval:从 Demo 到回归测试Observability:日志、Trace、证据链

失败恢复:重试、降级、人工介入

敢于反问:问题与答案

为什么不是一上来做 RL?

因为没有可靠环境、trace 和 eval,RL 会优化错误目标。

MCTS 在 Agent 里解决什么?

在多步决策空间中探索候选行动路径,并用评分选择更可能成功的路线。

Operations待学习

线上 Agent 指标:solve rate、latency、cost、trust

产品级 Harness 要关心任务成功率、completion quality、latency、token cost、user trust、recoverability 和安全边界。

图片暂不可预览

节点解释图:metrics-dashboard

关键点

  • 离线 benchmark 只能说明一部分,线上 trace 和用户反馈才暴露真实任务分布。
  • 指标必须能指导改进:是上下文问题、工具问题、模型问题还是产品交互问题。
  • 成本和质量要一起看,不能只追求最强模型。

深入解释

Agent 系统/Agent 系统 主题 明确要求量化 Harness 改动对成功率、token 成本、延迟和质量的影响。

实践任务

设计一个 Agent Harness dashboard,列出 8 个指标和每个指标对应的改进动作。

交付物:指标看板草案。

验收标准

  • 包含成功率
  • 包含延迟
  • 包含成本
  • 包含恢复率
  • 包含用户信任/满意度信号

前置/关联

Observability:日志、Trace、证据链

Eval:从 Demo 到回归测试产品反馈闭环:学习行为如何改进系统

敢于反问:问题与答案

为什么 completion quality 不等于 solve rate?

前者看输出质量,后者看任务是否真正完成;漂亮回答可能没有完成真实任务。

指标太多怎么办?

保留能驱动决策的指标,把原始日志留给调试。

Learning待学习

项目实践:Agent Harness 工程案例

最终目标是形成能写进学习记录、能讲解讲清楚的 Harness 项目,而不是零散知识点。

图片暂不可预览

节点解释图:case-study-board

关键点

  • 工程案例 要包含问题、架构、数据流、关键权衡、失败恢复、eval、指标、材料和复盘。
  • 每个 核心主题都要有项目里的落点。
  • 最好基于真实系统:AI Digest 学习教练、文章学习平台、多 Agent 代码评审、沙箱 coding agent。

深入解释

理解表达不是罗列技术,而是讲你如何把模型能力变成可靠产品,以及如何用指标证明改动有效。

实践任务

为当前 Infinitetoken 学习模块写一页 工程案例 草稿。

交付物:一页项目沉淀文档。

验收标准

  • 包含架构图
  • 包含指标
  • 包含失败处理
  • 包含可访问页面或材料
  • 映射至少 8 个 主题关键词

前置/关联

主题 知识能力地图:Agent Harness 工程师

实战:把 AI RSS Digest 拆成 Agentic System线上 Agent 指标:solve rate、latency、cost、trust

敢于反问:问题与答案

没有业界经历怎么掌握能力?

用真实可运行项目、公开页面、测试、trace、指标和复盘证明。

学习记录里该写“学过 MCP”吗?

最好写“实现/接入/设计了什么 MCP/工具协议,解决了什么问题,有什么指标”。

统一问答

登录后可围绕当前节点提问,系统会带着节点上下文回答,并主动反问关键假设。

💬AI Chat