上下文窗口#

​ 启用短期记忆的最直接方法是使用模型的上下文窗口（context window），它本质上是LLM可以处理的词数（token）。

​ 上下文窗口通常至少有8192个词，有时甚至可以扩展到数十万个词！

一个大的上下文窗口可以用来跟踪完整的对话历史，作为输入提示的一部分。

​ 只要对话历史适合LLM的上下文窗口，这种方法就能很好地模拟记忆。然而，与其说是真正记住对话，我们实际上是“告诉”LLM对话内容是什么。

用另一个LLM总结#

​ 对于上下文窗口较小的模型，或者当对话历史较长时，我们可以使用另一个LLM来总结迄今为止的对话。

​ 通过持续总结对话，我们可以保持对话内容的精简。它会减少词数，同时仅保留最重要的信息。

外部向量数据库&RAG#

​ LLM智能体的长期记忆包括智能体过去的行动空间，这些需要在较长时间内保留。

​ 启用长期记忆的常见技术是将所有先前的交互、行动和对话存储在外部向量数据库中。

​ 要构建这样的数据库，首先将对话嵌入到捕捉其含义的数字表示中。

​ 在构建数据库后，我们可以嵌入任何给定的提示，并通过比较提示嵌入与数据库嵌入，找到向量数据库中最相关的信息。

​ 这种方法通常被称为检索增强生成（Retrieval-Augmented Generation, RAG）。

​ **长期记忆还可以涉及保留不同会话的信息。**例如，你可能希望LLM智能体记住它在之前会话中进行过的任何研究。

​ 不同类型的信息也可以与不同类型的记忆相关联以存储。在心理学中，有许多类型的记忆需要区分，但《语言智能体的认知架构》论文将其中四种与LLM智能体结合起来。

​ 这种区分有助于构建智能体框架。语义记忆（关于世界的事实）可能存储在与工作记忆（当前和最近的情况）不同的数据库中。

函数调用#

要实际使用工具，**LLM必须生成符合给定工具API的文本。**我们通常期望生成可以格式化为JSON的字符串，以便轻松输入代码解释器。

• 

• 示例：LLM 生成 {"tool": "multiply", "args": {"x": 5, "y": 3}}。

• **如果正确且详尽地提示，一些LLM可以使用任何工具。**工具使用是当前大多数LLM都具备的能力。

  

  访问工具的更稳定方法是通过微调LLM（稍后会详细介绍！)。

顺序调用#

• 工具可以按固定顺序或由 LLM 自主决定调用顺序。

  

• 本质上构成一个Agent 智能体框架：LLM 决策 → 工具执行 → 结果反馈 → 下次决策。

  

• 换句话说，中间步骤的输出会反馈给LLM以继续处理。

  

痛点#

​ 工具是智能体框架的重要组成部分，工具（Tools）是关键组件，允许LLM与世界互动并扩展其能力，但其集成存在三大挑战：

• 手动跟踪并输入给LLM
• 手动描述（包括其预期的JSON模式）
• 每次API更改时手动更新

功能#

​ 为了使工具更容易在任何给定的智能体框架中实现，Anthropic开发了模型上下文协议（MCP）。通过MCP协议，标准化LLM使用工具的方式，让接入与调用更加通用、模块化和自动化。

组件#

它包括三个组件：

• MCP主机 —— 管理连接的LLM应用程序（例如Cursor）
• MCP客户端 —— 与MCP服务器保持1:1连接
• MCP服务器 —— 为LLM提供上下文、工具和能力

流程#

​ 以希望LLM获取 GitHub 最新 5 次提交为例：

​ MCP主机询问MCP服务器：我有哪些工具可以用？ MCP服务器返回工具列表（带调用方法、模式、功能描述等）。示例如下：

​ 1、**工具发现阶段：**MCP主机（与客户端一起）首先会调用MCP服务器，询问有哪些工具可用。：

​ **2、工具调用阶段：**LLM接收到信息后可能会选择使用某个工具。它通过主机向MCP服务器发送请求，然后接收结果，包括使用的工具。

​ **3、响应整合阶段：**最后，LLM接收结果并可以向用户解析答案。

优势#

​ 这个框架通过连接到任何LLM应用程序都可以使用的MCP服务器，使创建工具变得更加容易。因此，当你创建一个与Github交互的MCP服务器时，任何支持MCP的LLM应用程序都可以使用它。

微调#

微调的意义如下：

1、从模型的训练过程来理解：一般来说分成三个阶段，预训练 Pre-training，有监督微调 Supervised finetuning、对齐 Alignment。其中后两个阶段都是微调的阶段。

• 预训练阶段，模型会学习来自海量、无标注文本数据集的知识。
• 然后使用有监督微调的方式来细化模型，以便后期在推理的过程中更好地遵守特定指令。
• 最后使用对齐技术使 LLMsLLMs 可以更有用且更安全地响应用户的提示 Prompt。

**2、让模型具备特定能力：**预训练的模型只是具备通用能力，要处理某个特定领域的问题，必须要灌给这个领域的知识，让模型学习到新的知识。

**3、从成本降低视角：**从趋势来看，LLM的参数量只会越来越大。这对AI集群和算力的消耗就会更多，成本不断提升。所以需要允许少量地重新调整预训练大模型的权重参数，有助于降低训练大模型的复杂性，降低重新进行训练的成本。

通过模型的微调，可以达到如下目的：

**1、定制化模型：**通过微调大型，可以根据用户自身的具体需求定制模型，从而提高准确性和性能。

**2、提高资源利用率：**通过减少从头开始构建新模型的方式进行预训练，从而来节省时间、算力资源和其他带来的成本。

**3、性能提升：**微调的过程，可以使用用户的独特数据集，来增强预训练模型的性能。

**4、数据优化：**可以充分利用客户的数据，调整大模型以更好地适应用特定数据场景，甚至在需要时合并新数据。

提示工程&“思维链COT”#

• 通过提供 思考步骤的示例，让 LLM 学会如何推理。

• 分为：

  • 少样本提示（提供示例）这种提供思维过程示例的方法被称为“思维链”（Chain-of-Thought），它能够实现更复杂的推理行为。

    

  • 零样本提示（如：“让我们一步步思考”）

    思维链也可以在没有任何示例的情况下启用（零样本提示），只需简单地说“让我们一步步思考”。

    在训练LLM时，我们可以给它提供足够多的包含类似思维示例的数据集，或者让LLM发现自己的思考过程。

    

一个很好的例子是DeepSeek-R1，它使用奖励来指导思考过程的使用。

现有痛点#

在大多数 LLM 应用中：

• 思维链（Chain-of-Thought, CoT） 主要用于推理，帮助模型一步步解决复杂问题；
• 工具调用等系统主要用于行动，即模型与外部环境的交互。

但单独的推理或行动并不能实现完整、灵活的智能体行为。

ReAct#

首批结合这两个过程的技术之一被称为ReAct（推理与行动）。 ReAct（Reason + Act）框架通过精心设计的提示，使LLM能在一个统一流程中完成：

1. 思考（Thought） 模型对当前问题或环境进行推理，得出下一步计划。
2. 行动（Action） 执行具体操作，如调用工具、搜索、查询等。
3. 观察（Observation） 获取并理解行动结果，为下一轮推理提供依据。

LLM 在“思考 → 行动 → 观察”循环中不断调整决策，直到任务完成。

提示示例#

LLM使用这个提示（可以用作系统提示）来引导其行为，以思考、行动和观察的循环方式工作。

它会持续这种行为，直到某个行动指定返回结果为止。通过迭代思考和观察，LLM可以规划行动，观察其输出，并相应调整。

优势#

• 动态规划：不像传统系统那样固定步骤，LLM可根据观察结果灵活调整行动。
• 增强自主性：使模型具备一定“自主决策”能力。
• 工具结合自然：支持 LLM在自然语言推理中灵活调用外部资源。

痛点#

尽管 ReAct 强调 “推理+行动” 的循环，但它仍存在一个显著缺陷：

❌ 无法从失败中学习 —— 每次任务都是“从头开始”，无“记忆”与“反思”。

定义#

这个过程在ReAct中缺失，而Reflexion填补了这一空白。Reflexion是一种使用口头强化帮助智能体从先前失败中学习的技术。

三种角色#

该方法假设三种LLM角色：

• 行动者 —— 根据状态观察选择并执行行动。我们可以使用诸如思维链或ReAct等方法。
• 评估者 —— 对行动者产生的输出评分。
• 自我反思 —— 反思行动者采取的行动和评估者生成的分数。

Reflexion 添加记忆模块来跟踪行动（短期）和自我反思（长期），帮助智能体从错误中学习并识别改进的行动。

SELF-REFINE#

SELF-REFINE 是一种更精炼的迭代优化方法，特点如下：

• 同一个 LLM 充当多个角色：
  • 生成初始输出
  • 自我评价输出
  • 基于反馈进行优化
• 多轮循环迭代，直到满足质量标准或达到预设轮数。

同一个LLM负责生成初始输出、优化输出和反馈。

有趣的是，这种自我反思行为（Reflexion和SELF-REFINE）与强化学习非常相似，其中根据输出的质量给予奖励。