Loading…

Tool Calling 机制

B 轴（动作空间）的实现技术：Function Calling / Structured Output / MCP 各自解决什么、怎么组合。

Core Curriculum Level 1 · 概念理解阅读时间 · 11 分钟练习 · 建议必做低波动 Last reviewed · 2026-04-22

你将学会什么

理解《Tool Calling 机制》在 agent harness / coding agent 学习路径里的核心作用。
能用本页给出的判断法区分“概念、机制、边界、代价”。
知道这页内容之后会在哪一章被复用到源码阅读或动手实践里。

学习前提

建议先读《Agent Loop 与 ReAct》；如果你是跳读，至少先看本章索引与本页 TL;DR。

这页在课程中的位置

课程理论地基，用来建立后续所有判断语言。

本页 1 句话结论

B 轴（动作空间）的实现技术：Function Calling / Structured Output / MCP 各自解决什么、怎么组合。

带走的判断法

先问控制流、动作空间、终止时机，再谈 agent 能力。

Source Policy

课程主线：稳定概念 + 经典论文 + 官方机制。

TL;DR

LLM 内部并没有"调用"——它只是在 schema-conditioned 的上下文里生成了一段结构化文本，runtime 在 LLM 之外解析并派发。理解这一点，整个 tool calling 就豁然了。
三个常被混为一谈、层次完全不同的概念：Function Calling（让模型在闭集里选动作）、Structured Output（让模型的回复符合 schema）、MCP（让工具可跨进程发现与调用）。前两个解决"模型这一头"，MCP 解决"工具那一头"。
它们正交而非互斥：MCP 上的工具，对 LLM 而言仍以 function calling 形式呈现；structured output 也可以与 function calling 共存（决定动作之后再约束回复格式）。
在 00 章三轴里，本节是 B 动作空间的实现层。01 章定义"什么是动作"，02 章给出"何时调用动作"，03 章解答"动作怎么被表达 / 派发 / 执行"。

1. LLM 内部到底发生了什么

"LLM 调用了一个工具"是个非常粗糙的说法。逐帧拆开：

调用前：runtime 把可用工具的 schema（名字、描述、参数 json schema）序列化进 prompt（或经由 API 字段传给厂商，由厂商在内部拼进 prompt）。这一步本质是给 LLM 的输入加了一段"动作菜单"。
生成时：LLM 做的事永远是"按概率续写下一个 token"。它不会"调用"任何东西。它最多是在被微调 + RLHF 过的"意识"下，生成一段长得像 tool_call 的结构化文本。
生成后：runtime 在 LLM 之外，解析这段输出（或厂商已经预解析成 tool_calls[]），按 name 找对应的本地函数 / 远程服务，执行，把返回值再包成 tool role 的 message 回灌到下一轮的 prompt。

关键直觉

从 LLM 的角度看，整个世界仍然只有"读 token、写 token"这一件事。"调用工具"是runtime 通过协议把模型的某段输出解释成了'动作'。换句话说：tool calling 的能力不是 LLM 的能力，而是 LLM + runtime + 协议 三者合谋的能力。这条直觉在你后面读源码 / 改 middleware / 加权限层时会反复救你。

2. Function Calling：让模型选动作

Function Calling（OpenAI 命名 / Anthropic 称 tool use）解决的是 "在一个闭合的、已注册的动作集合里，让 LLM 挑一个并填好参数" 这个问题。它是 02 章 Agent Loop 里 "Action" 那一段的现代实现。

API 层面通常长这样（不同厂商字段名略有差异，结构等价）：

# Request
{
  "messages": [/* 历史 */],
  "tools": [
    {
      "name": "search_web",
      "description": "Search the web. Use this when the user asks about recent events...",
      "parameters": { /* JSON Schema */
        "type": "object",
        "properties": {"query": {"type": "string"}},
        "required": ["query"]
      }
    }
  ]
}

# Response (assistant message)
{
  "role": "assistant",
  "content": "I'll search the web for that.",   # 可能为空
  "tool_calls": [
    {"i