雨 雨天小六

读懂 Codex（6.34）：Parser 怎样定位 Hunk、上下文和文件操作

· 更新于 2026-08-02 · 专栏：读懂 Codex

#Codex#Agent Runtime#Tool Calling#Sandbox#软件架构

Patch Parser 用上下文序列在原文件中定位 Hunk，并按 exact、rstrip、trim、Unicode 标点正规化逐级放宽匹配。

这里先把自由文本编译成结构化操作，再讨论权限和副作用。解析成功只说明语法可解释，不代表路径已经获准，也不代表写入具备事务性。 本节只追踪“文本匹配成功与写权限”以内的机制；相邻工具的业务行为不在这里混写。

启用条件与所有权

维度当前实现不满足时
门控存在环境且模型声明支持 Apply Patch Tool 类型不建立候选、从模型工具面移除，或转成模型可读拒绝
输入完整 Patch 自由文本在进入状态所有者前拒绝错误 Payload/参数
状态所有者ApplyPatchHandler、ApplyPatchRuntime 与目标 FileSystem不允许临时 Handler 私自复制长期状态
输出ApplyPatchToolOutput、Committed Delta 与 Turn Diff必须保持调用关联后才能进入 History

这里最容易出现的误解，是把“规格里写了什么”当作 Runtime 已经强制了什么。description、Schema 和自然语言提示只帮助模型生成更好的调用；真正的名称查找、类型校验、审批、资源约束和取消收尾仍由客户端完成。

机制调用链

解析 Hunk 行
→ 构造上下文序列
→ 分级 seek_sequence
→ 计算删除/插入区间
→ 生成更新后内容
Parser 怎样定位 Hunk、上下文和文件操作从输入、门控、状态所有者到输出回灌的机制流程图
图 6.34-1：解析 Hunk 行 → 构造上下文序列 → 分级 seek_sequence → 计算删除/插入区间 → 生成更新后内容。

图中的箭头代表控制权转移，不只是数据复制。每越过一步，下一层只接收已经满足上一层合同的数据；若该层拥有异步状态，它还必须保留原 Step、call_id 或环境身份，避免晚到结果被新一轮配置解释。

源码机制拆解

匹配分级有明确顺序

先精确，再忽略行尾空白，再 trim，最后正规化常见 Unicode 标点，减少模型排版差异造成的失败。

这条约束位于“构造上下文序列”附近。把它前移会缺少必要状态，把它后移则可能让错误数据或副作用先穿过边界。

歧义采用顺序搜索

找到第一个满足上下文的位置，不做全局最优编辑距离。

这条约束位于“分级 seek_sequence”附近。把它前移会缺少必要状态，把它后移则可能让错误数据或副作用先穿过边界。

全局 Parser 当前较宽松

为了处理 heredoc 风格输入，严格常量关闭；空 Update 仍明确拒绝。

这条约束位于“计算删除/插入区间”附近。把它前移会缺少必要状态，把它后移则可能让错误数据或副作用先穿过边界。

Python 风格伪代码

伪代码保留会改变结果的门控、状态读取、异步等待和协议编码；省略 Rust 所有权样板、日志字段以及与本机制无关的 Provider 适配。它不是源码翻译，也不能替代平台级安全实现。

def parse_patch_parser_hunks(raw_text, context):
    # 1. 解析 Hunk 行
    # 2. 构造上下文序列
    # 3. 分级 seek_sequence
    # 4. 计算删除/插入区间
    # 5. 生成更新后内容
    syntax = parse_complete_document(raw_text)
    operations = resolve_operations(syntax, context.cwd)
    if not operations:
        raise ModelVisibleError("没有可执行操作")
    return ValidatedOperationSet(operations=operations, context_id=context.id)

逐行理解时要抓住三个不变量：输入先验证，状态由明确对象持有，输出用原调用身份编码。任何“先执行，之后再补关联”的简化都会在并发、取消或 Step 更新时产生悬空结果。

失败、取消与恢复

Parser 怎样定位 Hunk、上下文和文件操作的失败分支、责任边界和恢复路径图
图 6.34-2：失败不会自动跨过“文本匹配成功与写权限”这条边界；恢复动作必须由对应状态所有者完成。
故障点已发生的状态或副作用对模型/调用方的结果恢复动作
上下文找不到未写文件模型收到定位错误读取最新文件后重建 Hunk
上下文命中错误位置尚未审批写入但结果可能不符合意图Diff 暴露偏差增加更独特上下文
Turn 取消可能已经注册等待者、启动任务或提交部分副作用生成 Aborted/Failed 终态，不能留下无结果调用由 ApplyPatchHandler、ApplyPatchRuntime 与目标 FileSystem 注销等待者、终止资源并保持 Call/Output 配对

取消不是删除历史。模型已经发出的调用先进入转录；Runtime 必须补上可编码的终态。若副作用已经提交，Aborted 也不表示回滚。需要事务性的功能必须在自己的写入协议里实现原子提交或补偿。

设计思路与代价

当前设计保护的核心不变量是：定位算法只证明 Hunk 可应用，不证明路径获准；EOF 标记会优先靠近文件末尾。它让模型合同、执行状态和安全边界能够分别演进，却增加了快照、适配器和终态处理代码。更短的实现可以少一层对象，但会把“可见”“可执行”“获准”“已完成”压成同一个布尔值，无法解释延迟工具、审批拒绝、沙箱失败或晚到结果。

本节的设计动机有一部分是从类型边界和测试行为推断出来的；源码没有把所有取舍写成设计文档。可以直接证明的是字段、分支、状态所有者和失败结果，不能从这些证据外推服务端内部实现。

测试与复现实验

可验证契约复现方式预期结果
codex-rs/core/src/tools/handlers/apply_patch_tests.rs构造正常值、边界值和拒绝值结果与调用 ID/状态所有者保持一致
codex-rs/apply-patch/tests/suite/mod.rs构造正常值、边界值和拒绝值结果与调用 ID/状态所有者保持一致

本地复核应同时搜索生产符号和相邻测试，不能只跑快乐路径。推荐先对源码执行 rg -n 查找本节索引中的类型/函数，再构造一个合法调用、一个类型错误和一个取消或拒绝场景。当前环境没有 Cargo，因此本轮以锁定提交下的源码—测试静态对读、博客构建和图形渲染为验证边界，不伪报 Rust 测试执行。

Mini Codex 对照

Mini Codex 可以复刻本节的纯协议或状态机不变量，例如名称去重、调用配对、Head/Tail 缓冲与单次升级；不能用 Python 模拟结果证明 Seatbelt、seccomp、Restricted Token、远程 Exec Server 或 Provider Hosted Tool 的真实安全性质。

本节边界

本节已经证明 定位算法只证明 Hunk 可应用，不证明路径获准；EOF 标记会优先靠近文件末尾。它没有把相邻机制折叠进来：文本匹配成功与写权限 之外的判断仍由其各自单元负责。

阅读导航

上一节：6.33 Patch 文本的 Add、Update、Delete 与 Move 语法 · 下一节：6.35 路径规范化、工作区边界和符号链接风险

评论

← 返回文章列表