Agent-System-Documents/docs/proposals/2026-10-11-collaboration-storage-and-distribution.md

title, type, date, execution, product_contract_source

title	type	date	execution	product_contract_source
多人协作存储与分布式演进方案 - Plan	refactor	2026-10-11	code	ce-plan-bootstrap

多人协作存储与分布式演进方案 - Plan

修订：r2.3；确认状态：已批准（2026-10-11 用户指示「按方案开始改造」）；推进状态：U1–U7 代码与测试已合入（Backend #164；Dev #410/#439/#442；闭卡 #424 等）。正确性 A1–A7 与 B1 已绿（CI/SELF）。容量合同 B2/B3/B5 contract 与双实例 C2 本机 SELF 窗口已跑通（见容量报告）。2026-10-12 用户决定不做容量重放；同日 B6 pgbench、C4 断连、C5 库恢复已有本机 SELF（见运维演练报告）。2026-10-13 未配置对象存储时的上传 panic 已修，C5 工件恢复 K4 重测为 SELF 通过。SELF≠GATE/REPLAY，双主机 C3 未做——仍不放行第二实例承接写请求。 需求来源：2026-10-11 用户要求完善 SQLite、PostgreSQL/pgvector、Redis 分工；随后确认“10–100 人，多人多项目多会话并行，未来支持多服务分布式”。 需求负责人：weichen；方案编制：Codex；实施及运维负责人：待指定。更新时间：2026-10-13（Asia/Shanghai）。 关联任务：方案与 U1–U7 实施卡已归档；容量收尾见 Dev .task/feature-u7-capacity-wrap-measure.md。放行检查单：Dev docs/release-multi-instance.md。 正文中的源码路径以 Agent-System-Dev 为根；工作包中的 internal/ 简写指 modules/backend/internal/；文内相对链接以本文为根。

1. 推荐结论与边界

团队部署以 PostgreSQL 作为共享业务状态的唯一权威，pgvector 承担数据库内向量查询，Redis 承担可丢失的缓存与限流。SQLite 保留给个人嵌入式使用、离线工具及可以重建的本机状态，不承载团队共享写入或跨主机运行所有权。

第一阶段交付单应用实例的可靠团队部署；第二阶段补齐执行所有权、持久命令、共享工件与事件追赶，再开放多个应用实例和 Worker。通过接口和数据归属为服务拆分做准备，当前不要求微服务化、Kubernetes、分片或引入另一套消息中间件。

“不会出现错误”不能成为无条件承诺。工程目标是：在定义的故障模型下，不静默丢失已确认数据、不覆盖他人的并发更新、不产生未经识别的重复副作用、不越权；异常可发现、可追踪、可恢复。冲突可以返回明确的 409，超载可以返回 429，依赖故障可以返回 503，它们必须有清楚的重试语义。

本方案是双档存储 D17–D24的候选增补，批准前不改写原已采纳决策。拟调整的是团队部署的默认与必需条件，以及 D24 原来排除的跨实例执行能力；保留个人 SQLite 档、非容器部署、现有检索契约与序号语义。

2. 当前事实与差距

源码调查基线：Dev 73c901fa341a3653d6e0826d0da3497507995482，Backend eda90ed310f37f7352e24a8096d932dbf320cd73，Documents 9a46785ee0f19540c79f83b4e4544572b5217ac2，Agent-Squad 490b0b2dfa1567cb16ff7a7230fd78e52bc2938e，Agent-Native c348441691e8bdab784a03aa9be64d53dacff341。 来源均为 SELF·源码/本机只读观察；没有真实并发故障重放。命令、对象 SHA 和原始输出见调查收据，启动收据见任务卡。

对象	当前可核实事实	方案含义
Dev 运行实例	runtime/dev/bin/agent-system、8788 端口打开 runtime/dev/data/agent-system.db 及 WAL；二进制 build revision 为 017b40f76156905eabe8323ae2bfe800f47fb8bd	当前服务确实使用 SQLite；运行版本与上述源码基线不同，源码缺陷不冒充已在该二进制重现
本机安装	Homebrew 列出 PostgreSQL 18.6、pgvector 0.8.7、Redis 8.10.2	仅证明安装；目标 PG 实例、目标库扩展启用、角色与可用性未验证，不据此批准切换
Backend 存储	internal/app/app.go:105 按 DSN 选 PG，否则 SQLite；store/store.go:50 SQLite WAL、busy_timeout=5000、单连接；PG 池固定 16/8	无需重写全部存储层；需团队档显式配置、连接预算和真实 PG 测试
已有一致性基础	store/dialect.go:49 PG 事务咨询锁；消息 seq 唯一约束、requestId 去重和 HITL 条件更新	保留并扩展，不把已有能力列作全新建设；这些能力不等于跨实例运行互斥
Run 所有权	runmgr/runmgr.go:1113 用进程内 map 占用会话；store/messages.go:120 直接创建 run	两实例可能各自认为空闲；需共享占用和有效执行代次
取消与审批	runmgr/runmgr.go:1326,1422 依赖本实例 active 句柄；HITL 先落卡，再查句柄	请求落在非执行实例时存在命令不生效或卡已处理但执行未被唤醒的风险
跨实例事件	pgbus/pgbus.go 每批通知末 seq，Listener 只 EventAt 取末条；断线后对原连接继续 Wait	静态可见批内中间事件遗漏及重连缺口；server/server.go:376 的 SSE 重放/去重不能修复已越过的游标
schema 迁移	store/migrate.go:migrate 每次 Open 执行迁移；DDL 事务提交后另行插入迁移版本	并发启动与两步间崩溃存在风险；切 PG 前先改为单迁移入口与原子版本登记
向量查询	store/vectors.go 读取 BYTEA，应用内计算余弦；migrate.go 未把向量列建成 pgvector 类型	安装 pgvector 不代表启用；复用 RRF 管线，分阶段改为数据库 top-k
Redis	ratelimit/ratelimit.go:65 独立 INCR/EXPIRE，EXPIRE 错误未处理；请求异常默认放行；app 默认限额 0	当前只是可选共享限流，需原子窗口、鉴权/TLS配置、容量保护与可观察的降级
本地文件	blobstore 默认本地目录；Backend Squad 入口未传 Store，回落 FileStore；checkpoint 写 .agentx/checkpoints.jsonl	PG DSN 不会迁走这些状态；工件、执行工作区、checkpoint 要分别处理
独立 Squad	独立 CLI 使用 adapters/sqlite/runstore.go 的 orchestration.db；这不是 Backend 实际接线	不把迁移该 SQLite 文件当作 Backend 分布式改造完成
验证	PG/Redis 集成由 AGENT_PG_TEST_DSN/AGENT_REDIS_TEST_ADDR 控制；当前 CI YAML 没有显式准备这两种服务	缺变量会跳过关键测试；CI 通过不能自动证明真 PG/Redis 或双进程链路通过

已有规划衔接：Q1 已记录 Store 收敛但仍留 platform→squad 队列桥接等余项；N3 原案与归档卡的 JournalOnly 落地不同，应以当前接线确定权威。共享权限沿用 EXT-8 授权适配器与 RDM 的成员/角色职责，不新建第二套成员模型。历史报告用于定位，不能替代当前验收。远端调查发现 Backend #135 正在增加 S0 工作区 overlay/frozen base/CAS apply；U5 必须复用并核对其契约，不能另造冲突的工作区实现。该 PR 尚未作为本案已合入依赖。其他被查仓当时未返回 open PR，详见收据；实施启动时重新核对。

3. 需求与可判定结果

ID	需求	优先级	验收条件
R1	支持 10–100 人、多项目、多会话并行	P0	在固定环境与下述负载下完成真实业务链路；容量结果绑定组件 SHA、配置和数据集
R2	团队数据有唯一共享权威	P0	团队档无有效 PG 配置或连接失败时拒绝就绪，不自动建立本地 SQLite 继续服务
R3	并发提交和编辑不静默覆盖	P0	同 requestId 返回同一逻辑结果；同版本竞争写入最多一个成功，其余明确冲突；不同会话并行
R4	跨实例运行与命令可恢复	P1，多实例前置	同会话主 run 单一有效 owner；旧 epoch 写入拒绝；任意 API 实例取消/HITL 均到达执行者
R5	事件有序、可追赶	P0/P1	批处理、掉通知、重连和慢消费者后可按游标补齐全部已提交事件；不因收到末 seq 而跳过中间事件
R6	项目权限在所有数据入口一致	P0	读取、写入、SSE、检索、下载与工具入口均校验当前授权；撤权后的新请求无泄漏
R7	数据和运行状态可恢复	P0	SQLite→PG 演练无遗漏；备份恢复含文件与权限映射；未知副作用停在可见恢复状态，不盲目重试
R8	高负载下有界且可观察	P0	队列、活跃 Agent、DB 连接、工具/模型请求都有上限；超载行为、等待时间和错误分类可观测
R9	向量检索随数据增长扩展	P1	数据库 top-k 与原精确基线对照；授权过滤正确；模型/维度/版本不混用；ANN 有召回率与延迟证据
R10	支持未来多服务部署	P1/P2	先验证两个真实 API/Worker 进程共享服务；业务表有模块 owner，后续服务通过契约操作他方数据

R1 的人数及未来分布式方向由用户确认；下列量化指标是建议的验收合同，待批准，不是当前性能结论：

• 基准环境建议：Linux、8 vCPU、32 GiB RAM、NVMe，记录 PG/应用的实际配额与网络；两实例验证分为同机多进程和后续双主机两种证据。
• 阶梯负载：10→30→100 在线用户，最多 300 SSE 连接；初始全局活跃 Agent 执行预算 20（包含子代理）、每用户 2、索引任务 4。待执行队列最多 200，按用户/项目公平分配。已接纳 run 数与实际执行许可分别计数；父 run 等待子代理/HITL 时让出执行许可、保留会话所有权，恢复执行须重新获许可，避免额度用尽时父子互等。以上阈值由实测调整。
• 数据量建议：100 万条消息/事件量级、10 万知识分块、多个项目与交叉授权用户；另测 100 万分块扩展档。记录数据分布与热点，不能只测空库。
• 非模型普通 API：P95≤300ms、P99≤1s；SSE 持久事件可见延迟 P95≤1s；非预期失败率≤0.1%。预期限流/冲突单列，不能排除后不报告。
• 先跑 60 分钟稳定负载，再跑 2 小时混合长稳；持续记录实际成功吞吐、排队、CPU/内存/IO、连接等待和模型配额。模拟模型用于容量基线，另保留真实模型少量全链路验证。
• 数据正确性不变量在全部测试中零违反。数据库/Worker 故障恢复建议 RTO≤15 分钟；灾难恢复建议 RPO≤5 分钟、RTO≤60 分钟。主机/存储全毁不在单机“零丢失”承诺内；若要求该场景 RPO=0，需另行批准同步复制、故障域与可用性取舍。

4. 技术决策与目标结构

KTD1. 区分 local 与 team 部署档。 local 保留 SQLite；team 强制 PG、认证、独立实例 ID、受控工具执行和启动诊断。PG 暂时不可用时返回未就绪，不切回 SQLite。个人档不因浏览器人数变多而自动升级。

KTD2. PG 保存持久业务与调度事实。 用户/项目/会话/消息/卡片/运行/幂等记录/命令/事件/checkpoint 元数据以 PG 为准。Redis 不成为任务完成、审批通过或永久幂等的唯一证据。初期使用同一 PG 实例和有归属的逻辑表/角色；后续拆服务时明确表的唯一写入模块，避免所有服务无约束共享整库。

KTD2 的全部状态收敛以 U5 完成为界；此前有明确的单实例过渡边界，不能提前把本地状态当成缓存：

数据	首期单实例团队版	U5 后多实例版
Backend 业务记录、幂等与恢复隔离标记	PG 权威	PG 权威
尚未改造的 Squad FileStore、checkpoint、续跑标记	唯一实例的本地权威文件，联合备份，禁止跨机接管	版本/归属元数据在 PG，大内容在共享对象存储
工件	本地对象目录，持久备份与 DB 清单绑定	共享不可变对象与 PG 发布记录
临时执行目录	单实例/单 owner；先分类再清理	owner+epoch 控制的可恢复工作区

KTD3. 一个会话一次主执行，不同会话并行。 推荐独立 conversation_execution 占用行，以 owner/会话唯一键、run_id、epoch、lease_until 约束；不对所有 runs 加“会话唯一”，以免禁止正常子代理。事务内完成权限检查、请求幂等、消息、主 run 和调度记录，接收成功以事务提交为准。

KTD4. 短事务领取，租约与 fencing 配套。 Worker 通过 PG 行锁和 SKIP LOCKED 领取到期任务；事务提交后执行，模型/工具等待不得持有数据库事务。续租、事件追加、checkpoint、终态写入都校验 run+epoch。租约用 DB 时间，执行实例 ID 与每次启动的 generation 分开。旧 Worker 恢复后不能提交；租约过期也不等于外部命令已经停止。

KTD5. 持久命令与提交事件同事务。 取消/HITL/调度命令写入 PG inbox/outbox，带唯一 command_id、逻辑 run、执行代次与处理状态。运行级取消意图交给当前 owner，即使接受后发生接管也不能丢失；HITL 绑定稳定 gate_id+gate_version，新 owner 消费时重验 gate 与权限，过期审批明确拒绝而不静默丢弃。执行结果及确认仍须校验当前 epoch。批准数据与待投递命令原子提交，执行者幂等消费，处理确认与执行效果分别记录。关键外部动作必须有目标端幂等键、可查询凭据或人工恢复路径；超时结果未知时进入 recovering，不宣称任意工具 exactly-once。

KTD6. 事件表是重放依据，NOTIFY 仅作唤醒。 事件提交与 outbox 同事务；需要时在同事务使用 pg_notify。监听端维护每流连续 cursor，从 EventsAfter 分页追赶到通知水位；不能直接跳到末 seq。重建连接→LISTEN 生效→补查水位/积压，再转实时。增加周期补查，覆盖通知丢失、断线与通知前后竞争。只有落库事件才能发布可恢复的 SSE ID；纯瞬时进度明确可丢失，不冒充已确认业务数据。

KTD7. 数据库乐观并发控制。 项目设置、卡片、文档元数据等读改写带 version/expected_version；冲突返回 409 及新版本引用。重要唯一性/外键落在数据库，事务失败按错误类型有界重试整笔事务；提交结果未知先按幂等键查询。不能无限重试模型调用或发送动作。PG 事务隔离与重试。

KTD8. 数据库迁移独立于普通启动。 单一 migrator 取得数据库锁，执行 append-only 版本；可事务化 DDL 与版本登记同事务。应用仅核对兼容版本和就绪状态。不能放入事务的在线索引变更单列可恢复运维步骤，不夹入普通迁移后声称原子。使用扩展→回填→切读写→收缩，保留兼容窗口。

KTD9. 工件共享，工作区有执行 owner。 先保留 blobstore 接口；跨主机上线前实现并验收 S3 兼容对象存储，DB 保存不可变对象键、校验和、版本与就绪状态。发布前先完整写对象再提交引用，失败孤儿可清理；删除采用标记和延迟 GC。工作区、检查点与 Squad 状态分开设计：checkpoint/调度版本入 PG，大内容入对象存储，本地工作区是受 owner/epoch 控制的暂存执行目录；需要接管时按清单恢复。共享目录和文件 rename 不能替代跨机所有权。

KTD10. Redis 只保存可恢复的加速状态。 保留共享限流，改为 Lua 原子计数+过期或等价原子算法，键包含实例群/完整时间窗/owner，支持 ACL 凭据/TLS、连接与请求超时。故障时普通读取可降到本地保守限流；创建 Agent/昂贵工具等写入口仍受 PG admission 硬预算保护，不能无界放行。缓存带授权/内容版本，撤权同步失效或重新校验；先证明命中收益再加缓存。Redis INCR 限流模式、分布式锁限制。

KTD11. pgvector 按“正确→测量→ANN”推进。 复用现有全文+RRF+可选 rerank，先补 embedding profile/model/revision/dimension/content_hash/generation 身份，禁止同维不同模型混查；迁移为 vector 列并在 PG 做过滤和精确 top-k，再用基线对照决定 HNSW。权限适配器不能直接变成 SQL 时，由适配器提供受限授权候选集合或采用有界分批取候选+最终实时鉴权，不得无界加载所有 owner 后在内存过滤。授权过滤后的召回率单独验证；ANN 需要迭代扫描/分区等策略时以模型维度和版本实测选择。pgvector 官方说明。

KTD12. 先管理连接池，再决定 PgBouncer。 使 MaxOpen/Idle/IdleTime/Lifetime、查询超时可配置并输出脱敏有效值；总连接预算包含所有 API、Worker、LISTEN、migrator、监控与维护预留。100 在线用户不等于 100 DB 连接。未来接 PgBouncer transaction pooling 时 LISTEN 必须使用直连或 session pool 独立 DSN，迁移也走直连，并验证 pgx prepared statement 配置。PgBouncer 兼容表。

KTD13. 共享可读不等于可写或可批准。 当前 EXT-8 ProjectAuthz 是只读 bool 契约。U3 先列 read/edit/approve/execute/admin 的动作授权矩阵，复用下游角色，不另建成员权威；需要共享写入时以版本化公开契约扩展 action-aware 授权，旧只读适配器不得自动获得写入能力。未配置的动作默认拒绝，Host/工具/API 均走同一授权结论；审批职责分离仍由下游规则判定。SSE 发送后续数据、异步任务开始和工件下载时重新校验当前授权，缓存失效不承担唯一安全责任。

KTD14. 迁移副本按原数据敏感级别保护。 备份、导出、WAL、工件和测试副本使用专用角色及受限目录；传输与静态备份加密，解密材料保存在独立受管秘密存储并纳入恢复演练。日志/报告只留统计与哈希，禁止正文、令牌及密钥明文；测试使用脱敏数据。U1 固定保留期限、存放位置、访问者与清理责任，未知项阻塞正式导出。正式恢复演练同时验证凭据可用性与非授权者无法访问副本。

flowchart LR
  U[10–100 用户] --> G[入口与认证]
  G --> A[API 实例 A / B]
  A --> P[(PostgreSQL + pgvector)]
  A --> R[(Redis 限流 / 可重建缓存)]
  P --> W[Worker 领取任务 / 持久命令]
  W --> P
  W --> X[受控工具工作区 / 模型服务]
  W --> O[(共享对象存储)]
  A --> O
  P --> E[事件追赶 / 本地订阅]
  E --> U

sequenceDiagram
  participant C as 用户
  participant A as 任意 API
  participant P as PostgreSQL
  participant W as 执行 Worker
  C->>A: 提交 requestId / expected_version
  A->>P: 短事务：鉴权、幂等、占用、消息、run、任务
  P-->>A: commit / 冲突
  A-->>C: 已受理与 runId / 明确冲突
  W->>P: 领取任务并取得 epoch
  W->>W: 事务外执行模型与工具
  W->>P: 按 epoch 提交结果与事件
  P-->>A: 唤醒后按 cursor 补齐
  A-->>C: SSE 已提交事件

stateDiagram-v2
  [*] --> queued
  queued --> running: 原子领取并分配 epoch
  running --> waiting: 持久 HITL
  waiting --> running: 幂等命令消费
  running --> completed: 有效 epoch 原子结算
  running --> recovering: 失联或副作用结果未知
  waiting --> recovering: owner 失效
  recovering --> queued: 已核对可安全重试
  recovering --> interrupted: 需人工处理或不可恢复
  queued --> cancelled: 取消命令生效
  running --> cancelled: 执行者确认停止

5. 实施顺序与工作包

每个阶段评审后再进入下阶段；以下均为待批准计划，不因写入文档取得实施授权。新测试文件标“新增”；现有测试只作为扩展入口，本次未运行。普通基座改动在 Backend；公开持久接口确需变化时才同步 Native/Squad/Core，并由 Dev 固定组合测试，不全库改造。

U1. 冻结目标、数据归属与基准环境

对应 R1/R2/R7/R8。先确定目标为 Dev 团队实例及其实际发布制品，记录脱敏配置来源、DB 实例/版本/扩展、数据数量与归属、文件清单、磁盘容量、峰值和恢复目标。RDM 独立业务库、旧 Agent-System 治理库另列，不能把一次 DSN 切换宣称覆盖它们。 范围：runtime/dev 部署配置（实施时核对文件位置）、modules/backend/internal/config/config.go、文档运行手册。 产物：固定部署清单、迁移映射、容量合同（区分接纳与执行许可）、隔离测试库/目录/端口方案、KTD14 的副本保护与保留合同；确认暂态 Worker 文件哪些可重建，哪些必须迁移。 验收：仅操作批准的实例和测试资源；共享数据凭据不打印；未知 owner 或未定位的权威文件阻塞迁移。测试：脱敏配置诊断及缺项校验，业务压测依后续 U7。

U2. 团队 PG 档、迁移器与真实数据库门禁

依赖 U1；对应 R2/R3/R7。修改 internal/config/config.go、internal/app/app.go、internal/store/store.go、internal/store/migrate.go 及 CLI；按 KTD1/KTD8/KTD12 实施。 CI 增加隔离原生 PG/Redis 生命周期及明确必跑标记，固定组件/扩展版本；缺少真实测试服务时该 job 失败而非跳过。 测试：扩展 internal/config/config_test.go、internal/store/store_test.go；新增 internal/store/migrate_atomic_test.go。覆盖 team 缺 DSN/PG 故障拒绝启动、local SQLite 正常、两个 migrator 竞争、DDL 与账本中间崩溃、旧 schema 升级、PG bool/时间/空 JSON/唯一约束与全文扩展。 出口：真 PG 完整 CRUD/认证/会话/SSE/检索/卡片链路通过；仅该出口不宣布多实例安全。schema 变更的组合测试与业务迁移是不同动作。

U3. 请求原子性、版本冲突与受控容量

依赖 U2；对应 R3/R6/R7/R8。修改 internal/server/server.go、internal/store/messages.go、internal/store/cards.go、internal/cardsvc/cardsvc.go、设置读改写及 internal/runmgr。收口 KTD3/KTD7 的事务边界；保留现有 seq 约束。按 KTD10 完成 Redis 原子限流、配置与异常策略；PG 记录共享 admission 预算。按 KTD13 完成动作授权矩阵与所需公开扩展的兼容计划；涉及共享编辑时 Core/Host 与下游适配器一起验收。 先补最小持久恢复隔离：为未知副作用记录 recovery hold，ResumeInterruptedChildren 等所有启动续跑入口必须跳过，人工核对后显式解除。概念状态 recovering 可以先由独立隔离记录表达；扩展 Core 枚举时走公开契约版本，不假定当前已有此状态。完整租约接管留 U5。 测试：扩展 internal/server/admission_test.go、internal/ratelimit/ratelimit_test.go；新增 internal/store/admission_pg_test.go、internal/store/card_version_test.go、internal/runmgr/recovery_hold_test.go。覆盖相同请求重放、事务部分失败、同版本竞争、动作越权、子代理预算计入全局、所有父 run 占满额度后同时派生仍能前进、未知副作用重启不自动续跑、队列满、Redis 断连/恢复/键过期。 出口：单 API 团队模式达到不变量与有界行为；不会把 20 个 Agent 配置值当作已证明容量。

U4. 可切换的迁移与恢复演练

依赖 U2/U3；对应 R2/R7。新增 modules/backend/cmd/storage-migrate/ 或等价受管运维入口，明确只处理 Backend 库；不得直接执行 SQLite dump 作为 PG SQL。迁移实例以 migration_id、source_snapshot_id、source_schema_version 固定来源，记录表级完成与最终验证完成标记；仅同一冻结快照可续传，其他非空目标拒绝。迁移报告包括每表计数、主键映射、按主键分批规范化内容校验和、外键/owner/权限检查及工件哈希。 测试：新增迁移工具的 main_test.go 与 integration_test.go，固定脱敏 SQLite 夹具覆盖全部当前 schema、布尔/空值/时间/JSON/Unicode/二进制向量/秘密字段、幂等重复导入、缺文件、未知 owner、断点重试及目标已含数据拒绝。 操作顺序与回退见第 6 节。出口：隔离环境迁移与恢复验证完成，由用户批准窗口后才切正式服务。

U5. 执行所有权、持久命令与共享状态

依赖 U3，团队现网切换不必等待整个 U5；对应 R4/R6/R7/R10。修改 internal/runmgr、internal/store/recovery.go、internal/squadadapter、internal/runtime/squad_runner.go、internal/blobstore；新增 Store 的 lease/inbox/outbox 与 PG RunStore 适配器。 按 KTD4/KTD5/KTD9 设计 Native checkpoint 接口，继续支持 local 文件实现；不把 JournalOnly 日志误当作业务上下文权威。Worker 工具沙箱与访问范围沿用现有方向，在执行端检查当前身份和 epoch。 测试：新增 internal/runmgr/multi_instance_test.go、internal/store/lease_pg_test.go、internal/blobstore/object_store_test.go；扩展 internal/runmgr/recovery_test.go。必须启动两个真实进程：同会话争抢、不同会话并行、跨实例取消/HITL、命令提交后消费前 owner 换代、旧 gate 的审批明确失效、Worker 被杀、旧 Worker 迟到结算/写事件/写文件、失联重连、副作用结果未知、文件缺失/重复发布。 出口：所有写入和工具副作用的失效 owner 处理有实证后，才允许第二实例承接写请求；故障状态可见，不能仅靠粘性路由。

U6. 事件追赶与数据库向量检索

U6 内分三个交付切片，稳定工作包 ID 不变：事件追赶/重连修复依赖 U2，可与 U3 并行；事务 outbox 与投递闭环依赖 U5；向量 schema 与查询改造依赖 U2 迁移器及 U3 授权合同。对应 R5/R6/R9。 事件：修改 internal/pgbus/pgbus.go、internal/runmgr/events.go、internal/server/server.go、Store 事件接口。扩展 internal/pgbus/pgbus_test.go，新增 internal/server/sse_gap_test.go：批次 64 条全部可见、断线补齐、通知丢失、订阅与补查竞争、1000+ 分页、慢消费者、撤权后新事件拒绝。第一切片完成只证明追赶修复，不声称 KTD6 的事务 outbox 已就位。 向量：修改 internal/store/vectors.go、internal/store/migrate.go 与现有知识索引管线；新增 internal/store/pgvector_test.go。验证模型身份/维度隔离、内容更新/删除原子性、回填中重启、索引未完成可降级、中文全文混合、共享授权后 top-k、撤权、与精确检索 Recall@10 对照（建议≥0.95，待批准）。索引构建不得拖垮前台连接/IO。 出口：先验证正确与有界，再按容量结果决定 HNSW 与缓存；绝不以 extension 存在替代查询计划/召回证据。

U7. 压测、故障验收与分布式放行

依赖 U2/U3/U4；双实例验收另依赖 U5/U6。对应全部 R。首期单实例放行必须完整重放现有入口的 R6 权限矩阵（含 SSE 后续事件、共享检索、下载、Host/工具与撤权），并证明 U3 恢复隔离；不能等 U5/U6 才验证这些 P0 要求。跨实例传播与接管的新增验证随 U5/U6。新增 Dev tests/load/collaboration/ 与 tests/integration/multi-instance/，由隔离测试入口负责启动/回收自己创建的资源。 按第 3 节负载合同和第 7 节矩阵测量，记录原始 k6/pgbench、服务指标与数据不变量；pgbench 只测数据库能力，不能替代业务 API/SSE/Agent 验收。正式测试不打生产服务。 出口：单实例团队、双进程、双主机分别出具结果；CI 身份/链接/SHA 或独立 REPLAY 可核验才用于放行。本地 SELF 只能作辅助。变更智能体行为时补真实模型前后任务级对照。

远期 P2：需求达到后再拆 API/Worker/索引服务，按表归属收紧角色；引入 PG 高可用与自动故障转移、对象存储冗余、可选 PgBouncer。服务拆分与 DB 复制是两件事；Redis 集群、读副本和缓存不能替代主库一致性，读后写敏感路径保持主库读取或显式一致性令牌。

6. SQLite → PostgreSQL 切换和恢复

1. 固定源服务制品、全部数据库/文件路径与目标空库；指定迁移 owner、窗口、可接受中断和回退判据。先做只读盘点与隔离演练，不接触其他服务的数据。
2. 为 SQLite 做一致性备份（应用已有 Backup/VACUUM INTO 或官方备份路径），同时生成工件/checkpoint/工作区清单。活跃 WAL 数据库不能只复制 .db 文件；检查备份可打开且内容与清单匹配。
3. 预演使用独立测试目标 PG，由 migrator 建 schema/扩展，再按依赖顺序导入。显式保留 ID、幂等键、事件 seq、哈希/秘密、用户归属、共享范围、审批状态，调整序列值和类型。预演库不成为正式目标；所有副本遵守 KTD14。
4. 最终窗口暂停新写与调度，等待或安全收口在途 run；无法确认外部副作用的 run 写入 U3 的持久 recovery hold。停止全部旧写者后取最终一致性快照，导入新空正式目标；按 U4 的同快照迁移身份续传。全量对账与验收抽样完成并写入完成标记后才可切入口，保留只读源备份及过渡期权威文件。目标已服务或身份不同的非空库不得覆盖。
5. 仅一个入口切到 PG，检查版本/配置指纹、库身份与数据归属，执行用户登录、项目、会话、审批、检索、下载的冒烟；应用 fail-closed，不能故障后回 SQLite。原库不再写，不使用临时双写制造两个权威。
6. PG 接受新写入前可撤回切换，确认目标未产生业务写后恢复 SQLite。PG 接受新写入后禁止直接指回旧 SQLite；优先保留 PG 回退兼容应用或向前修复。确需反向迁移，重新冻结写者、导出 PG 增量、对账并批准专门回迁方案。
7. 建立 pg_dump 逻辑备份，以及 pg_basebackup（或等价物理基础备份）+ 连续 WAL 归档/PITR，并与对象存储版本/清单联合恢复；pg_dump 不能用作 WAL 回放的基础备份，保留足够不可变对象。每次演练恢复到新目标，核对应用可用与权限/文件完整性，不能把“备份命令成功”当作可恢复。

SQLite 本身支持可靠事务与多人经同一应用访问；WAL 提升读写并发，但同一数据库仍只有一个 writer，且不适合多主机通过网络文件系统共享 WAL。取舍基于写负载、进程拓扑、恢复与运维目标，不用“超过某人数 SQLite 就出错”的判断。SQLite WAL 官方文档。

7. 最小验收矩阵

场景	必须观察到的结果	对应
同 requestId 并发/网络超时后重试	一个逻辑请求和同一 run，不重做已经确认的副作用	R3/U3/U5
两实例同会话不同请求	仅一个主执行；另一个排队或明确冲突，子代理不受错误唯一约束阻断	R3/R4/U5
多项目并行、热点会话、满额度父子派生	公平、有界；等待父 run 不阻塞子 run 获得许可，所有任务能前进或得到有界拒绝	R1/R8/U3/U7
并发修改同卡/设置	成功与冲突可辨认，无最后写入静默覆盖	R3/U3
在 B 提交 A 所有 run 的取消/HITL，消费前换 owner	命令持久、唯一消费；取消随逻辑 run 生效，HITL 重验 gate 版本，卡片与 run 最终一致	R4/U5
Worker 崩溃/暂停超过租约后恢复	新 owner 可受控接管；旧 epoch 不能提交；不明副作用不自动重放	R4/R7/U5
PG 断连/提交响应丢失	依赖不可用有界失败；恢复按幂等记录核对，不自动切 SQLite	R2/R3/U3
Redis 断连/INCR 后崩溃	不改变业务事实；昂贵任务仍受硬预算；恢复无永久计数键错误	R8/U3
批事件/断开 LISTEN/通知丢失	所有已提交事件按连续 cursor 追赶，重放不跳洞	R5/U6
撤销成员权限/跨 owner 猜测 ID	新请求、流后续事件与下载/检索/工具均不泄漏	R6/U3/U5/U6
多模型向量/过滤后 top-k	不混模型，权限正确，召回/延迟达批准阈值	R9/U6
迁移崩溃/坏文件/未知 owner	阻止切换；重试不重复导入，不隐式公开历史数据	R7/U4
磁盘满/备份恢复/整机失效	清楚拒绝写入和报警；在约定故障模型与 RPO/RTO 下恢复	R7/U4/U7

8. 工具、观测与交付

本轮未安装软件、修改配置、运行迁移、重启服务或压测。brew 已有三项服务软件，当前瓶颈主要是接线与一致性机制，暂不重复安装。未来压测可通过 brew 安装 k6；PgBouncer 只在连接测量证明有必要后安装。安装授权不等于对共享数据库升级、创建扩展或变更服务的授权；执行前核对目标、版本与既有占用。

必需观测：API P95/P99与预期/非预期错误，DB pool wait/连接数/慢查询/锁等待，队列长度/最老年龄，run 租约/过期写拒绝/未知副作用，SSE cursor lag/补查次数，Redis 错误与降级，检索耗时/召回抽样，备份时间与恢复结果。日志只记录 request/run/owner 的安全标识，不记录 DSN、密钥或文档正文。

r1 为方案与 SELF 调查记录。r2 起：U1–U7 代码与测试已合入且正确性 CI 绿。r2.1：本机双实例 contract 容量窗口（ladder / 60m / 2h）SELF 全过，见容量报告。r2.2：用户于 2026-10-12 明确不做容量重放；同日完成 B6 pgbench、C4 PG/Redis 断连、C5 物理备份与 pg_dump 恢复的本机 SELF，见运维演练报告。C4 通过。C5 的库恢复通过（RPO 64 秒，RTO 4 秒），工件上传在未配置对象存储时 panic，K4 失败，产品代码未改。r2.3：2026-10-13 在 store 边界把带类型的空对象存储当作未配置并回落本地目录；同日 C5 重测 K1–K7 均为 SELF 通过（RPO 65 秒，RTO 3 秒，K4 五个工件 sha256 一致且跨用户拒绝）。本地 SELF 不能冒充 GATE/REPLAY 放行；双主机仍缺。部署与第二实例写流量仍未授权。

方案静态审阅及修订处置见审阅记录。进程级黑盒相对库级 Manager 测试的漏检教训见经验条目。Agent 审阅不替代人工批准或实现验收。

首选下一增量不要自动开工。剩余放行门槛是：独立 REPLAY，或把 C4/C5 快速档接入 CI 形成 GATE（需平台准入）；以及 C3 双主机（需第二台机器）。2026-10-13 的上传修复与 K4 SELF 重测不替代这两项。GATE/REPLAY 与 C3 未齐前，不要开放第二实例写。各实现任务启动前复核在途 PR 与依赖 SHA，再按 Dev 的 evidence/task-sync/组合验证流程交付。