Why: U4 ships the managed migration entry; the runbook is the operator-facing contract for inventory/backup/migrate, migration identity and resume rules, verification semantics, and the authorized-window switch sequence. Evidence: backend branch feature/collab-storage-u4-migrator - integration tests green against real PostgreSQL (idempotent rerun, resume, foreign-data refusal, wrong-snapshot refusal, unknown-owner block). Impact: docs only. Refs: proposals/2026-10-11-collaboration-storage-and-distribution.md U4 and section 6.
12 KiB
团队存储运行手册(协作存储 U1)
适用范围:协作存储与分布式方案 U1/U2
(已批准,2026-10-11)落地后的 team 部署档 运维与验证。个人 local 档(SQLite)
用法不变,见 usage。本文是 U1 的固定部署清单、配置合同、迁移映射、
容量合同、隔离测试方案与 KTD14 副本保护合同的单一事实源;实施状态以各任务卡为准。
1. 目标实例与固定部署清单
| 项 | 值 | 说明 |
|---|---|---|
| 部署形态 | svc.sh 管理的 runtime/<name> 实例 |
非容器;单机多实例按名隔离 |
| 当前团队候选 | runtime/dev(8788,SQLite)→ 目标切 team 档 PG |
切换窗口与回退按方案 §6,须另行授权 |
| 数据库(本机验证) | PostgreSQL 18.6 + pgvector 0.8.7(brew) | 本机验证用;正式实例待指定 |
| 数据库(CI 门禁) | Ubuntu 24.04 apt:postgresql 16 + postgresql-16-pgvector | 版本以 CI job 输出为准 |
| 缓存/限流 | Redis 8.10.2(本机);CI apt redis-server | 只存可重建状态(KTD10) |
| 应用制品 | agent-system 单二进制(make build) |
拷贝即运行;team 档需 --tier team |
未知项(正式实例主机、pgvector 正式启用版本、对象存储选型)在正式切换授权前 必须补齐;本清单不把本机验证环境当作正式部署事实。
2. team 档配置合同(U2 已实施)
启动语义(KTD1 fail-closed):
tier=team:必须配置dsn且认证开启(auth=on;auth=auto随 DSN 自动开); 任一缺失拒绝启动。PG 打开失败拒绝就绪,绝不回落 SQLite。未配置执行隔离 (disableExecTools或execBackend)时启动警告(多用户开放前必须补齐)。tier=local:SQLite;配置dsn是配置错误,拒绝启动。tier缺省(auto):现状语义——dsn非空走 PG,否则 SQLite。
配置键(四源合并:默认 → 文件 → 环境 → 显式 CLI,与 usage §启动一致):
| 键 | env | CLI | 语义(team 档) |
|---|---|---|---|
tier |
AGENT_SYSTEM_TIER |
--tier |
local / team / 空=auto |
dsn |
AGENT_SYSTEM_DSN |
--dsn |
PG 连接串;team 必填 |
auth |
AGENT_SYSTEM_AUTH |
--auth |
team 档要求最终为 on |
instance |
AGENT_SYSTEM_INSTANCE |
--instance |
空=主机名:监听地址(多实例必须互异) |
pgMaxOpen |
AGENT_SYSTEM_PG_MAX_OPEN |
--pg-max-open |
每进程最大连接(默认 16) |
pgMaxIdle |
AGENT_SYSTEM_PG_MAX_IDLE |
--pg-max-idle |
每进程空闲连接(默认 8) |
pgConnMaxIdleSec |
AGENT_SYSTEM_PG_CONN_MAX_IDLE_SEC |
--pg-conn-max-idle-sec |
空闲回收(默认 300s) |
pgConnMaxLifetimeSec |
AGENT_SYSTEM_PG_CONN_MAX_LIFETIME_SEC |
--pg-conn-max-lifetime-sec |
连接寿命(默认不限) |
pgQueryTimeoutSec |
AGENT_SYSTEM_PG_QUERY_TIMEOUT_SEC |
--pg-query-timeout-sec |
statement_timeout 秒(默认不限) |
连接预算(KTD12):预算覆盖全部 API/Worker/LISTEN/migrator/监控连接;
100 在线用户 ≠ 100 连接。agent-system config explain 输出脱敏有效值
(DSN 密码打码)。启动日志打印 storage tier: team (dialect=postgres pool=… schema=v…)。
迁移(KTD8,U2 已实施):DDL 与版本登记同事务(中途失败整体回滚,不存在
「表已建、账本未记」中间态);PG 并发迁移者按会话咨询锁串行化;SQLite 写事务
_txlock=immediate 跨进程排队。库内出现比二进制新的 schema 版本时拒绝启动。
3. 迁移映射(SQLite → PG,U4 工具消费)
| SQLite 侧 | PG 侧 | 备注 |
|---|---|---|
agent-system.db(WAL) |
同名逻辑库 | 活跃 WAL 不能只拷 .db;一致性备份用 VACUUM INTO |
| INTEGER 0/1 布尔列 | BOOLEAN | v9/v10/v11 起双方言已分型 |
INTEGER PRIMARY KEY AUTOINCREMENT |
BIGSERIAL/SERIAL |
events、command_audit、audit_events |
| FTS5 虚表 + 触发器 | tsvector 生成列 + pg_trgm GIN | v4;中文子串走 trigram |
vec BLOB |
BYTEA |
pgvector 类型切换在 U6,不在本映射 |
<data>/artifacts/ 工件对象 |
本期仍本地目录 + PG 清单 | 共享对象存储在 U5/U9 |
RDM 独立业务库与旧 Agent-System 治理库不在本映射内;迁移工具(U4)只处理 Backend 库,非空目标拒绝、同快照才可续传。
4. 容量合同(验收目标,非性能结论)
方案 §3 的量化指标(100 在线 / 300 SSE / 20 执行中 Agent / P95≤300ms 等)是 待验证合同。区分两个计数:接纳的 run 数(进入队列)与执行许可 (同时真正执行,含子代理、初始全局 20、每用户 2、索引 4);等待子代理/HITL 的 父 run 让出执行许可、保留会话所有权。压测在 U7 执行并绑定组件 SHA 出证。
5. 隔离测试库/目录/端口方案
| 资源 | 约定 | 生命周期 |
|---|---|---|
| 本机 PG 实例 | scripts/svc.sh db create collabtest --port 8897 --tag test |
svc.sh 管理;用毕 svc.sh collabtest stop + rm --purge |
| 测试库/扩展 | 库 agent_test;pg_trgm 预装 public |
测试辅助幂等预装;CI 启动步显式预装 |
| 用例 schema | t_* / pgbus_* 前缀,随机名 |
每用例建、Cleanup 级联删 |
| 本机 Redis | redis-server --port 6399 --save '' --appendonly no |
纯内存、用毕即停 |
| CI | job test-pg:apt 安装 PG16+pgvector+Redis,端口 5432/6399 |
每次 PR 必跑;缺服务失败不跳过 |
本地跑真实库门禁:
export AGENT_PG_TEST_DSN="$(scripts/svc.sh db dsn collabtest --db agent_test --reveal | tail -1)"
export AGENT_REDIS_TEST_ADDR=127.0.0.1:6399
make test-backend-pg
禁止对共享/现役实例(如 runtime/dev 的库)跑测试;DSN 不入命令历史与任务卡。
6. KTD14 副本保护与保留合同
- 备份/导出/WAL/测试副本使用专用数据库角色(非应用角色),存放于受限目录 (0700,非工作区);传输与静态备份加密,解密材料存独立受管秘密存储。
- 保留期限:迁移演练副本用毕即删,最长 7 天;正式备份保留 30 天滚动 + 每月 1 份年度副本(待正式实例指定后确认)。
- 日志/报告只留统计与哈希:不落 DSN、密钥、文档正文;测试一律用脱敏数据。
- 恢复演练:每次演练恢复到新目标并核对应用可用与权限/文件完整性; 「备份命令成功」不等于可恢复。
- 阻塞项:正式导出前,未知 owner 的数据、未定位的权威文件、缺失的保留期限 任一存在即阻塞(不静默继续)。
7. 暂态 Worker 文件分类
| 类 | 内容 | 处置 |
|---|---|---|
| 可重建 | 构建产物 bin/、node_modules/、测试数据目录、__pycache__ |
随时删除重建 |
| 必须迁移 | SQLite 库、artifacts/ 工件、.agentx/checkpoints.jsonl、Squad FileStore/续跑标记 |
U4 迁移 + 联合备份;U5 前禁止跨机接管 |
| 只读参考 | svc.env(600)、history.jsonl | 保留在实例目录,不入副本外流 |
8. 已知边界(诚实清单)
- CLI 子命令(apikey/user 等)不校验 tier;team 档语义只在
serve入口强制。 - 迁移仍随启动执行(已原子 + 锁化);完全独立的 migrator 入口留待 U4 工具。
- 多实例安全未因此声明(R4/U5);本档只交付单实例 team 档与真库门禁。
- pgvector 扩展已安装 ≠ 启用;向量检索仍是应用内扫描(U6)。
9. 执行预算与动作授权(U3 切片 2 已实施)
执行许可(admission,R8)
- 设置键:
runtime.execBudgetGlobal(全局并发执行上限,含子代理;0=不限, 默认)、runtime.execBudgetPerUser(每租户上限;0=不限)、runtime.execQueueMax(待执行队列上限,默认 200)。数值为容量合同初值, U7 压测后调整。 - 语义:会话回合与子代理同池计数;账本在数据库(
admission_leases,PG 咨询 锁下原子清点),多实例天然共享;队列满时 API 在落库前 429(不写数据); 父 run 同步等待子代理或等待 HITL 时让出执行许可、保留会话所有权,恢复 执行重新获取——额度占尽时父子不互等。 - 接纳与执行分别计数:队列深度(接纳)与活跃租约(执行)是两个量,
诊断分别看
Manager.QueueDepth()与store.ActiveExecutionSlots()。
KTD13 动作授权矩阵与公开契约兼容计划
矩阵(宿主侧 server.ProjectAction):
| 动作 | 语义 | 未注册 action-aware 时 |
|---|---|---|
| read | 读取项目资源(会话/消息/检索/下载) | 回落旧 EXT-8 只读适配器(兼容现网) |
| edit | 写入与修改 | 默认拒绝 |
| approve | 审批(HITL/命令确认) | 默认拒绝 |
| execute | 触发执行 | 默认拒绝 |
| admin | 管理 | 默认拒绝 |
规则:action-aware 适配器(组合根注入 SetProjectActionAuthorizer)注册后
对全部动作权威、出错 fail-closed;旧只读适配器不得自动获得写入能力。
公开契约兼容计划(后续版本落地):以版本化扩展把动作级判定并入
EXT-8 的 ProjectAuthz 公开契约(新增 action 参数的变体接口 + 契约版本号),
下游适配器按动作逐一声明能力;未声明动作保持默认拒绝,与宿主侧矩阵同语义。
旧 bool 契约在该版本内继续可用(映射为仅 read);Core/Host 与下游适配器
(RDM 的 ProjectAuthz 实现)一起验收,不另建成员权威。
10. SQLite → PostgreSQL 切换与恢复演练(U4 已实施)
工具:make build 产出 bin/storage-migrate(受管迁移入口;只处理 Backend 库,
不执行 SQLite dump 作为 PG SQL)。三个子命令:
# 1) 只读盘点:schema 版本、完整性、逐表计数、工件清单与哈希(§6.1)
storage-migrate inventory --source runtime/dev/data/agent-system.db \
--artifacts runtime/dev/data/artifacts --out inv.json
# 2) 一致性快照:VACUUM INTO(在线安全含 WAL)+ 可打开校验 + 逐表计数对账(§6.2)
storage-migrate backup --source runtime/dev/data/agent-system.db --out snap.db
# 3) 受管迁移:目标建 schema/扩展后按行复制;身份登记 + 逐表校验和 + 终验(§6.3)
storage-migrate migrate --source snap.db --target "$DSN" \
--migration-id <名> --artifacts runtime/dev/data/artifacts --out report.json
迁移身份与续传:migration_id + source_snapshot_id(快照 SHA-256)+ source_schema_version 登记在目标 migration_control;仅同一冻结快照可续传
(换快照/换身份均拒绝);目标业务表已有数据而身份为空即拒绝(不覆盖)。
校验与报告:逐表源/目标计数与主键序哈希链校验和(布尔列按目标 schema 对称
归一);复制后推进 SERIAL 序列;未知 owner(users 之外,''/'local' 单租户默认
除外)阻塞迁移;报告只含计数/校验和/清单哈希——无 DSN、密钥与行正文(KTD14)。
类型映射以目标 schema 为准(SQLite 0/1→BOOLEAN、BLOB→BYTEA、生成列不迁、
FTS5 影子表不迁——PG 侧生成列与索引自动重建);admission_leases 为运行态
不随迁。
切换顺序(正式窗口须另行授权;当前仅隔离演练已验证)
- 固定源制品与路径,
inventory盘点;指定迁移 owner、窗口、回退判据。 backup冻结快照(活跃 WAL 库不得只拷.db文件)。- 预演:独立测试目标 PG 上
migrate,核对报告全绿;预演库不作为正式目标。 - 正式窗口:停新写 → 等待/收口在途 run(未知副作用记 recovery hold)→
停旧写者 → 终快照 → 空正式目标
migrate→ 报告全绿。 - 单入口切 team 档冒烟(登录/项目/会话/审批/检索/下载);fail-closed 不回 SQLite。
- PG 接受新写入前可撤回;之后禁直切回旧 SQLite(向前修复或专项回迁)。
备份基线(正式目标启用后):pg_dump 逻辑备份 + pg_basebackup 物理基础备份与 WAL 归档/PITR;pg_dump 不能作 WAL 回放基础。每次演练恢复到新目标并核对。