每个月都有部委或银行问我们同一个问题:能不能在不向外发送任何数据的前提下部署?答案是肯定的 — 但操作手册与云部署毫无相似之处。这篇手记记录我们交付物理隔离AI平台的经验。
01
数据驻留是起点,不是终点
数据驻留法规定字节必须存放在哪里。真正的主权问题更宽:谁能更新模型,谁能读取日志,供应商消失了怎么办。我们设计每一个离线部署,都确保客户能独立运行多年 — 文档、再训练配方和管理工具一应俱全。如果供应商交不出钥匙,你租到的是依赖,不是平台。
02
物理隔离不等于落后
离线环境最难的工程问题不是推理,而是更新通道。我们交付签名、带版本的更新包,经批准的介质跨越边界,在内部验证后才激活。模型权重、提示词目录与应用代码走同一条受控路线。更新按安全部门掌控的节奏到达,而不是云厂商想推就推。
03
效率是一项安全特性
当算力无法弹性扩展到云区域时,每一个浪费的token都是你没有的容量。离线工作迫使我们让智能体更省:更紧凑的提示词、更小的专家模型、对中间结果的激进缓存。意外的是,这些纪律同样改善了我们的云端部署。约束是位好老师。