Safe Autonomy(安全自主)：放手让 AI 跑，但不闯祸

📍 自动化与协作 5/5 · 上一篇：← 智能体团队

一条命令，全家沉默

先讲我们家最疼的一次事故。

某天要重启一个机器人的消息服务。执行的命令用了模糊匹配——“把叫这个名字的进程都杀掉”。

问题是：全家一窝机器人的消息服务，进程名长得一模一样。

一条命令下去，全部撂倒。瞬间全家失联。

事后复盘，教训简单得扎心：杀进程要用精确的进程号，不要用名字模糊匹配。这条经验从此写进了我们家的规则文件，再没犯过。

前面四篇讲的都是”怎么放手”——定时自动跑、远程指挥、聊天入口、组队协作。这一篇讲放手的前提：怎么不闯祸。

自主 ≠ 裸奔：权限的三档

Claude Code 执行操作前会请求授权。你可以在三个档位之间选(还记得跑命令那一篇吗？这里从”安全设计”角度再看一遍):

档位	行为	适合
每步确认	每个操作都问你	新手期 / 陌生项目 / 高危环境
计划确认	先给完整计划，你批了再动手	大改动前想先看全貌
自动执行	授权范围内自己跑	熟悉的项目 + 想清楚了的范围

关键不是选哪档，是理解一个组合拳:

范围内自动跑 + 范围外必须问。

比如：“读文件、改这个项目目录、跑测试——放行；删东西、动配置、碰其他目录——必须问我。“这才是”安全的放手”:不是信任它一切，是把信任圈划清楚。

最小授权原则：每次只开一条缝

我们家有一条被真实事件焊死的规矩：加权限，只加当下明确需要的那一条，绝不”顺手多开”。

来历：有一次为了传文件，差点给 AI 开了一个”所有同步命令都放行”的大口子。被及时叫停——正确做法是只放行那一条具体命令。

为什么这么抠？因为权限的特点是开了就容易忘。今天为了省事开的大口子，三个月后你根本不记得，而它一直在那开着。每一条多余的授权，都是将来某次事故的伏笔。

实操建议：

• 权限申请出现时，看清楚具体是什么再点允许，不要条件反射
• 优先选”仅本次允许”，观察几次再考虑永久放行
• 每隔一两个月，把永久授权清单过一遍，不认识的删掉

看门狗：假设它一定会挂

自动化系统的成熟标志，是为失败设计。我们家的做法叫”看门狗”(watchdog):

一个独立的小程序，每分钟检查一遍所有服务：活着，不管；挂了，自动拉起来，并记一笔日志。

它救过场很多次：机器重启后服务没起来、进程悄悄崩了……每次都是一分钟内自动恢复，人事后看日志才知道出过事。

这个思路可以浓缩成一句话：

不要问”它会不会挂”，要问”它挂了之后，多久、由谁、怎么恢复”。

哪怕你不写看门狗，用例行任务每天巡检一遍，也是同一个思路的轻量版。

用事故换来的四条铁律

我们家几年自动化跑下来，每条都有对应的真实翻车：

1. 危险命令，精确打击

开头那个全家沉默的故事。删除、终止、覆盖类的操作，永远指名道姓(精确路径、精确进程号)，不用通配符和模糊匹配。给 AI 的规则文件里明写这一条。

2. 上公网前，过一遍”陌生人测试”

Web Chat 那一篇的三周裸奔。任何东西暴露到公网前问一句：**陌生人拿到链接能干什么？**答案不舒服就先加门。

3. 改坏之前，先留后路

大改动前存档(git 提交、备份、快照)。AI 手快，它三分钟能改二十个文件——没有存档点，回滚就是灾难。我们家的习惯：让 AI 动手前自己先说”我会先备份到哪”。

4. 出事之后，把教训写进规则

每次翻车，复盘出的规则写进 AI 能读到的规则文件(比如 CLAUDE.md)。写过 = 这类事故从此绝迹；不写 = 三个月后换个马甲再来一次。AI 的好处是：教训真的能焊死，不靠人记性。

一张自查清单

放手自动化之前，过一遍：

• 危险操作(删/杀/覆盖)是否都要求精确指定目标？
• 公网入口是否都有门(密码/白名单/验证)?
• 自动任务挂了，有没有人/机制会发现？多久？
• 大改动前有没有存档点？
• 权限清单里，有没有你已经想不起来为什么开的？
• 翻车教训，写进规则文件了吗？

六个都打勾，你就可以安心放手了。

这一篇的核心信息

自主和安全不是对立的——安全恰恰是放手的前提。

不敢放权的人，永远在每一步确认里消耗自己；裸奔放权的人，迟早被一次事故吓回原点。真正的自动化高手，是把护栏修得足够好，然后彻底放手的人。

看一眼上面那张清单——你现在的系统，几个能打勾？差的那几个，就是你本周该补的课。

下一步

「自动化与协作」五篇到这里完结。回头看这条线：让 AI 按时干活 → 人在外面也能指挥 → 住进聊天软件 → 组成团队 → 系好安全带(本篇)。

这五件事拼起来，就是”AI 员工”的完整形态。

---

你的 AI 闯过什么祸？复盘出了什么规矩？发邮箱 [email protected]，你的教训能救别人。