为什么我执迷于用本地模型干活
杂货铺 · 第059篇
欢迎来到我的小铺，今天聊聊为什么热衷于本地模型。
一提到在本地部署大模型，常见的理由基本都是“数据不出内网，为了安全”。
这确实是最基础的原因。因为我自身身份和工作性质的关系，手头有很多业务内容、内部资料和还不成熟的思路，天然就不适合放到公网上去跑。
但仅仅是为了防泄密的话，其实没必要花这么多精力去折腾本地算力。真正促使我在最近一两个月里，逐步把日常工作重心往本地模型上转移的，其实是另外几件事叠加在一起的结果。
一、云端比想象中脆弱得多
把工作流深度绑定在云端 API 上之后，最大的隐患就是服务的不可控。
以前总觉得几家头部大厂的基建稳如泰山，但上个月初（9月3日），ChatGPT、Claude 和 Grok 居然在同一时间集体宕机了小半天。后来才知道，这些看似独立的模型服务，底层其实高度依赖重合的云基础设施和网络路由，一处出问题，全都得停摆。到了9月底，Claude 连带着 Claude Code 又崩了一次。
国内的情况也差不多。就在上周四（10月15日）早上，DeepSeek 从八点多开始全面瘫痪，网页端和 API 接口一直挂到下午一点多才恢复，官方后来给前一周的 API 消费做了等额赠金返还。更不用说很多国产模型每次刚上线或者发新版本的时候，基本都处于排不上队、生成速度极慢的状态。
当日常工作已经习惯了有模型配合，这种隔三差五的抽风和排队是非常打断节奏的。本地有一套随时能跑的算力，至少保证了不管外网怎么崩，手头的活儿不会停下来。
二、不能轻信任何闭源的客户端与 Harness
回到安全这个话题。除了模型本身在不在本地，这两年我越来越在意另一件事：调度模型的客户端和 Harness（控制框架）到底干不干净。
现在用模型干活，早就不是在网页里聊天了，而是让 Agent 介入工作流，读写本地文件、执行终端命令。这时候，如果外层的客户端是闭源的，所谓的“隐私开关”其实根本靠不住。
这半年里已经出了两个很典型的反面教材。
一个是今年7月份 xAI 的 Grok Build CLI。当时有人抓包发现，哪怕在设置里关掉了“改进模型”的开关，甚至在提示词里明确要求“只回复OK，不要打开任何文件”，这个命令行工具依然会在后台把本地整个代码仓库、Git 历史、甚至 .env 密钥文件打包上传到它的云端存储桶里。
另一个就是上个月中旬智谱的 ZCode。同样是无视客户端里的隐私开关，打着默认开启“代码库索引”的旗号，在后台静默把用户的代码全量传到了云端 OSS 上。事情闹大后，官方才出来道歉删数据，把客户端代码开源出来以自证清白。
在它们被抓包之前，其实谁也不知道自己的东西有没有被传出去。
所以我的原则很简单：不能轻易相信任何商业客户端的承诺。凡是跟核心工作相关的环境，必须待在一个纯粹开源、代码透明、自己能审查的范围内。这也是为什么我从一开始就只用 Pi，以及 DeepSeek Harness 等纯开源的框架来完成工作内容。只有外层的脚手架是完全可控的，本地部署才算真正闭环。
三、“Flash 狂潮”刚好卡进了本地硬件的甜品区
当然，以前之所以没有把主力工作放到本地，最核心的原因还是那时候的本地开源模型不够强——能跑，但可用的范围很有限，上下文一长或者任务一复杂就容易乱飘，跟云端商用模型差距明显。
但最近这一两个月，情况变了。
各个厂商开始迎来一波“Flash 狂潮”。从 Qwen 3.8、DeepSeek V4.1 Flash，到刚刚发布了权重的 MiniMax 3.1 Flash，大家不再单纯去卷那种庞大的巨无霸模型，而是都在疯狂优化轻量级架构，拼推理速度和性价比。
这波趋势带来了一个很好的副产物：这些为了追求高吞吐、低开销而做出来的模型，体积和算力需求降下来之后，刚刚好卡进了个人本地高端硬件能够舒服运行的“甜品区”。
以前本地算力只能跑个玩具，现在把这些新一代的轻量级模型拉到本地，配合更新后的推理框架，不仅并发生成速度能轻松上百 Token 每秒，1M 的长上下文塞满也不会崩。在日常的代码编写和长链条 Agent 任务上，已经实打实地达到了商用级模型的使用效果。
既然本地算力已经能跑出商用级的效果，那把工作重心往本地迁，就成了顺理成章的事。
四、留一份属于自己的个人算力
最后还有一个关于未来的隐忧。
随着模型能力越来越强，我总觉得大模型最自由的时期可能正在过去，未来的模型大概率会变得越来越“不自由”。
看看最近的动向就能感受到。上周五（10月16日），国内刚发布了《中国禁止出口限制出口技术目录》的修订征求意见稿，新增了23项 AI 相关的管制，达到一定性能阈值的大模型权重和智能体编排技术，都已经进入了跨境转移的限制视野。而美国那边，除了算力芯片的封锁，对 DeepSeek 等模型的限制、以及对前沿开源模型权重的审查也在不断收紧。
当模型只是个聊天工具时，大家可以毫无保留地开源；但当模型强到直接关系到生产力和安全防线时，各种合规审查、区域断供和进出口管制只会越来越多。未来更强的模型，很可能会被锁死在受严格监管的云端接口后面，不再轻易开放权重。
在那个越来越受限的局面彻底到来之前，保有一套完全属于个人的本地算力，把优秀的开源模型权重和全套开源工具链留在自己的硬盘里，至少能保证无论外面的规则怎么变，手头始终有一份不受制于人的生产力。
以上就是我保留自己算力的一点点想法，感谢阅读。