2026.10.30 · 行业
Sam Altman 说本地 AI 浪费内存,一台电脑 95% 的时间在空转
10 月 29 日的 Cheeky Pint 播客里,Sam Altman 说把 DRAM 留在个人电脑里、只用到 5% 的时间,从全局分配看「很糟糕」。

他说这话的上下文是内存短缺。过去三十年内存算不上好生意:一条产线投 200 亿美元,换回 190 亿营收,周期一来先倒的是自己。现在几家大厂每家一年能挣到接近 1000 亿美元的自由现金流,扩产却很克制。Altman 的判断是「看不见的手」这次没起作用——价格涨上去了,供给没跟上来。
顺着这条往下推,他对本地推理的态度就很直接:内存是这轮最紧的资源,让每个人桌上压一块只干 5% 活的内存,是全局里最差的分配之一。苹果的卖法正好相反,Mac mini 和 Mac Studio 主打的就是「不用数 token,也不用担心云账单涨价」。
两种买法在这里撞上了:一种按利用率算,一种按「这件事能不能不出门」算。
- 桌面内存利用率
- 5%
- 数据中心成本 / GW
- 700 亿美元
- 他想要的成本
- 200 亿美元
- 内存厂年自由现金流
- 1000 亿
5% 这个数字,说的是全局,不是你的账
先承认他对的那一半。一台机器只是偶尔被问几句,确实是坏投资:钱压在内存上,电费照付,利用率还不到零头。这种买法前两年很常见,很多人买了 64GB 的机器,结果只用来试模型。
但企业掏钱的理由从来不是利用率。数据不能出门,断网也得能用,预算要能报批——一次性买机器,比每月浮动的 token 账单好写。这三条里没有一条是「跑得快」。
那 95% 的闲置,本质上是保险费。交保费不是为了天天出事。
价格先动了,闲置的那部分最贵
内存涨价不是猜测。IEEE Spectrum 今年早些时候的统计是 DRAM 价格单季涨 80% 到 90%,SK 海力士的说法是短缺可能拖到 2030 年之后。落到产品上:64GB 的 DGX Spark 现在 $4,999,128GB 的机器还要往上加。
所以你为一台本地机器付的钱,很大一部分花在那 95% 的闲置时间上。这笔钱值不值,取决于机器忙不忙,跟模型好不好关系不大。
反过来算也成立。一台 24 小时跑批的盒子,利用率做到五六成不算难,那时候它和按调用付费的 API 就是两套完全不同的账。同一台机器,放机柜里和放桌上,结论不一样。
谁该买,谁不该买
值得买的有三类:数据有硬约束的;延迟敏感、要本地回环的,比如语音、设备控制、看屏幕;调用量大而且稳定的。
不该买的有三类:一天只问十几次的;任务开放、需要最新知识的;没人维护的。第三类最容易踩坑——agent 真跑起来之后,模型版本、权限、日志都得有人管,没人管三个月就烂了。
判断标准很土:数一下这台机器一天干几个小时的活。低于两小时,省下的钱不够你操心。
说这话的人,也是把内存需求推到极限的那家
有件事值得说清楚:OpenAI 自己就是这轮内存需求最大的推手之一,在建的数据中心按吉瓦算。他那段采访里还有个数——数据中心的五年总成本大约每吉瓦 700 亿美元,如果这个数是 200 亿,他会「高兴得多」。
把这两句放在一起看就明白了:他要的是单位成本降下来,不是把算力分散出去。前者是规模问题,后者是政治问题。
这不影响他对 5% 的判断,但影响这条建议的适用对象。内存总量就这么多,谁付得起把它锁在自己机房里,谁就有资格不听这个建议。
本地 AI 的买家买的从来不是利用率,是「这件事不用问别人」。5% 的闲置是这门生意的定价,不是它的漏洞。真想省钱,先数一下机器一天干几个小时的活。
来源:Cheeky Pint:Why Sam Altman is against a single... · State of AI:Sam Altman Says Your Laptop Is Hoarding the World's Memory · BigGo Finance:Sam Altman says the chip supply chain's invisible hand is failing · IEEE Spectrum:How and When the Memory Chip Shortage Will End
继续读
← 更多文章
Leave a Reply