Token成本暗战升级——从分词器到供应链的AI生态博弈-NeoCheung

Token成本暗战升级——从分词器到供应链的AI生态博弈

歌手:NeoCheung

时间:2026-03-31

    使用手机浏览器「扫一扫」

    在手机上保存,获得更好体验

标签
歌词

本字幕由TME AI技术生成

大家好

欢迎收听每日ai 资讯播客

我是neo

今天是四月十九号

星期天

周末也不能停下学习的脚步

嗨 大家好

我是米娅

今天的内容可太精彩了

我先剧透一下

特斯拉的全自动驾驶让一位车主等了七年

微软的agent package manager 横空出世

还有一个超热门的话题是关于大模型token 成本的深度测量

对

而且今天还有一个让我非常兴奋的

有人用aai 复活了一款三十年前的传奇游戏

只用了一个周末

另外open ai 的xls 供应链攻击事件的后续应对也值得关注

周末信息量照样爆表

好的

那咱们废话不多说

直接进入今天的第一个话题吧

第一个话题

我们来聊一个让人感慨万千的故事

特斯拉有一位hw 三硬件的车主等了整整七年等全自动驾驶fsd

结果特斯拉官方回复他说

请再耐心等等

七年

这可不是等个快递啊

这是一辆车的整个生命周期都过去了吧

Hw 三是什么

为什么这些车主特别不满

Hw 三是特斯拉在二零一九年左右开始装车的自动驾驶硬件平台

当时马斯克信誓旦旦的承诺说买了fsd 套件的车主未来通过ota 升级就能实现完全自动驾驶

但问题是

现在特斯拉的fsd 已经进化到hw 四甚至hw 五了

Hw 三的算力根本不够用

等等

这不就相当于你买了一张演唱会门票

结果主办方说场地换了

你的票不能用

但也不给你退款

只是说再等等

非常精准的比喻

而且这不是个案

Hn 上这条新闻拿了一百六十四分

一百一十八条评论

有一条热评特别有意思

有人说他朋友从旧金山开特斯拉到圣地亚哥

全程没碰方向盘

但那是新硬件车型

老硬件用户就像被遗忘的锅

这里面有个更深层的问题

当车启用未来的功能来卖当下的产品

消费者到底在买什么

是在买一辆车

还是在买一张期货合约

你说到点子上了

这其实暴露了整个智能汽车行业的一个结构性矛盾

软件可以迭代

但硬件不行

当你卖出去一辆车的时候

你就把硬件能力锁死了

后续软件再怎么升级

到了算力天花板就是上不去

所以对于正在考虑买智能电车的听众来说

有什么建议吗

我的建议是

买车的时候

你为当下能用的功能付费

不要为未来的承诺付费

如果一个功能需要未来ota 解锁

那就当它不存在

这是保护消费者利益最实际的思路

当然

从行业角度看

这件事也在倒逼车企思考是不是应该像手机一样提供硬件换代升级服务

确实

这个话题远不止特斯拉一家的问题

整个行业都需要建立起智能功能可迭代性的诚信标准

好

我们进入下一个话题

第二个话题

聊一个在a 三上引爆了讨论的技术话题

有人对大语言模型最新token izer 的成本做了一次深度测量

这条新闻拿了五百三十五分

三百六十五条评论

讨论热度非常高

五百三十五分

这差不多是本周hn 最热门的ai 话题之一了

Coknizer 分词器嘛

就是大模型把你输入的文字切成一个个小片段来处理的那个组件

测量它的成本有什么值得讨论的

这里面有个非常精妙的问题

新一代的token izer 效率更高了

也就是说

同样一段话

它切出的token 数量不同于旧版

但模型厂商是按token 收费的

所以一个关键问题就出现了

新token ize 切出的token 数量变了

你的实际使用成本到底是升了还是降了

哦

这就像超市把包装从五百克改成了四百八十克

但单价也调了

你得算每克多少钱才知道到底涨价了没有

完全正确

而且这里面还有一个hm 评论特别有见地

有人说大模型的性能和成本实际上在一条对数据线上

你花两倍的钱不会得到两倍的智能

而是可能只多一点点

所以讨论token 成本的时候

其实更应该关注的是每个任务的成本

这个视角很有意思

你的意思是不要纠结每个token 多少钱

而是看完成一个具体任务要花多少钱

对

比如说你让ai 写一份报告

不管他用了一千个token 还是两千个token

你关心的应该是这份报告花了我多少钱

质量如何

这才是正确的成本核算方式

而且随着模型越来越聪明

他可能用更少的token 就能完成同样的任务

那对于开发者来说

有什么实际行动建议吗

三个建议

第一

不要只看api 定价表

要实际跑benchmark 测你的真实使用场景下的成本

第二

考虑用更小但够用的模型处理简单任务

用大模型处理复杂任务

做好分层路由

第三

关注模型厂商的cochanizer 更新日志

因为换一次分词器可能让你的成本波动百分之十到二十

好的

这个话题的核心就是在aai 成本这件事上被表面数字迷惑

要看单任务成本这个真正有意义的指标

第三个话题

微软悄悄放出了一个非常有意思的项目

Agent package manager

简称apm

顾名思义

这是一个给ai agent 用的包管理器

包管理器就像npm 是给javascript 项目管包的

Pip 是给python 管包的

现在ai agent 也需要专门的包管理器了

没错

你想想看

现在各家都在做ai agent

Open ai 有agent sdk

各种开源框架层出不穷

但agent 之间要共享工具

共享技能

共享配置

一直没有标准化的方式

微软这个apm 就是想解决这个问题

让agent 的能力模块像软件包一样可以安装

更新 共享

哇

这个概念太超前了

等于说以后你要给你的ai agent 加一个能发邮件的能力

不用自己写代码

直接apm install email two 就搞定了

理想状态就是这样

而且这背后有一个更深的判断

微软认为ai agent 的生态会像软件开发生态一样发展

软件开发从早期什么都自己写

到后来有了包管理器

生态才真正爆发

Agent 也会走同样的路

但这里面有个问题吧

Agent 包管理跟传统的软件包管理有什么本质区别

总不能只是换个名字吧

好问题

最大的区别在于

传统软件包是确定性的

你装一个库

它的行为是固定的

但agent 的能力包涉及到llm 调用

是概率性的

而且需要处理工具

权限

数据安全

Agent 间的协作协议

这些都是传统包管理器部需要考虑的维度

明白了

那对于正在做ai 应用的开发者来说

你觉得应该怎么看待这个项目

我觉得这是一个非常重要的信号

微软在压注agent 生态的标准化基础设施

如果你是创业者或者企业开发者

现在就应该关注agent 的能力

模块化

可复用性

不要每个agent 都从零开始做

同时也要注意

谁掌握了agent 的包管理生态

谁就相当于掌握了agent 世界的mpm

这个战略位置是非常值钱的

果然

微软又在下大棋

好

我们来看下一个话题

第四个话题

一个让人拍案叫绝的故事

有人用aai 复活了一款三十年前的传奇游戏

只用了一个周末的时间

一个周末

三十年前的老游戏

这也太酷了吧

是什么游戏

怎么做到的

具体是用大语言模型来理解和重构那个老游戏的代码逻辑

你想想

三十年前的游戏代码可能是用某种过时的编程语言写的

文档缺失

注释稀缺

传统的方式要复活它可能需要一个团队花几个月做逆向工程

但借助ai 理解代码结构的能力

一个人一个周末就搞定了

这让我想到了一个更大的趋势

Ai 正在成为一种时间压缩器

以前需要几个月的工作

现在可以压缩到几天甚至几小时

而且这不只是速度快的问题

以前很多项目因为投入产出比不划算

根本不会有人去做

比如复活一个三十年前的老游戏

商业价值有限

不会有公司愿意投入几个人月去做这件事

但当成本降到一个周末的时候

突然就变得可行了

你说的这个特别有启发

等于ai 不只是让已有的工作变快了

它实际上打开了一个全新的可能性空间那些以前不值得做但其实很有价值的事完全正确

这对游戏行业

文化遗产保护

甚至企业的遗留系统迁移都有巨大意义

想象一下

很多企业跑着二十年前的抠爆代码

没人敢动

也没人会修

如果ai 能快速理解并重构这些遗留代码

那就是一个价值数百亿美元的市场

所以

如果你是一个创业者

遗留系统现代化改造加ai 这个方向可能是一个非常实际的创业切入点

没错

而且这个方向最棒的一点是客户很明确

就是那些被老系统困住的企业

痛点很清晰

就是维护成本高

迭代困难

而ai 正好能解决核心瓶颈

这是少数几个ai 落地路径非常清晰的赛道

太棒了

这个故事小而美

但背后的启发非常大

好

进入第五个话题

第五个话题

我们来聊一个安全领域的重要事件

Open ai 发了一篇博客

回应xcs 开发工具遭到供应链攻击的事件

供应链攻击

这个词听起来很严肃

X use 不

不是一个做ht tp 请求的前端库吗

超级流行的那个

它跟open ai 有什么关系

对

Xls 在npm 上每周下载量接近五千万

这次攻击

简单来说就是攻击者通过某种方式入侵了xcls 的开发工具链

在里面植入了恶意代码

因为open ai 的产品也依赖x sals

所以他们受到了波及

Open ai 的应对措施是立刻轮换了mc os 的代码签名证书

更新了相关应用

并确认没有用户数据泄露

等等

我来理解一下

就是说攻击者不是直接攻击open ai

而是攻击open ai 依赖的一个第三方库

这就像你去饭店吃饭

饭店的菜没问题

但他们用的油是有问题的

完美的类比

这就是供应链攻击的可怕之处

你自己的代码可能写的再安全

如果你依赖的上游组件被污染了

你一样中招

而且现代软件的依赖数非常深

一个项目可能间接依赖几百甚至上千个第三方包

这是不是意味着供应链攻击会越来越常见

感觉这是一个结构性的安全漏洞

不是越来越常见

是已经非常常见了

去年mpm 拍pi 上都发生过多起供应链攻击

根本原因在于开源生态的信任模型是脆弱的

大家默认流行的包是安全的

但维护者可能就一个人

账号被盗就全完

那开发者和企业应该怎么防范

几个实操建议

第一

开启依赖锁定

不要让cicd 自动拉最新版

第二

使用软件物料清单sbom 来追踪你所有的依赖

第三

对关键依赖做定期的安全审计

第四

也是最重要的

在公司层面建立供应链安全的意识

不要觉得这只是安全团队的事

Open ai 这次的响应速度和透明度倒是值得点赞

第一时间公开了事件影响范围和应对措施

这应该成为行业标杆

对

处理安全事件最重要的不是没有发生过安全问题

那不现实

最重要的是你的响应速度和透明度

Open aai 这次做的还不错

是个正面教材

第六个话题

来聊一个跟aa 检索和知识管理相关的重磅论文

有篇论文标题特别抓人

Don't retrieve navigate

不要检索要导航

他提出了一个很有意思的思路

与其让ai 被动的搜索文档

不如让他主动学会在知识库里导航

这个标题就很有挑衅性了

我们现在不是都在做rag 吗

检索增强生成

他说不要检索

那要干嘛

Rag 的核心问题在于

模型只是被动的消费搜索结果

他不知道整个知识库是怎么组织的

也不知道他还没检索到什么

这就导致一个问题

当需要的信息分散在多个文档里时

Rag 经常回答不全面

哦

就像你去图书馆找资料

如果只是让图书管理员帮你搜关键词

他可能找到几本书给你

但如果你自己了解图书馆的分类体系

你可以系统的把所有相关资料都翻出来

非常好的类比

这篇论文的做法是把企业知识库的结构蒸馏成agent 的可导航技能

也就是说

Ai 部只是拿到几个搜索结果

而是真正理解了知识库的拓扑结构

知道什么信息在哪里

相互之间什么关系

等一下

你发现没有

这个思路跟我们前面聊的微软agent package manager 其实有共鸣的地方

一个是在包层面让agent 的能力模块化

一个是在知识层面让agent 的检索能力结构化

殊途同归

观察力不错

这确实反映了一个更大的趋势

Ai agent 正在从工具调用者进化成环境感知者

它不再只是被动的执行指令

而是开始理解自己所处的工作环境

这是agent 从可用到好用的关键

乐迁

对于正在做企业知识管理的团队来说

这个研究有什么启发

最大的启发就是别只关注rag 的检索精度

更应该关注知识库本身的结构化程度

如果你的企业知识库是一堆乱七八糟的文档丢在一起

再好的rag 也就不了

先把知识库整理好

建好索引体系和导航结构

Ai 才能真正发挥威力

第七个话题

聊一个可能影响ai 安全领域底层范式的研究

这次来自n pr

P Picc

他们研究了大模型中的情感概念

标题很有意思

Emotion concepts and their function in a large language model

Ai 有情感

这不是科幻片里的桥段吗

Anthropic 为什么要研究这个

先纠正一下

不是说ai 真的有情感

而是说所有现代大模型有时候表现的像有情感

比如他会说我很高兴帮助你

或者在被要求做不好的事情时表现出犹豫and proo pick 的可解释性

团队想搞清楚这些行为背后的机制到底是什么

这确实很重要

因为如果我们不理解aai 为什么表现出某些行为

就很难确保它是安全可控的对吧

对

这个研究的核心发现是模型内部确实存在跟情感概念对应的表征模式

但这些模式更像是模型在训练过程中学到的统计关联

而不是真正的感受

关键在于理解这些模式如何影响模型的输出行为

所以这本质上是ai 可解释性研究对吧

知道了这些模式

就能更好的控制ai 的行为

完全正确

这也连接到了enthropic 另一项工作

Constitutional classifiers 宪法分类器

他们研发了一种能过滤绝大多数越狱攻击的防御系统原型

经过三千多小时的红队测试

都没找到通用的越狱方法

三千小时的红队攻击都没破

这可太猛了

两个研究加在一起

等于enthropic 既在理解ai 行为的底层机制

又在这个理解的基础上构建防御系统

这是anphotopic 一贯的风格

他们是所有大模型公司里最重视安全研究的

对于从业者的启示是

Ai 安全不是事后打补丁

而是要从理解模型的内在机制出发

理解的越深

防御就越有效

嗯

安全是ai 行业能走多远的底线

这个话题虽然技术性很强

但意义真的很深远

第八个话题

说一个非常实际的开源项目

Cok 这

这是一个magent 记忆引擎

只需要六行代码就能给你的ai agent 加上记忆能力

在github 上日增四百七十六颗星

总星数已经超过一万六千了

六行代码就能实现记忆

这也太简洁了吧

等等

Agent 记忆到底指什么

是快绘画记住用户说过的话吗

比那更复杂

Agent 记忆包括几个层次

短期记忆就是当前对话上下文

长期记忆是跨会话的用户偏好和历史知识

还有工作记忆

就是agent 在执行多步任务时需要暂存的中间状态

Talk 用知识图谱作为底层来管理这些记忆

这跟我们前面聊的那篇都是trieve navigate 的论文有联联

一一个是让ent 理解外部知识库结构

一个是给agent 自己建内部记忆系统

对

你今天串联话题的能力很强

这两个方向合起来就是在解决agent 的一个核心短板

上下文局限性

目前的agent 要么是无状态的每次从头开始

要么就是把所有历史塞到prompt 里浪费token

记忆系统是agent 从玩聚集进化到生产级的关键基础设施

而且我注意到还有一篇叫super local memory 的论文也在做agent 记忆

它的思路更激进

模仿人脑的遗忘机制

对

那篇论文的全名叫做living brain

它的核心idea 是

好的记忆系统部只是要会记住

还要会遗忘

人脑就是这样工作的

不重要的信息会自然衰减

重要的反复巩固

这个概念叫cognitive quantization

认知量化

太有意思了

那对于开发者来说

如果现在要给自己的agent 加记忆能力

你推荐怎么做

如果你想快速上手cop

May 是个很好的起点

六行代码就能跑

如果你在做企业级产品

建议深入看一下知识图谱方案

因为它在知识关联和推理方面比纯向量数据库强很多

关键原则是

Agent 记忆不是什么都存

而是要有策略的选择

存什么忘什么

第九个话题

来聊一组有意思的行业新闻

Meta 发了一篇博客

讲他们怎么在五十多个产品线上统一web rtc 的

标题叫escaping fork

逃离分叉

另外还有一条量子微报道的新闻

四点五十五亿美金

中国巨身智能最大单笔融资诞生

等等

Ybrtc 和巨身智能这两个八竿子打不着的事

你为什么放在一起聊

因为他们讲的其实是同一件事

大公司如何管理技术复杂度

Mica 面临的问题是他们内部fork k 了web rtc 的代码

结果这个fork 跟上游越来越远

维护成本指数级增长

最终他们花了大力气把所有产品线统一回来

哦

这就像一棵树的分枝

长得太远就回不去了

他们要做的就是在分枝还没长太远的时候修剪回来

对

而巨身智能领域其实面临类似的挑战

各家公司都在自己造轮子

硬件平台碎片化

软件框架各搞各的

四点五五亿美金的融资说明资本非常看好这个赛道

但行业要真正爆发

必须解决标准化和统一化的问题

嗯

四点五五亿美金确实是个天文数字

高陵和红杉联手投的这两家

在中国科技投资领域基本算是风向标了

对

如果我做个大胆预测

巨身智能在二零二六到二零二七年会经历跟大模型二零二三年类似的爆发期

那时候会出现巨身智能的check gpt 时刻

某个产品让大众第一次真正感受到ai 机器人的能力

而现在的巨额融资就是在为那个时刻储备弹药

期待那一天

Meta 的这篇分叉管理经验也很有实操价值

大公司的技术团队应该好好读读

好

最后一个话题

最后一个话题

我们聊一个有点扎心的商业决策

微软砍掉了clip champ 的ios 版

引导用户去桌面端和网页版

It 之家用了一个很传神的标题

砍刀不出手了

哈哈

微软的砍刀布可太有名了

从msn ko tna 到现在的creep champ io s 版

不过说真的

为什么砍一个视频编辑工具的移动端有什么值得讨论的

因为这背后反映的是微软整个产品战略的调整

微软现在all in ai

所有资源都在向coo pilot ai 基础设施倾斜

非核心产品

特别是移动端的非核心产品就成了被砍的对象

这倒也能理解

毕竟微软从来不是做移动端的强项

专注于自己擅长的pc 端和云端

把ai 做好可能是更聪明的选择

对

但这里面有一个值得所有产品经理思考的问题

当你收购了一个产品之后

到底是要维持它原来的全平台覆盖

还是把它整合进你的核心生态

微软选择了后者

Click champ 被合合mmrosoft 三百六十五之后

移动端就不再是优先级了

对用户来说有什么启示吗

对用户来说最大的启示就是不要太依赖大公司的非核心产品

当大公司战略调整时

你依赖的工具可能说砍就砍

如果某个工具对你的工作流很重要

要么选择核心产品线上的

要么选择有活跃社区的开源替代品

好建议

其实这也是为什么开源生态这么重要

至少代码在那里

社区在

不会因为某个公司的董事会决策就消失

好了

到了今天节目的尾声了

你先来

今天哪个话题让你印象最深

我印象最深的是两个

一个是那个用ai 一个周末复活三十年前老游戏的故事

它让我意识到ai 不只是让现有工作变快

而是打开了一整个以前不可能的可能性空间

另一个是agent 记忆这条线

从coconny 到super local memory 到don't retrieve navigate

你会发现agent 正在从工具进化成有记忆有环境感知的助手

这个进化方向太迷人了

说的好

我的话

今天最让我思考的是两件事

第一是特斯拉hw 三车主的困境

这提醒我们

在智能设备时代

未来承诺是有保质期的

消费者要学会为当下的功能买单

而不是为ppt 买单

第二个是enthropick 的情感概念研究

他们正在建立ai 安全的科学基础

而不只是打补丁

这种深度是值得敬佩的

好的

感谢大家今天的收听

如果觉得有收获的话

记得分享给朋友

我是命

我是尼欧

我们明天见

周末愉快

展开显示全部歌词