本字幕由TME AI技术生成
嘿 大家好
我是吉o
今天是三月十八号
星期三
今天这期早报信息量不小
黄仁勋刚在gtc 上讲完他的万亿美元愿景
Ai 编码工具这边也在同时爆发
Long chain
Curso and thropic 三家几乎同一时间在往同一个方向使劲
然后open ai 又放了两个小模型出来
价格低到离谱
我今天重点聊三个话题
第一个是gtc 大会
黄仁勋这次发布了什么
这些硬件变化对我们做应用的人意味着什么
第二个是ai 编码工具的集体进化
今天有五六条内容可以串起来讲
你会发现这些工具正在从单纯写代码变成真正的工程协作者
第三个是gpt 五点四分钟i 和nano 模型推理成本在加速崩塌
这件事的深远影响可能比很多人想的更大
剩下几条我快速过一下
好
先从黄仁勋开始
北京时间三月十七号凌晨
黄仁勋穿着那件标志性的黑色皮衣
在圣何塞sap 中心讲了两个多小时
这次gtc 大会的核心硬件发布是weirr rubin 平台
搭载全新的威rcpu 和同一代gpu
算力达到三点六ef lops
全平台百分之百液冷设计
下一代famman 架构会在两千零二十八年全面换代
但我觉得硬件参数不是最值得聊的部分
最值得聊的是黄仁勋提出的几个战略判断
第一个判断
数据中心应该被重新定义为ai 工厂
什么意思呢
传统数据中心是用来存数据跑服务的
但未来的数据中心是用来生产token 的
就像工厂生产产品一样
Ai 工厂的产出就是智能本身
这不是一个比喻
它是认真的
英伟达正在围绕这个定位重构整个产品线
第二个判断
传统的sars 模式会被agentas service 取代
未来你订阅的不再是一个软件界面
而是一个能帮你完成任务的智能体服务
你不需要学怎么用软件了
你只需要告诉agent 你要什么结果
黄仁勋花了将近十分钟回顾哭大二十年的发展历程
他特别强调
安装参数才是真正不可复制的壁垒
全球已经有数亿块运行扩大的gpu 部署在各种云和计算系统中
围绕需大已经形成了几千三种工具
编译器框架和开源库的生态
这个飞轮效应让英伟达的位置几乎不可替代
他还分享了一个有意思的数据
六年前出货的m pair 架构gpu
现在在云上的租赁价格反而在涨
为什么呢
因为软件生态在持续优化
同样的硬件通过软件更新能跑更多更新的应用
所以老硬件的价值反而随时间增长
这个逻辑在其他硬件行业是反过来的
还有一个我觉得对开发者特别相关的发布
英伟达推出了两套新的核心软件库
分别加速结构化数据和非结构化数据的处理
黄仁勋说
全球每年产生的数据里
大概百分之九十是非结构化的
也就是pdf
视频
语音这些东西
以前这些数据几乎没法被计算系统有效利用
现在ai 的多模态理解能力可以把这些数据转化为可查询可分析的资源
这是一个巨大的增量市场
最后提一下nemo claw
这是面向企业级agent 开源安全操作系统
随着越来越多企业准备部署ai agent
安全和可控性变成了必须解决的问题
Nemo law 试图提供一个标准化的解决方案
这里我想总结一下我自己的判断
Gtc 对我们做应用层的人来说
最直接的信号就是算力成本会持续且加速下降
算力越便宜
Agent 能做的事越多
推理使用量越大
反过来又推动算力需求增长
这是一个已经转起来的飞轮
好
接下来聊ai 编码工具
这是我今天最想展开讲的部分
因为早报里有五条内容都和这个话题直接相关
放在一起看
趋势非常清晰
先说launching 发布的open sive
这是一个面向企业内部编码agent 的开源框架
但它不是launching 自己从头设计的
而是参考了三家公司已经在生产环境跑了一段时间的系统
Stripe 做了meanons
Ramp 做了inspect
Coin base 做了couwbot
有意思的是
这三家公司独立开发的系统最后收敛到了非常相似的架构模式
我给大家列几个关键共识
第一
用隔离的云沙盒来执行代码
不需要对每个操作来弹窗确认
第二
工具集要精选而不是堆叠
Stripe agagent 大约五百个工具
但都是仔细筛选和维护的
第三
Slack 作为主要入口
在开发者已有的工作流里触发
不需要切换到新的界面
第四
通过agents md 文件把团队的规范
测试要求
架构约定注入到agent 的上下文里
Opens fua 把这些模式抽象成了可复用的框架
基于langugrah 构建
团队可以自定义模型和工具
而不需要folk 核心代码
如果你的团队正在考虑部署内部编码agent
这个框架值得作为起点研究究下
然后是 是的
自我总结结术术篇
我觉得技术义模型最curscurser 的composer 模型在处理长任务时
会在上下文快要满的时候暂停下来
对当前状态做一次自我总结
然后带着精简后的信息继续工结
关键区别在于
这个总结能力不是靠外部提示词实现的
而是直接通过强化学习训练到模型里
在训练的时候
好的总结会被奖励
丢失关键信息的总结会被降权
模型会自己学会判断什么信息最重要
结果非常显著
压缩错误减少了百分之五十
同时token 使用量减少了百分之八十
他们实测composer 能成功处理超过一百七十轮对话
十万个以上token 的推理任务
他们举了一个例子
让composer 解一道叫做make doone for mips 的编程题
这是把经典游戏doom 编译到mips 架构上运行
Composer 用了一百七十轮
其间多次自我总结
最终终功功解决问题
他们个强强的模型型官官方评测都都能做对这道题
给大家一个直观的对比
普通的做法是用一个通用提示词让模型总结上下文
输出平均要五千多个问文
且容易漏掉关键信息
Tocurser 训练后的自我总结提示词极简
输出平均只有一千个token 左右
但准确性反而更高
模型自己学会了什么该流
什么可以丢
再看athropic 这边有两条相关内容
Latenn space 对anthropic 工程师phoenix resspert 做了一个深度访谈
聊的是cloud coal work
Pholix 的背景很特别
他之前帮slack 构建的桌面应用也是electron 的核心维护者
他在anthropic 发现一个关键洞察
很多cloud code 用户其实不只是用它写代码
他们在用它处理各种杂乱的知识工作
编辑文档
整理数据
做分析报告
这促使团队构建了cloud code work
让ai 拥有自己的虚拟机环境
安装工工具
运行脚本
独立作
Phoenix 提了一个观点
我很认同
Ai 产品的前沿不再是更好的聊天界面
而是可信的任务执行
他还特别聊到了skills 这个概念
认为skills 可能比大多数人意识到的更重要
Skills 本质上是一种轻量级的可复用工作流
Sagent 能够按照特定的方式完成特定类型的任务
刚好今天早报里还有一条
Anthropic 的另一位工程师stari 十hipper 写了一篇skills 的实践指南
他分享了一个关键技巧
Skills 的描述字段不应该写成功能摘要
而应该像if then 条件判断一样
精确的告诉模型在什么场景一下调调用这个steill
他还建议在steill 里建立采坑点章节
记录模型容易犯的错误
这部分往往是信息量最高的
Martin fellow 也发了一篇相关的文章
提出上下文锚定的概念
他观察到开发者为了保持ai 的记忆或维持很长的对话
他的建议是把决策背景
被否决的方案和当前状态写到外部文档里
从对话驱动变成文档驱动
这和agent steill
Md 的思密其实是一脉相承的
你把这五条放在一起看
会发现ai 编码工具正在从聊天工具变成工程系统
包括steill 在做框架标准化
Curser 在训练能持续工作的模型
而slopy 在让agent 提拥有独立工作环境
Steill 在做能力的模块化分装
上下文锚定在解决记忆的持久化
每一个方向都在把ai 从聊天伙伴推向真正的工程协作者
这是今天最值得关注的趋势
说和ai 编码
还有一个很直接的变化
Open ai 推出了gpt 五点四分钟i 和gpt 五点四nano
先说mini
速度是之前gpt 五分钟i 的两倍
Api 上下文窗口到了四十万token
专门针对编码计算机操作和子a 阵的场景做了优化
在codex 里使用mini 只消耗gpt 五点四配额的百分之三十
换句话说
你可以用更低的成本跑更多的编码任务
再说nano
每百万输入token 只要零点二美元
每百万输出token 一点二五美元
Simon wilson 算了一笔账
用nano 描述七万六千张照片大概只需要五十二美元
这个价格已经低于google 的germany 三点一flash light 是目前主流模型里最便宜的选择
我觉得这件事的意义远不止省钱
当推理成本降到这个水平
很多之前不划算做的事情突然变得可行
你可以给每一个客服对话做实时描检
给每一张商品图片生成多语言描述
给每一段用户反馈做情感分析和归类
这些场景以前要么靠人工
要么就跳过不做
现在成本接近零
和前面gt c 的内容放在一起看
黄仁勋说
硬件算力成本在降
Open ai 这边模型价格也在崩
两条线同时往下走
Agent 部署成本会很快降到中小企业都能大规模使用的水平
这是一个确定性非常高的趋势
好
剩下几条快速过一下
先说agent 架构选型
阿里云开发者发了一篇很扎实的技术原章
系统对比了四种agent 架构模式
S ingle agent 简单直接
但容易上下文爆炸
Mot agent 分而治之
但通信损耗大
Agent skills 通过动态加载实现渐进式披露
避免了system prompt 频繁修改导致的认知冲突
Agent tekills 支持并行探索和上下文共享
适合高度不确定的探索性任务
文章的核心观点是遵循agcome 剃刀原则
根据任务复杂度科学选型
而不是盲目堆智能体
他们引用了google deep mind 实验数据
当单agent 成功率超过百分之四十五的时候
增加协同机制的编辑收益就开始递减
作者还给出了从p 零到p 三的递进式选型建议
实操性很强
做架构决策的同学推荐看原文
再说huggface ace 两千零二十六年春季开源生态报告
这份报告基于一千一百万用户和两百万模型的真实数据
给出了几个很值得关注的趋势
最大的变化是地理格局的重新洗牌
中国在模型下载量和仓库增长上已经超过了美国
中国模型现在占全球下载量的百分之四十一
主要受deep sick 效应以及阿里
百度
腾讯等公司密集发布模型的推动
另一个让我印象深刻的数据是独立开发者的推起
非机构开发者的下载份额从百分之十七升升百百分之十九
几乎乎大实验验持持平
这说明在开源生态里
个人开发者通过量化适配
重新分发基础模型已经形成了一股不可忽视的力量
技术偏好上
用户明显偏好一到九b 的小型高效模型
而不是追求求参数规模
另外
机器人数据集从约约千千数涨涨到将近千数
规倍增长了二十多倍
超越文本生成
成为最大的单一数据集类别
这说明ai 正在大规模的从数自世界向物理世界延伸
最后是met journey v 八这次升级不只是速度快了五倍
更重要的是底层架构有了大的变化
V 八新增了增强的提示词理解
改进的个性化设置风格参考和情绪版功能
全新的外部界面支持对话模式和网格模式
还引入了hdq 四
Kl
Sare 等新命令参数
团队特别强调了一点
V 八由于底层特性的变化
可能需要完全不同的提示词风格
这意味着之前社区积累的prompt 技巧和模板在v 八上不一定好用了
需要重新探索
对于重度使用图像生成的创意工作者来说
值得尽早去试一下
重新建立自己的prompt 体系
好
今天就聊到这里
如果只推荐一条来读原文
我最推荐cursor 关于自我总结的那篇博客
技术含量高
思路也很有启发性
Gtc 的内容信息量大
值得完整看一遍
所有链接都在简介里
感兴趣的可以去看看
明天见