本字幕由TME AI技术生成
大家好
这里是最佳拍档
我是大飞
不知道大家有没有发现啊
就最近两年呢
Ai 领域的讨论呢
已经从要不要做ai 变成了怎么把ai 做好
从二零二三年生成式ai 的爆发开始
到二零二五年的今天
越来越多的公司不再纠结于ai 的可能性
而是埋头在产品开发
团队搭建
成本控制这些实际的问题上
最近呢
作为曾经管理硅谷众多科技巨头加办的iconic 资本抓住了这个转折点的时机
发布了一份长达六十八页的报告
拆解了三百家正在开发ai 产品的软件公司的实战经验
无论是ai 原生公司还是所谓的ai 赋能公司
相信他们的踩坑经验
成功的做法都能给我们带来很多的启发
今天呢
大飞就来给大家分享一下
要聊ai 产品的开发
首先呢
我们得搞清楚现在市面上的ai 公司到底都有哪些类型
根据报告的调研
主要呢分为两类
分别是ai 原生公司和ai 赋能公司
Ai 原生公司呢
指的是核心产品或者是商业模式完全是由ai 驱动的公司
他们的价值呢
几乎都来自于模型的训练
推理和持续的学习
这类公司呢
在调研中占了百分之三十二
他们的特点呢
是产品的迭代速度非常快
报告里提到
只有百分之一的ai 原生公司还停留在产品发布前的阶段
而ai 赋能公司呢
则百分之十一卡在这个阶段
更关键的是
百分之四十七的ai 原生产品已经进入了规模化的阶段
也就是说
产品已经验证了市场契合度
正在快速的扩大用户群和基础设施
这背后呢
一个可能原因是ai 原生公司在团队构成
基础设施和融资模式上更有优势
能够更快的跳过试错的阶段
而ai 赋能公司呢
往往需要把ai 嫁接到现有的工作流中
难免呢就会遇到更多的阻碍
而ai 赋能公司呢
则分成两种
一种呢
是在旗舰产品中嵌入ai 的功能
比如说给现有的crm 系统加一个ai 的推荐模块
这类公司呢
占百分之三十一
另一种呢
是开发独立于核心业务的ai 产品
比如一个做协作工具的公司
额外再推出一个ai 写作助手
这类公司呢
占百分之三十七
对于这些公司来说
Ai 呢
更像是一个提升现有产品价值的工具
而不是全部
比如说sales force
Atllisition 这些传统的sas 巨头
目在呢
都在核心的产品里边加入了ai 的功能
目的呢
就是提升自动化
个性化和用户的生产力
但是底层的商业模式和用户体验并没有大的改变
这两种路径的差异呢
从一开始呢
就决定了他们在产品开发
团队搭建甚至是成本结构上的不同
接下来呢
我们就从产品开发的具体环节来看一看这些公司都在做什么
以及他们都遇到了什么样的问题
不管是ai 原生还是ai 赋能公司
目前呢
最热门的产品类型基本上分成两类
代理工作流和产品层应用
其中呢
有百分之七十九的ai 原生公司都在做代理工作流
嗯
所谓的代理工作流
简单来说呢
就是让ai 像代理agent 一样去自主完成一系列的任务
比如说自动处理客户咨询的全流程
从理解问题到查找资料
再到生成回复
甚至能够根据用户的反馈来调整策略
除此以外呢
垂直领域的ai 应用和水平领域的ai 应用也很受欢迎
Ai 原生公司中分别有百分之六十五和百分之五十六在开发这些应用
而ai 赋能公司则占比较低
分别为百分之四十九和百分之四十
这也反映了两类公司的不同定位
Ai 原生公司更专注于通过ai 来解决具体的业务流程问题
而ai 赋能公司则希望通过ai 来增强现有平台的通用性
在模型的使用上
有百分之八十的公司会依赖于第三方ai 的api
比如说gbt 和cloud
但是高增长的公司明显更为激进
百分之七十七的高增长公司会在现有的基础模型上进行微调
百分之五十四呢
会从头开发专有的模型
而其他公司这两个比例呢
分别为百分之六十一和百分之三十二
为什么会有这种差异呢
高增长公司通常呢
资源更加充足
而且呢
需要为企业客户提供深度的定制化服务
以及根据客户的数据和需求调整模型
这时候呢
微调或者是自研就成了必要的选项
而资源有限的公司
则更倾向于直接用第三方的api
这样呢
能够最快的把产品推向市场
减少前期的投入
凯对
从模型的提供商来看
Opi 的gbt 模型依然是绝对的主流
有百分之九十五的全栈ai 公司都在使用
其次呢
是anthropic 的cloud 和谷歌的gin i
值得注意的是
平均每家公司会用二点八个模型
也就是多模型的策略越来越普遍
比如说有的公司在处理简单的文本生成时
会选择用gbt 四
而处理长文档分析的时候选择用cloud
处理多模态任务的时候
则使用gin i
这样的进能够优化性能
又能够控制成本
还能够避免过度依赖单一的供应商
在选模型的时候
不同场景的优先级也完全不同
如果是面向客户的产品
准确性是绝对第一位的
百分之七十四的公司把它排在第一
而成本排在第二
占比为百分之五十七
这和去年的情况呢
很不一样
去年呢
成本在客户产品中几乎是最不重要的
而今年的排名上升
可能是因为像deep sit 这样的低成本模型的出现
让成本成了更为关键的竞争因素
但如果是内部使用的ai 工具
成本就成为了头号的考量
占比为百分之七十四
其次呢
就是准确性和隐私
毕竟内部工具不直接产生收入
控制成本呢更加重要
而且呢
内部数据往往涉及到机密的信息
隐私保护自然也就成了重点
在训练和适配技术方面
最常用的是检索
增强 生成
Rag 和微调分别呢
有百分之六十九和百分之六十七的公司在使用
高增长公司还特别喜欢用提示词技术
比如说少样本学习和零样本学习
这可能是因为它需要快速的去适配不同客户的需求
而提示词技术能够在不重新训练模型的情况下调整输出
和去年相比呢
用rag 和微调的公司明显增多了
按理说呢
基础模型越来越强
微调的需求应该是减少的
但是实际的情况是
企业客户对于定制化的要求更高了
这时候呢
微调依然是必要的
在部署模型的时候
最大的三个难题分别是幻觉现象
可解释性与信任以及证明投资回报率
Roi 分别占比为百分之三十九
百分之三十八和百分之三十四
另外呢
计算成本和安全也是比较大的两个问题
比如说一个ai 产品上线之后
用户量突然增加了
Api 的调用费用可能就会飙升
直接吃掉利润
而如果模型被恶意的攻击
生成有害的内容
还可能面临法律风险
在基础设施方面
大多数公司呢
都采用了轻资产的模式
百分之六十八的公司完全使用云服务
百分之六十四依赖于外部的aiapi 提供商
这样做的好处呢
很明显
那就是可以减少前期的投入
不用自己来维护服务器
还能够快速上线产品
但是呢
这也带来了新的问题
供应商的选择
服务等级协议
也就是sla 的谈判
以及按调用次数计费的成本管理
这些呢
都成为了战略级别的事情
嗯
如果api 的提供商突然涨价
或者是服务突然中断
整个产品就会受到影响
所以呢
很多公司会和供应商签订长期的协议
甚至考虑备用的方案
只有百分之二十三的公司采用了云加本地的混合模式
不到百分之十完全用本地的基础设施
这些公司呢
往往有着一些特殊的需求
比如说金融机构会因为合规的要求
必须把数据放在自己的服务器里
或者对实施性的要求极高
比如说自动驾驶的ai 模型需要本地的计算来减少延迟
在市场方面呢
现在最流行的定价模式是混合定价
占比为百分之三十八
也就是结合订阅制和按使用量或者是按结果付费
比如说基础的功能收月费
超过一定使用量之后额外收费
或者根据ai 帮客户节省的成本来抽成
超i 赋能型的公司呢
大多数会把ai 当做是一个增值项
百分之四十放在高端套餐里
百分之三十三免费提供
这其实呢
是把ai 作为吸引客户升级或者是防止客户流失的一个工具
而不是主要的收入来源
比如说很多的sars 工具会说高级版包含ai 的分析功能
以此来呢推动客户从基础版进行升级
但是报告也指出
这种模式呢
可能不会长久
随着ai 的成本越来越高
免费提供会压缩产品的利润空间
而用户使用上的差异呢
也很大
重度用户用的多
成本高
而轻度用户用的少
收入低
这就会让定价变得很尴尬
所以呢
百分之三十七的公司计划在未来十二个月调整定价
比如说转向更为灵活的按使用量计费
或者是根据ai 带来的具体价值来定价
嗯
那随着ai 产品的规模化
透明度呢也越来越重要
在产品的规模化阶段
百分之二十五的公司会提供详细的模型透明度报告
百分之四十七会解释ai 如何影响结果
而在pre lunch 阶段
只有百分之六会提供详细的报告
这其实呢也很合理
说明产品越成熟
客户越会要求知道ai 的工作原理
尤其是对于企业客户来说
在合规方面
只有百分之十三有专门的ai 合规团队
百分之二十九的公司有正式的ai 伦理和治理政策
百分之四十七至少遵守gdprccpa 这些数据隐私法
这说明很多公司还在应付合规
而不是主动去建设合规的体系
随着各国的ai 监管越来越严
这可能会成为一个未来的风险点
另外呢
有百分之六十六的公司在用human in the loop 的方式确保ai 的公平和安全
简单来说呢
就是在关键的决策环节上让人类进行审核
比如说ai 生成的合同会让human 在检查一变
在团队方面
公司的规模越大
越可能有专门的ai 领导
比如说首席的ai 官啊
机器学习负责人啊这些等等
年收入一亿美元以上的公司中
至少百分之五十都有专门的ai 领导
而年收入低于一亿美元的公司只有百分之三十三
这是因为规模大了
Ai 业务更加复杂
就需要有人去统筹战略
技术和合规
而小公司呢
可能会让cto 或者是产品的负责人直接就监管了
对的对的
在岗位方面呢
目前最常见的ai 岗位是ai 和机器学习的工程师
百分之八十八的公司都有
有数据科学家的公司占比为百分之七十二
有ai 产品经理的公司占比为百分之六十
但是呢
招人很难
Ai 或者是机器学习工程师平均要七十天才能够招到
数据科学家要六十八天
Ai 产品经理要六十七天
这比普通的工程师难招多了
主要呢
是因为合格的人才少
竞争激烈
还有一些新兴的岗位也在崛起
比如说提示是工程师和ai 设计专家
这些岗位呢
需要既懂技术又懂业务
所以呢
现在也成了香饽饽
然而呢
百分之四十六的公司觉得招人不够快
主要原因呢
是缺乏合格的候选人
其次呢
是成本高和竞争激烈
有一家公司的技术负责人就说
我们想招有大模型部署经验的工程师
但是市场上这样的人太少了
稍微有点经验的
薪资要求比普通的工程师都要高百分之五十以上
还经常被挖墙脚
因此呢
为了应对
很多公司呢会自己培养人才
比如说让现有的工程师参加ai 培训
或者和高校合作实习项目
平均来看呢
公司会计划让百分之二十到百分之三十的工程师专注在ai 方面
而高增长的公司则会更高
甚至能够达到百分之三十七
这说明ai 已经从边缘项目变成了核心的业务
需要足够的工程师去投入
从成本方面来看
Ai 赋能公司的研发预算中
Ai 的开发成本大概占百分之十到百分之二十
年收入越高
比例相对越低
二零二四年
一亿美元以上的公司大约为百分之十到百分之十五
而低于一亿美元的公司大约为百分之十四
这可能是因为大公司的研发基数比较大
Ai 呢
只是其中的一部分
而小公司呢
则更加聚焦
愿意把更多的预算投到ai 上
不过呢
这个比例在二零二五年有了明显的上涨
普遍增长了百分之五到分之十
这说明大家都在加大ai 的投入
那么这些钱都花到哪里了呢
不同阶段
成本的结构也不一样
在产品发布之前
百分之五十七的ai 预算花在了人才上
因为这时候主要是搭团队做研发
到了规模化阶段
人才的成本占比会降到百分之三十六
而基础设施和云成本会升到百分之二十二
模型的推理成本会升到百分之十三
这是因为用户多了
服务器
Api 调用这些可变的成本也就上来了
其中呢
Api 的使用费用是最难以控制的
百分之七十的公司都把它排在第一
其次呢
是推理成本
模型再训练和更新等等
Api 的使用费用难控制呢
是因为它和用户的使用量是直接挂钩的
而用户的行为是很难预测的
比如说突然有个活动
用户量呢
就会暴涨
Api 的费用可能就会翻倍
为了省钱呢
百分之四十一的公司再用像拉玛三这样的开源模型
百分之三十七呢
在尝试优化推理效率
比如说压缩模型的大小
百分之三十二呢
在用模型蒸馏或者是量化技术
举个例子
有的公司把大模型从七百亿参数压缩到七十亿
推理成本降了百分之七
是性能呢
只降了百分之五
对很多场景来说
完全能够接受
模型训练的月成本呢
也会随着产品的成熟度上升
发布前呢
平均为十六点三万美元
规模化阶段为一百五十万美元
推理成本涨得更猛
规模化阶段高增长的公司每月要花二百三十万美元
普通公司呢
也要一百一十万美元
数据存储和处理也不便宜
规模化阶段的高增长公司每个月呢
要花二百六十万和二百万美元
普通公司也要花一百九十万和一百八十万美元
从这些数字我们就能够看出
Ah 产品的规模化成本很高
不是光把模型开发出来就行的
还得有足够的资金来支撑后期的运营
这也是很多初创公司需要大笔融资的原因
除了开发对外的ai 产品以外
公司呢
也在用ai 来提升内部的效率
这部分的预算呢
在二零二五年几乎翻倍
对于年收入十亿美元以上的公司来说
内部ai 生产力的预算从二零二四年的平均三百四十二万美元涨到了二零二五年的六百零四万美元
在公司内部
有百分之七十左右的员工能够接触到ai 工具
但是只有百分之五十会持续的使用
大公司呢
则更加难以推动
年收入十亿美元以上的公司只有百分之四十四的员工会持续使用ai
而小公司呢
则有百分之五十七
这个呢
是因为大公司的流程复杂
员工习惯难改
而且数据安全顾虑更多
纽约人寿的首席数据和分析官唐武就说
只部署工具肯定不行
尤其是大企业
要想让员工真的用起来
不仅得培训
还得找最积极使用ai 的员工来带头
最重要的是高管的持续支持
不然呢
很容易不了了之
在企业的研发部门内部
最常用的ai 场景是编码辅助
内容生成和编写助理
以及文档和知识检索
效果最好的呢
也是编程辅助
百分之六十五的公司认为它对生产力的提升最大
高增长公司甚至有百分之三十三的代码已经是ai 编写的了
普通的公司呢
是百分之二十七
但是呢
挑战也是明显的
百分之四十六的公司说找不到合适的使用场景
百分之四十二认为很难证明roi
那么究竟应该如何衡量内部ai 的效果呢
百分之七十五的公司会跟踪生产力的提升
百分之五十一呢
会跟踪成本节省
毕竟只有百分之二十会跟踪收入的提升
毕竟内部工具通常都不会直接创造收入
具体方法上呢
百分之十四只会跟踪定量的指标
百分之十六只跟踪定性的指标
百分之三十呢
既跟踪定量又跟踪定性指标
不过呢
还有百分之十七的公司完全没有开始衡量
这其实呢
是很危险的
因为如果不知道效果
就不知道该去优化还是放弃
在ai 的工具栈方面
Patouch 和pencl flow 这两个深度学习框架最为流行
加起来呢
占了一半以上的使用量
但是托管平台也不甘示弱
加ws 的sit maker 和open i 的微调服务用的人呢也很多
说明团队分成了两派
一派呢
喜欢用框架自己掌控整个过程
一派呢
则喜欢用托管服务省事
嗯
Hackin face 的生态呢
和data breaks 的moske ai training 也在崛起
他们提供了一些更高层的工具
让训练更加简单
比如说不用你自己去写复杂的分布式训练代码
直接调用api 就行了
在开发方面呢
Launch in 和cgin face 的工具集最火
因为他们能够简化提示词链
批处理和模型接口这些工作
百分之七十的公司还会用私有或者是自定义的api
说明很多公司会基于公开模型做二次的开发
然后封装成自己的api 供内部使用
用安全工具呢
也越来越受到重视
百分之三十的公司会用guardilers 来做安全检查
防止ai 生成有害的内容
百分之二十三呢
会用worsee 的aisdk 进行快速的部署这些工具呢
能够让应用更加的稳定
更加的合规
在监控和观测方面
近一半的公司还在用传统的apm 工具
比如说data dog 呀
New reallic
而是专门门的ai 监控工具
可能是因为这些工具已经融入了现有的流程
团队呢
不想再去学习新的工具
但是专门的ai 监控工具呢
也在增长
Long space 和waits and bioices 各有百分之十七的使用率
他们能够跟踪提示词的效果
检测模型的漂移
这些呢
是传统工具所做不到的
在推理优化方面
英伟达的tensl rt 和treatten 推理服务器加起来呢
占了百分之六十以上
说明英伟达在推理优化领域几乎是垄断的
毕竟呢
他们的gpu 可以说是行业的标杆
软件和硬件也配合的好
能够把速度和效率做到极致
说非英伟达的方案里占了百分之十八
它的优势呢
是可以跨硬件
在cpugpu 和其他的加速器上都能够跑
适合那些不想被英伟达绑定的公司
在数据处理和特征工程方面
阿帕奇
Spark 和卡夫卡是绝对的主力
分别有百分之四十四和百分之四十二的公司在用
Spark 呢
适合大规模的批处理
卡夫卡呢
适合实时流的处理
这两个呢
几乎是大数据处理的标配
但是呢
小规模的数据处理还是离不开pandas
有百分之四十一的公司在用
它简单灵活
适合快速的分析和原型开发
它编码辅助方面
Gay hub 口了的几乎垄断了市场
百分之七十五的开发团队都在用
但和piv s code 深度的集成
支持多种语言
而且背后有github 的海量代码训练效果呢
确实好
科嗽呢
排名第二
有百分之五十的公司在用它
更加专注于ai 驱动的编辑体验
比如说实时重构代码
对很多开发者来说呢
很顺手
其他一些工具呢
比如说codium source graph 虽然也有用户
但是份额远不如前两个
说明编程辅助工具现在已经形成了双巨头的格局
总结一下
从这份报告来看
二零二五年的ai 开发已经进入了深水区
不再是拼谁能够先做出一个ai 的功能
而是拼谁能够把ai 产品做稳定
做合规
做经济
同时呢
搭建起来能够持续创新的团队和体系
Ai 原生公司凭借着天生的优势跑得更快
但是ai 赋能公司通过在现有产品中嵌入ai
也能够找到自己的位置
在模型的选择上
多模型策略成为了主流
而成本和定制化成为了竞争的关键
定价和合规越来越复杂
需要平衡用户的体验
成本和监管要求
人才呢
依然是最大的瓶颈
尤其是既懂技术又懂业务的复合型人才
对想要入局的公司来说
我觉得呢
有几个教训值得借鉴
首先呢
是要明确ai 能够解决的具体问题
不要为了ai 而ai
其次呢
是控制好api 的成本
避免规模上去了利润没了
以及尽早的去搭建合规体系
别等监管来了再补课
最后呢
就是要重视内部ai 工具的落地
提升团队的效率往往比对外宣传更加重要
如今来看呢
Ai 已经不再是未来的趋势
而是现在的日常
怎么把它做好
考验的不只是技术能力
还有战略眼光
组织能力和成本意识
希望今天的内容能够带给大家一些启发
无论是在创业还是在职场
都能够更好的把握ai 带来的机会
感谢大家收看本期视频
我们下期再见
