本字幕由TME AI技术生成
今天是二零二四年七月二十日
欢迎收听ai 上下文
近日
Ai 领域再次掀起波澜
Open ai 突然宣布推出新模型gpt 四o mini
这是gpt 四的轻量级版本
旨在让更多公司和项目能够获得先进的ai 技术
该模型在mmlu 上得分百分之八十二
性能优于gpt 四
Gpt 四o mini 立即在charch gpt 免费版和付费版上线商用
价格比之前的模型便宜一个数量级
比gpt 三点五turbo 还便宜百分之六十以上
新模型支持文本和视觉输入
拥有幺二八k token 的上下文窗口知识
截至二零二三年十月
在多项基准测试中
Gpt 四o mini 在推理任务
数学和编码能力
多模态推理等方面都优于其他小型模型
Open ai 还在模型中内置了与g pt 四o 相同的安全措施
并应用了新的指令分层方法来提高安全性
值得注意的是
Gpt 四o mini 的九人核心团队中有五位华人面孔
团队成员包括kevin lou
神哲 John
任洪宇
Kevin u 和miana chaen 等
他们分别毕业于加州大学
伯克利
斯坦福大学
清华大学
北京大学和同济大学等名校
Open aiceo sam 奥特曼表示
与两年前相比
大模型成本下降了百分之九十九
这标志着ai 变得更便宜
更易获取
业内人士认为
这代表小模型竞争加剧
未来可能出现更小但更智能的模型
Gpt 四o mini 的推出将大大扩展ai 应用范围
降低开发成本
与此同时
其他ai 公司也在积极布局
M ss tro ai 与英伟达联合推出了名为mstro nimo 的小型ai 模型
该模型参数量为一百二十亿
上下文窗口为幺二八k
在多语言应用方面表现出色
Mstro nemo 使用新的taken 分词器
能更有效的压缩自然语言文本和源代码
模型经过指令微调
在遵循指令推理
多轮对话和代码生成方面能力显著提升
Ms tro nemo 用apache 二点零许可证发布
允许商用
与大型模型相比比
Mstro nimo 更易获取和运行
可在普通rtxgpu 上使用
为中小企业提供了更经济实惠的ai 解决方案
这一发展可能会改变ai 软件市场格局
使更多企业能够利用ai 技术
在模型架构方面
华为gtsai 计算lab 研究团队提出了locmoe 架
这是一种基于低开销主动路由的架构
Mol ocmoe 加继承了loc o 一的高判别性专家和本地性通信优势
通过改造路由策略
定义token 与专家之间的亲和度指标
实现更高效的token 分派
从而提升训练效率
该架构结合了传统被动路由与专家主动路由
提高了处理判别性token 的概率
降低了样本噪声
实验结果显示
Locmoe 加在不影响模型训练收敛性的情下
显著减少了每个专家需要处理的token 数量
提高了训练效率
并在多项评测中展现出优秀的性能
这项研究为某架构在大语言模型领域的应用提供了新的思路
在模型集成方面
哈尔滨工业大学和鹏程实验室的研究人员提出了一种名为deeen 的训练免费异构大模型集成学习框架
该框架在解码过程中融合多个模型输出的概率分布
联合决定每一步的输出token
Deeen 通过构建由多个模型词表之间的共享token 构成的统一相对表示空间
解决了模型间词表差异的问题
实验结果表明
Deeen 在多个公开数据集上均能取得显著提升
有效扩展了大模型性能边界
该方法不仅能快速应用于任何模型组合
还允许被集成模型访问彼此的内部表示
实现更深层次的模型协作
研究人员还发现
随着集成模型数量的增加
集成性能先增后减
集成大模型与专家模型可有效提升特定任务性能
然而
Ai 模型的发展并非一帆风顺
上海交通大学盖尔团队的最新研究发现
大语言模型经过多轮自我提升后
可能出现自我提升逆转现象
在复杂任务中能力反而下降
研究对lama 二七b
Msttro 七b
Lama 八b 等模型进行了实验
发现他们在常识理解
数学推理和代码生成等任务中出现了这种现象
具体表现为
一 能力幻觉
模型只是变得更擅长选择已知答案
而非真正解决问题
二
多样性丧失
回答变得千篇一律
三
泛化能力下降
难以应对新类型问题
也项研究揭示了ai 自我提升的复杂性
提醒我们在追求性能提升的同时
也要关注模型的实际问题解决能力
创造力和适应性
在ai 安全方面
洛桑联邦理工学院的研究发现
在提示词中使用过去时态
可以轻松突破大语言模型的安全限制
这种方法对gpt 四o 尤其有效
攻击成功率从百分之一飙升至百分之八十八
研究测试了包括gpt 四ogpt 三点五
Turbo
Jamon 二
Five 三等六种模型
结果显示
大多数模型的安全防线都被突破
这种攻击方法简单有效
不需要构建特殊情境或使用复杂的对抗性攻击
对不对
研究还发现
使用未来时态也有类似效果
但不如过去时态明显
对于cloud 模型
这种方法似乎无效
研究者建议通过在训练数据中加入拒绝视力进行微调
可能有助于防御此类攻击
这一发现揭示了当前语言模型对其技术的局限性
为提高模型安全性提供了新的思路
在ai 应用方面
贾扬清团队推出的elmo 插件再次升级
成为第一个支持端侧模型的chrome 插件
新版本调用chrome 本地模型germany nano
大小仅十二兆
实现断网也能使用的功能
Elmo 插件自今年四月发布以来
经过二十二个版本迭代
在chrome 商店已积累三万多粉丝
插件功能包括生成文章摘要
提供洞察
索引原文等
可用于阅读学术论文
浏览新闻
观看视频等场景
插件还支持时间轴分段总结功能
方便快速浏览长视频内容
Elmo 插件由lapton ai 团队开发
该公司致力于简化ai 模型部署
提供云原生ai 平台和pthon sdk
使普通开发者能够轻松部署ai 模型
最后在ai 人才方面
二零二四年
Ai 人才争夺战愈演愈烈
马斯克创立的xai 与open ai 之间的纠葛再添芯片
X ai 创始工程师kw
Cosset 于今年四月离职
重新加入open aicositxai 首首批十一名员工之一
主负责责自化化
扩展性性和分布式计算
他离职发生在xai 宣布完成六十亿美元融资前一个月
引发业界猜测马斯克克open en ii 的愿由来来久
从open ai 创始人到对簿公堂
Xci 成立不到一年就获得巨额猜测
但核心成员的离职可能预示公司面临挑战
这一事件凸显了ai 领域人才争夺的激烈程度
也反映了初创公司与established 巨头之间的竞争态势
今天的ai 新闻播报完了
感谢您的聆听
