您现在的位置是: 资讯 > > 正文

微软推出ZeRO++技术 可显著减少AI大模型训练时间和成本

时间:2023-06-28 10:56:38 来源:科技头条 发布者:DN032

(资料图片)

据微软官方消息,微软研究人员日前推出了名为 ZeRO++ 的新技术,可显著减少大模型训练时间和成本。

ZeRO++ 建立在 ZeRO 传输技术基础上,提供增强的通信策略,可提高训练效率,同时减少训练时间和成本。ZeRO++ 可对权重进行量化,其利用基于块的量化方法来保持训练精度,这种优化的量化过程相对原始 Zero 传输技术更快更准确。

微软研究人员表示,与 ZeRO 相比,ZeRO++ 减少了高达 4 倍的通信量,提高了训练吞吐量和效率。

标签: 人工智能 大模型训练 大数据模型训练

抢先读

相关文章

热文推荐

精彩放送

关于我们| 联系我们| 投稿合作| 法律声明| 广告投放

版权所有© 2011-2023  产业研究网  www.coalstudy.com

所载文章、数据仅供参考.本站不作任何非法律允许范围内服务!

联系我们:39 60 29 14 2 @qq.com

皖ICP备2022009963号-13