最资讯丨百川智能发布 70 亿参数量开源中英文大模型
王小川的大模型,首次公开亮相。
2023 年 6 月 15 日,被称为「中国 ChatGPT 梦之队」的百川智能公司,推出了 70 亿参数量的中英文预训练大模型—— baichuan-7B。
(资料图片仅供参考)
baichuan-7B 不仅在 C-Eval、AGIEval 和 Gaokao 中文权威评测榜单上,以显著优势全面超过了 ChatGLM-6B 等其他大模型,并且在 MMLU 英文权威评测榜单上,大幅领先 LLaMA-7B。
目前 baichuan-7B 大模型已在 Hugging Face、Github 以及 Model Scope 平台发布。
多个最具影响力中文评估基准 7B 最佳
为了验证模型的各项能力,baichuan-7B 在 C-Eval、AGIEval 和 Gaokao 三个最具影响力的中文评估基准进行了综合评估,并且均获得了优异成绩。
在中文 C-EVAL 的评测中,baichuan-7B 的综合评分达到了 42.8 分,超过了 ChatGLM-6B 的 38.9 分,甚至比某些参数规模更大的模型还要出色。
C-EVAL 评测截图,时间为 2023-06-15C-Eval 评测基准由上海交通大学、清华大学以及爱丁堡大学联合创建,是面向中文语言模型的综合考试评测集,覆盖了 52 个来自不同行业领域的学科。
在 AGIEval 的评测里,baichuan-7B 综合评分达到 34.4 分,远超 LLaMa-7B、Falcon-7B、Bloom-7B 以及 ChatGLM-6B 等其他开源模型。
AGIEval 评测基准由微软研究院发起,旨在全面评估基础模型在人类认知和问题解决相关任务上的能力,包含了中国的高考、司法考试,以及美国的 SAT、LSAT、GRE 和 GMAT 等 20 个公开且严谨的官方入学和职业资格考试。
在 GAOKAO 评测中,baichuan-7B 的综合评分达到了 36.2 分,显著领先于同参数规模的各种其他预训练模型。
GAOKAO 评测基准是复旦大学研究团队创建的评测框架,以中国高考题目作为数据集,用于测试大模型在中文语言理解和逻辑推理能力方面的表现。
MMLU 英文评估基准表现大幅领先 LLaMA-7B
baichuan-7B 不仅在中文方面表现优异,在英文上表现同样亮眼。在 MMLU 的评测中 baichuan-7B 综合评分高达 42.5 分,大幅领先英文开源预训练模型 LLaMA-7B 的 34.2 分以及中文开源模型 ChatGLM-6B 的 36.9 分。
MMLU 由加州大学伯克利分校等知名高校共同打造,集合了科学、工程、数学、人文、社会科学等领域的 57 个科目,主要目标是对模型的英文跨学科专业能力进行深入测试。其内容广泛,从初级水平一直涵盖到高级专业水平。万亿优质数据、4K 上下文窗口、高效稳定训练造就领先 7B 预训练模型
训练语料对大模型的训练结果至关重要。在构建预训练语料库方面,百川智能以高质量中文语料为基础,同时融合了优质的英文数据。在数据质量方面,通过质量模型对数据进行打分,对原始数据集进行篇章级和句子级的精确筛选;在内容多样性方面,利用自研超大规模局部敏感哈希聚类系统和语义聚类系统,对数据进行了多层次多粒度的聚类,最终构建了包含 1.2 万亿 token 的兼顾质量和多样性的预训练数据。相较于其他同参数规模的开源中文预训练模型,数据量提高了超过 50%。
在万亿优质中英文数据的基础上,为了更好地提升训练效率,baichuan-7B 深度整合了模型算子来加快计算流程,并针对任务负载和集群配置,自适应优化了模型并行策略以及重计算策略。通过高效的训练过程调度通信,baichuan-7B 成功地实现了计算与通信的高效重叠,进而达到了超线性的训练加速,在千卡集群上训练吞吐达到 180+Tflops 的业界领先水平。
同时,已有的开源模型窗口长度在 2K 以内,对于一些长文本建模任务,如需要引入外部知识做搜索增强的场景,更长的处理长度有助于模型在训练与推理阶段捕获越多的上下文信息,2K 的处理长度存在比较大的制约。baichuan-7B 基于高效的 attention 算子优化实现了万级别超长动态窗口的扩张能力,本次开源的预训练模型开放了 4K 上下文窗口,使模型应用场景更加广泛。
此外,baichuan-7B 还对模型训练流程进行了深度优化,采用了更科学且稳定的训练流程和超参数选择,使得 baichuan-7B 模型的收敛速度大大提升。与同等参数规模的模型相比,baichuan-7B 在困惑度(PPL)和训练损失(training loss)等关键性能指标上表现更加优秀。
免费可商用,清华北大率先使用助力研究
秉持开源精神,baichuan-7B 代码采用 Apache-2.0 协议,模型权重采用了免费商用协议,只需进行简单登记即可免费商用。
baichuan-7B 此次开源的内容十分丰富,包含了推理代码、INT4 量化实现、微调代码,以及预训练模型的权重。其中,微调代码方便用户对模型进行调整和优化;推理代码与 INT4 量化实现则有助于开发者低成本地进行模型的部署和应用;预训练模型权重开源后,用户则可以直接使用预训练模型进行各种实验研究。
据了解,北京大学和清华大学两所顶尖大学已率先使用 baichuan-7B 模型推进相关研究工作,并计划在未来与百川智能深入合作,共同推动 baichuan-7B 模型的应用和发展。
清华大学互联网司法研究院院长、计算机系教授刘奕群认为,baichuan-7B 模型在中文上的效果表现十分出色,它免费商用的开源方式展现出开放的态度,不仅贡献社区,也推动技术发展。团队计划基于 baichuan-7B 模型开展司法人工智能领域的相关研究。
北京大学人工智能研究院助理教授杨耀东认为,baichuan-7B 模型的开源将对于中文基础语言模型的生态建设及学术研究产生重要推动作用,同时他也表示将持续关注相关领域探索,并且在中文大语言模型的安全和对齐上进行进一步深入研究。
百川智能 CEO 王小川表示:「本次开源模型的发布是百川智能成立 2 个月后的第一个里程碑,对百川智能而言是一个良好的开局。baichuan-7B 模型,不仅能为中国的 AGI 事业添砖加瓦,也为世界大模型开源社区贡献了新的力量。」
开源地址:
Hugging Face:https://huggingface.co/baichuan-inc/baichuan-7B
Github:https://github.com/baichuan-inc/baichuan-7B
Model Scope:https://modelscope.cn/models/baichuan-inc/baichuan-7B/summary
标签:
抢先读
- 天天热点评!凉山彝族火把节将于7月20日至8月30日举行
- 湖州超钠新能源科技有限公司完成A轮融资
- 家庭图书馆:让读书从“一时间的热度”变成学生“一辈子的厚度”
- 36.2亿元!保利逼退中海拿下北京石景山广宁地块|天天新视野
- 2023郑州二七区小升初报名指南 每日速读
- 为梅西送开场球的快递小哥,曾荣获全国五一劳动奖章 百事通
- 芬兰财政部预计该国今年经济增长停滞
- 余承东:问界M5智能驾驶能力全球第一 超越特斯拉、国内外所有同行-天天聚看点
- 世体记者Fernando Polo:哈维是阿根廷...
- 无法连接APP STORE怎么办?为什么有网连不上appstore?
- 中电联召开国家电化学储能平台演示汇报会:要研究用户侧储能服务模式 助力新型电力系统建设
- 观察:吉利银河L6实车曝光,预计10万元起售,9月23日前上市
- 缘分四种_所谓的 lsquo 缘分 rsquo 到底是什么 焦点速讯
- 焦点关注:立秋吃啥饭_立秋吃啥
- 天天快报!全员加速中第一季完整版百度网盘(向往的生活第一季百度网盘资源)
- 当前热讯:Asgard's Wrath 2是我一直在等待的VR塞尔达传说
- 发生了什么?欧洲天然气期价盘中一度飙升30%
- 接待人数创历史新高!广州蔬菜新品种展示推广会落幕 最资讯
- 奇瑞风云3多少钱一辆?03年奇瑞风云整备质量是多少?
- 全球快消息!大连荣合地产底价5911万元竞得长兴岛近6万平米宅地使用权
- 6月16日天通股份涨9.99%,交银先进制造混合A基金重仓该股 天天快报
- 小米 34 英寸显示器仅 1299 元,144Hz 电竞带鱼屏
- 杭州亚运村内部功能区首次公开亮相 一起全景感受无限好“村”光-最新快讯
- 聚焦楼宇小微企业招工引才难,马家堡街道炎夏里办起招聘会
- 人民财评:构建职业教育与产业发展相融互促的良好格局 世界热头条
- win10搜索不到共享打印机怎么办?win10无法与win7共享打印机?
- 资产要素包括哪些类型的资产?固定资产的使用期限有什么规定?
- 山乡吹来艺术风(千万工程 一线探访)
- 每日快讯!“治”出美丽新家园!增城实现自然村农村生活污水收集和治理全覆盖
- 巴州消防救援支队开发区大队借力“安全生产月”开展高层住宅小区应急疏散逃生演练及宣传活动
- 哪些方法可以解决索尼相机删除的视频问题_环球动态
- 车内顶棚布脱落到哪换多少钱_车内顶棚布脱落怎么办
- 2023年天津注册会计师考试缴费入口已开通
- 要闻速递:我国经济运行保持恢复态势 重点在六方面发力
- 股指期货全线上涨 IF主力合约涨1.07%
- 安徽6月17日进入梅雨期:较常年偏晚2天
- 新华都(002264)6月16日主力资金净卖出2391.69万元 环球热点评
- 辽宁养老金调整时间会提前吗?2023年辽宁养老金调整方案何时出炉? 环球热讯
- 科思科技: 公司4月底2.68亿未交付订单在历史财报中未列收|每日视点
- 谢霆锋一直是娱乐圈里备受关注的明星|环球资讯
- 海关总署恢复、批准20家肉类企业在华注册_环球观速讯
- 2023河洛龙舟文化节(时间+地点+活动内容)
- 武功县行政审批服务局推行“4+1”服务模式持续优化营商环境
- 全球观点:潘石屹卸任天津润石投资公司职务
- 天天简讯:辛丑条约什么时间签订的?辛丑条约是什么战争后签订的?
- 井工煤矿四图两书指什么_两书指什么-快看
- 拒收现金 伤害的何止是支付选择权?|天天精选
- “美猴王系列”丛书(阿文国际版)在北京发布 当前快播
- 黑色持仓日报:期螺涨1.5%,国泰君安增持超1.4万手多单-全球焦点
- 每日优鲜新增被执行 标的金额约215万 天天新资讯
- “套餐改单点”背后,蔚来敏捷求变|环球快讯
- 12-13岁小男孩礼物 世界观察
- 着力解决水污染防治难题 今年前5个月广州断面水质全面达标-焦点热讯
- 楼道杂物被居委清理 诉至法院索赔 法院:不支持
- 【全球时快讯】乌鲁木齐市水磨沟区:园区举办推介会助力企业拓市场
- 焦点快播:安康举行秦巴医药产业“产供销”对接大会
- 阿根廷比赛开球小哥:近距离见到偶像还能为他送球实在是太荣幸了|看热讯
- 环球观热点:离谱!1年380万,简直就是侮辱人啊,威少走吧
- 公共 | 大运主题推广曲《蓉光》音乐短视频发布 天天热消息
- 北京养老服务小程序将于6月底上线
- 韩国飘了!24小时不到,韩国对中国三大动作,取消与我国大使见面 今日热搜
- 当前播报:2023郑州启元中学小升初报名指南
- 厂址选择的影响因素有哪些内容? 厂址选择的方法是怎么样的?_环球即时看
- 唯品会618高潮期开售:品质消费驱动增长,知名品牌带动消费热潮
- 首创证券“首富杯”第二届私募实盘大赛年度颁奖典礼 暨非凡IR+启动仪式成功举办|当前聚焦
- 天气热得越来越早是为什么?气象专家解读
- 全球热门:由于天气原因 2023深圳荷花音乐节3场潮流音乐会活动将延期举办
- 于大宝赛后与老队友迪马利亚合影,获赠落场球衣
- 【新视野】国药现代:全资子公司药品克林霉素磷酸酯注射液通过仿制药一致性评价
- 全球关注:1-5月中国汽车类零售总额同比小幅增长
- 枫生_关于枫生概略 天天百事通
- 航拍“打卡”合肥新地标「组图」-全球最新
- 凰家速地|保利以36.2亿竞得石景山区广宁村2015、2019、2027、2009地块
- 逆周期调节力度加大 MLF降息“靴子落地”|世界报资讯
- 【世界聚看点】初等教育是什么?初等义务教育是几年?
- 医疗器械龙头迈瑞状告一个区的卫生健康局
- 小米汽车硬件利润率不超1%?此路可通,但注定艰难
- XD好莱客(603898)6月16日主力资金净买入30.15万元|世界观热点
- 浙江钱江湾区投资4亿元私募获上交所受理 当前消息
- 世界热门:清雷科技全线医疗级产品亮相中关村科学城公司创新合伙人峰会
- 中海19.92亿元获广州荔湾紫兰苑地块 曾为广信资产包项目 环球快讯
- 基建50ETF涨2.15%,北方国际领涨8.11%
- 怎么治疗痤疮色斑?黄褐斑怎么治疗最好?
- 祁阳市农产品监测保护市民“舌尖”安全|观点
- 阿鲁巴是哪个国家的
- 近期旅游客车侧翻事故多发 公安部交管局提示注意安全行车 环球简讯
- 好未来:开放小学数学知识图谱-全球播资讯
- 【环球时快讯】单洞超9000米!仁沐新高速最长隧道 左线贯通
- 美元指数跳水 非美货币机会来了吗?丨就市论市 每日观察
- 国家发改委回应中国经济数据波动:长期向好大势不会改变 天天微资讯
- 天天观速讯丨苏翊鸣获得清华大学保送资格 本人和清华回应
- 中国巨石:玻纤需求3-5月出现改善 整体展望比较好
- 2023年福州市区普通高中招生计划
- 焦点滚动:重磅|“看中国”22省上线启动!主题策划发布!IPTV数据排行榜发布!
- 2023年版中国合成医用膜市场投资分析与供需前景报告 全球微动态
- 生命三宝治疗仪怎么样_生命三宝-世界热议
- 泽连斯基回应特朗普说“24小时解决俄乌冲突”:他为什么不早这么做? 当前消息
- 云南民营经济增加值占GDP比重历史性突破50%
- 全球新消息丨京东超市宣布扶持22家国货之光企业 投10亿元资源 打造百款爆品 增长超50%
- 百事通!离谱!高呼马龙是湖人的爹!约基奇妻子被砸酒瓶!