全链条中国造,思考起来更像人!紫东太初全模态大模型发布_今头条
【资料图】
不光能读懂文字、图像,还能理解音频、视频,甚至3D模型、传感信号,思考起来更像“真人”。6月16日,在“人工智能框架生态峰会2023”上,中国科学院自动化研究所所长徐波发布了“紫东太初”全模态大模型。作为升级后的2.0版本,它不仅实现能力提升,还做到全链条“中国造”,打造出全栈国产化的通用人工智能底座。
何谓全模态大模型?“人的学习受到现实世界中视觉、听觉、触觉、嗅觉等各种信号的综合影响,这些信号每一类都是一种模态,人类的学习过程是全模态的。但目前最常见的大语言模型仍以文字、图片为主要模态,对音频、视频等信息的识别能力不足。”中科院自动化所紫东太初大模型研究中心常务副主任王金桥介绍,在“紫东太初”诞生之初,科研团队就提出要像养育婴儿一样,为它营造全模态的学习环境。
早在2021年7月,全球首个千亿参数的多模态大模型“紫东太初”1.0就已发布,实现图像、文本、语音三类数据的相互生成。而历经近2年的迭代,“紫东太初”2.0的能力再升级,除了读懂图文外,它还能“看懂”来自现实世界的影像数据、力触觉、工业传感信号等物联数据,可以像“人”一样综合运用多种信号进行思考。
给出一张救护车图片、一段森林救火的视频和一段警笛音频,“紫东太初”能识别并讲述出一段完整的救援过程;而将一张图书馆的照片和汽车鸣笛声音频同时输入,它则快速发现了其中的矛盾,认为这段音频不太可能出现在图书馆场景之中。
在同样的参数量级中,多模态大模型的能力会强于纯粹的语言大模型,这意味着“紫东太初”可以用更少的训练数据实现更优的效果。“其实这也很好理解,多种信息的综合输入,能够降低认知成本,但这对科研的挑战更大。”王金桥说,得益于团队在多模态数据领域的多年积累,科研人员以语义为桥梁,将音频、视频、物联数据等模态联系起来,“在这条研发路径上,我们走在了世界前列。”
“从算法到硬件、算力,‘紫东太初’都是‘中国造’。”王金桥表示,大模型算法为中科院自动化所自研,以昇腾AI硬件及昇思MindSpore AI框架为基础,算力则由武汉人工智能计算中心提供支持,“在国产软硬件的支撑下,我们的大模型一样能跑得很好、很快。”
大模型所掌握的数据种类越多,与真实世界的交互能力就越强,在不远的将来,多模态大模型将普惠千行百业。目前,“紫东太初”大模型已在法律咨询、交通出行、医疗健康等领域开始引领性示范。例如,通过部署“紫东太初”,中科院自动化所自研的微创柔性手术机器人MicroNeuro拥有了融合触觉与视觉的跨模态分析能力,它已完成国际首例深位颅内活检手术,并有望随着大模型升级拥有对神经外科手术场景的自主理解。
“紫东太初”还开放了服务平台,支持各行业根据各自需求“组装”模块,再输入少量的行业样本数据,就能产出自主可控的行业相关大模型。徐波表示,未来3至5年,包括“紫东太初”在内的我国大模型技术,将在促进数字经济发展方面发挥重要作用,进一步释放、提升各行业的劳动生产率。
流程编辑:U022
标签:
抢先读
- 沿着高速看乡村产业:广东清远特色产业发展正酣-全球即时看
- 行色匆匆的近义词(行色匆匆的情景)
- 每日聚焦:观车 · 论势 || 新能源汽车下乡,切准市场脉搏更重要
- 滴滴升级司机收入保障 多种免佣奖励稳定司机收入_观点
- 美国一座岛突现数百万毛毛虫 画面曝光:虫子挂满枝头 掉落时像下雨 当前看点
- 华为云数智赋能药品全生命周期管理论坛举办
- 佛山举办高质量发展论坛 天天热文
- 2022年生活服务业连锁企业TOP100发布
- 咸安区“安全宣传咨询日”推动全社会“人人讲安全、个个会应急”
- 高层要“停建”?有专业人士表示:这2类房子或要吃香了
- 天娱数科:第一大股东所持4.24%公司股份将被司法拍卖 世界今日报
- 焦点播报:护理学毕业生自我鉴定_护理学毕业生自我鉴定范文欣赏
- 世界要闻:偷偷藏不住段嘉许桑稚年龄间隔几岁第一次吻戏哪章
- 一路走好!7天8位名人相继去世,有4人未满40岁,最年轻者仅21岁 全球滚动
- 科力特任命李金芝为公司财务负责人 2022年公司净利1830.72万 时讯
- 鸡西向全国推介中俄合作产业前景 6个项目签约额达47.45亿元
- 全链条中国造,思考起来更像人!紫东太初全模态大模型发布_今头条
- 经济学家预计欧洲央行9月份加息的可能性上升-全球最资讯
- 欧盟机构:6月初全球平均气温创纪录
- 当前热讯:漫威多部影片宣布改档 包括《美队4》《复联5》等
- 当前速读:18家AI头部企业、高校与科研机构联合发布首个AI框架生态倡议
- 全球消息!甘肃G30连霍高速部分路段因大风沙尘临时管制
- 13宗!774亩!今年市区第二批拟出让地块清单发布!
- 海口加快建设海南自贸港核心区 外向型经济发展显成效_天天观点
- 世界视讯!“环卫母亲”发声,拒绝资助,真实家境曝光,两块牌匾说明一切
- 漱玉平民(301017):6月16日北向资金减持2.68万股_天天观热点
- 便宜上千万,杭州保姆纵火案房源成交
- 爱尔眼科:嘉实基金、国金证券等多家机构于6月15日调研我司
- 安豆5号
- 数码宝贝皇家骑士团实力排名_数码宝贝皇家骑士
- 科思科技: 公司4月底2.68亿未交付订单在历史财报中未列收
- 交通运输部:高标准高质量推进雄安新区交通建设 深入推进京津冀交通运输一体化发展
- 全球简讯:概念动态|华如科技新增“机器人概念”
- 天天热推荐:中国官方发文:各金融机构要主动对接粮食生产主体扩大产能等融资需求
- 全球看点:广州发展:子公司拟约5.19亿元投建上塘村100MW复合光伏发电项目
- 环球资讯:大理旅行团被指宰客
- 天天日报丨歌曲风的季节是哪个电影的插曲 经典歌曲风的季节原唱是谁
- 【甘快看】太白第七届插秧节开幕:黄土高原上演插秧大赛 全球热文
- 环球播报:通胀持续高位运行 欧洲央行或将继续加息
- 稳增长路径:以基建拉动就业内需 天天速讯
- 滨江集团拟为子公司滨岚公司提供不超过6100万元担保
- 焦点热门:《遗迹的声音》:把看不见、听得着的口述故事变成电影
- 梅雨季来了!江苏淮河以南地区明日入梅
- 今天过生日的动漫角色!(6月17日) 世界滚动
- 【环球聚看点】救人一跃 义举暖心(点赞新时代)
- 魅力胶东:总投资50亿元!胶东印象·袁家村项目进展迅猛
- 黄精开花后怎么养 如何养殖黄精-热门
- 当前要闻:标致雪铁龙整合,神龙汽车拼死一战
- 秦洪 增量资金尝试性建仓 低位股迎来反弹契机 短线有利
- 全球报道:锐骐6油耗 锐骐6油耗一公里多少钱
- 天天短讯!厄尔尼诺卷土重来,全球气温可能会创新高
- 硬核科技论|别被洗脑 双电机有时候并非你所想
- 当前讯息:制药巨头礼来CEO:AI可能颠覆整个行业
- 天天报道:莫忽视精致背后的真需求
- 黑人女孩亚克米:黑得彻底,关灯看不到人,却美得令人难以忘怀-焦点
- 全球大学生体育文化公益广告作品征集展示活动启事 环球看点
- 焦点速递!【“粤”升湾区阔 潮涌看中国】跨越伶仃洋 一桥连三地:这座世界最长跨海大桥为大湾区带来新机遇
- 蜂蜜禁忌与什么一起吃 蜂蜜不能与什么一起吃
- 焦点速递!天津小区突发爆炸致3死,社区:嫌犯和妻子分住发生爆炸的两个小区
- 解码文化自信的城市样本|“文枢”焕新耀金陵——解码古都南京的文化自信样本
- 新疆夏粮收购开秤-环球最新
- 焦点关注:青岛男孩存银行1.1亿,当天竟全被转走?银行:为你好帮你还债了
- 焦点!北京电影学院研究生学费一年多少_北京电影学院研究生学费
- 芯海科技获ISO 26262功能安全管理体系ASIL D认证 为国产车规芯片保驾护航 当前观察
- 佛山市高质量发展论坛暨2023年第一期“佛商论坛”举行
- 五部门:探索完善农村产权确权颁证、抵押登记、流转交易、评估处置机制
- 打通快递进村“最后一公里” 天天速讯
- 世界资讯:ET5 Touring引人瞩目 可蔚来还是更需要一款“Model Y”
- 环球头条:天齐锂业董事长蒋卫平:锂价永远回不到每吨3万、4万
- 售价144.89万起 新款X5 M/X6 M雷霆版上市
- 年三十祝福(年三十祝福语)
- 上海市银行同业公会发布自律公约,强调不应以利率为单一手段争揽客户|环球滚动
- yy分组简单设计可复制_cfyy频道分组设计
- 孕妇吃什么水果补铁补血通便?_今日快看
- 双节将至 酒店、旅游逆势狂欢!电站锅炉管龙头20cm涨停 光热发电再受关注-即时看
- 男子假冒警察与女子相恋结婚,诈骗数十人近600万元被公诉|世界短讯
- 国足大连集训氛围轻松 国脚艾克森期待大胜
- 11月句子语录_十一月的简短句子
- 成都这家景区,全员免费!|观点
- 2014年是什么年天干地支_2014年是什么年-天天简讯
- 【播资讯】关于猴痘,这些知识请了解!
- 湿银耳保质期多久?
- 知名女星承认出轨!将无限期暂停演出
- 红色利剑全部演员表角色介绍_红色利剑的演员简介介绍
- 世界头条:夏枯草的作用与功效能治疗咽炎_夏枯草的作用与功效
- 环球微头条丨屋顶平台漏水最好的补漏方法_维修方法
- 热门看点:今日腔肠动物的主要特征笔记_腔肠动物的主要特征有哪些
- 天天精选!谷歌推出多项功能:识别皮肤病、模拟试穿衣服
- 曹蓟光:5G全连接工厂赋能企业数字化转型_快播报
- 魔幻!那个抱了梅西的球迷,穿的鞋登上淘宝热销榜首!网友:一双好鞋,掌控全场……_环球今热点
- 向佐自曝拍戏情绪太饱满误伤“古典舞女神”唐诗逸,发文道歉获女方回应:受伤难免,记得下次见面吃我一拳!
- “五五购物节”火热进行中,活动丰富、优惠多多|环球时快讯
- 2021牛年新年祝福短句图片大全_2021牛年新年祝福短句图片 世界看热讯
- 家常羊排炖萝卜、强健身体、暖身散寒,凛冬季节必吃的一道美食
- 算大账因素在盘面越发明显 天天观热点
- 红沙土适合种什么 红沙土适合种哪些植物
- 意大利新一代潜艇建造提速
- A股首单房企重组项目注册生效 招商蛇口收购南油、前海实业获批
- 佳缘科技(301117):6月16日北向资金增持7.34万股|天天热资讯
- 【手慢无】全新13代酷睿强芯 华为MateBook X Pro商务本9999元抢购