观察|深度学习为何强大?适当的神经网络架构+大数据
据Emergen Research分析称,到2028年,全球深度学习市场规模预计将以39.1%的稳定复合年增长率达到933.4亿美元,推动其市场收入的关键因素是采用基于云的技术和在大数据分析中使用深度学习系统
。
那么,究竟什么是深度学习?它如何工作?
据《VentureBeat》在近日《这就是深度学习如此强大的原因》一文中总结道:深度学习是机器学习的一个子集,它使用神经网络来执行学习和预测
。
深度学习在各种任务中都表现出了惊人的表现,无论是文本、时间序列还是计算机视觉。
深度学习的成功主要来自大数据的可用性和计算能力,这使得深度学习的表现远远优于任何经典的机器学习算法。
深度学习的本质:神经网络和函数有网友曾笑言,“当你想要拟合任何函数或者任何分布,而又没有思路时,试试神经网络吧!”
先上两个重要结论:
神经网络是一个相互连接的神经元网络,每个神经元都是一个有限函数逼近器
。
这样,神经网络被视为通用函数逼近器。
深度学习是具有许多隐藏层(通常大于2个隐藏层)的神经网络
。
深度学习是从层到层的函数的复杂组合,从而找到定义从输入到输出的映射的函数。
在高中数学我们会学到,函数就是从输入空间到输出空间的映射
。
一个简单的sin(x)函数是从角空间(-180°到180°或0°到360°)映射到实数空间(-1到1)。
函数逼近问题是函数论的重要组成部分,涉及的基本问题是函数的近似表示问题。
那么,为什么神经网络被认为是通用函数逼近器呢?
每个神经元学习一个有限的函数:f(.)=g(W*X)其中W是要学习的权重向量,X是输入向量,g(.)是非线性变换
。
W*X可以可视化为高维空间(超平面)中的一条线,而g(.)可以是任何非线性可微函数,如sigmoid、tanh、ReLU等(常用于深度学习领域)
。
在神经网络中学习无非就是找到最佳权重向量W
。
例如,在y=mx+c中,我们有2个权重:m和c。
现在,根据二维平面空间中点的分布,我们找到满足某些标准的m及c的最佳值,那么对于所有数据点,预测y和实际点之间的差异最小。
神经网络“层”效果:学习具体到类别概括的映射如果输入是狮子的图像,输出是属于狮子类的图像分类,那么深度学习就是学习将图像向量映射到类的函数
。
类似地,输入是单词序列,输出是输入句子是否具有正面/中性/负面情绪。
因此,深度学习是学习从输入文本到输出类的映射:中性或正面或负面。
如何实现上述任务呢?
每个神经元都是一个非线性函数,我们将几个这样的神经元堆叠在一个“层”中,每个神经元接收相同的一组输入但学习不同的权重W
。
因此,每一层都有一组学习函数:f1,f2,…,fn,称为隐藏层值。
这些值再次组合,在下一层:h(f1,f2,...,fn)等等。
这样,每一层都由前一层的函数组成(类似于h(f(g(x))))。
已经表明,通过这种组合,我们可以学习任何非线性复函数。
深度学习是具有许多隐藏层(通常大于2个隐藏层)的神经网络
。
深度学习是从层到层的函数的复杂组合,从而找到定义从输入到输出的映射的函数。
深度学习作为曲线拟合的插值:过度拟合挑战与泛化目标深度学习先驱Yann LeCun(卷积神经网络的创造者和图灵奖获得者)曾在推特上发帖称,“深度学习并没有你想象的那么令人惊叹,因为它仅仅是美化曲线拟合的插值。
但是在高维中,没有插值之类的东西。
在高维空间,一切都是外推。
”。" src="https://imagecloud.thepaper.cn/thepaper/image/187/943/995.png" onerror="imgerrorfun();">插值(interpolation)是离散函数逼近的重要方法,利用它可通过函数在有限个点处的取值状况,估算出函数在其他点处的近似值
。
从生物学的解释来看,人类通过逐层解释图像来处理世界的图像,从边缘和轮廓等低级特征,到对象和场景等高级特征。
神经网络中的函数组合与此一致,其中每个函数组合都在学习关于图像的复杂特征。
用于图像最常见的神经网络架构是CNN(Convolutional Neural Networks,卷积神经网络),它以分层方式学习这些特征,然后一个完全连接的神经网络将图像特征分类为不同的类别。
比如,给定一组平面上的数据点,我们尝试通过插值拟合曲线,该曲线在某种程度上代表了定义这些数据点的函数。
我们拟合的函数越复杂(例如在插值中,通过多项式次数确定),它就越适合数据;但是,它对新数据点的泛化程度越低。
这就是深度学习面临挑战的地方,也就是通常所说的过度拟合问题:尽可能地拟合数据,但在泛化方面有所妥协。
几乎所有深度学习架构都必须处理这个重要因素,才能学习在看不见的数据上表现同样出色的通用功能。
深度学习如何学习?问题决定了神经网络架构那么,我们如何学习这个复杂的函数呢?
这完全取决于手头的问题,其决定了神经网络架构。
如果我们对图像分类感兴趣,那么我们使用CNN。
如果我们对时间相关的预测或文本感兴趣,那么我们使用RNN(Recurrent Neural Network,循环神经网络) 或Transformer,如果我们有动态环境(如汽车驾驶),那么我们使用强化学习。
除此之外,学习还涉及处理不同的挑战:
·通过使用正则化(regularization,用来防止训练的模型产生过拟合与欠拟合现象)处理确保模型学习通用函数,而不仅仅适合训练数据。
·根据手头的问题,选择损失函数。
粗略地说,损失函数是我们想要的(真实值)和我们当前拥有的(当前预测)之间的误差函数。
·梯度下降是用于收敛到最优函数的算法。
决定学习率变得具有挑战性,因为当我们远离最优时,我们想要更快地走向最优,而当我们接近最优时,我们想要慢一些,以确保我们收敛到最优和全局最小值。
·大量隐藏层需要处理梯度消失问题。
跳过连接和适当的非线性激活函数等架构变化,有助于解决这个问题。
基于神经架构与大数据:深度学习带来计算挑战现在我们知道深度学习只是一个学习复杂的函数,它带来了其他计算挑战:
要学习一个复杂的函数,我们需要大量的数据;为了处理大数据,我们需要快速的计算环境;因此,我们需要一个支持这种环境的基础设施。
使用CPU进行并行处理不足以计算数百万或数十亿的权重(也称为DL的参数)。
神经网络需要学习需要向量(或张量)乘法的权重。
这就是GPU派上用场的地方,因为它们可以非常快速地进行并行向量乘法。
根据深度学习架构、数据大小和手头的任务,我们有时需要1个GPU,有时,数据科学家需要根据已知文献或通过测量1个GPU的性能来做出决策。
通过使用适当的神经网络架构(层数、神经元数量、非线性函数等)以及足够大的数据,深度学习网络可以学习从一个向量空间到另一个向量空间的任何映射。
这就是让深度学习成为任何机器学习任务的强大工具的原因。
标签: 神经网络
抢先读
- 世界球精选!辽宁省大石桥市发布大风蓝色预警
- 当前播报:彭泽县气象台发布雷电黄色预警信号【III级/较重】【2023-06-16】
- 固定收益类理财产品在选择时有什么注意的?理财和基金是同一回事吗?
- 正脸曝光4个月后,林心如带6岁女儿做公益,刻意挡脸出镜引热议-世界独家
- 推进文化数字化工程、制作数字文化产品……山东数字赋能文化“两创”有这些亮点
- 藤县气象台发布雷电黄色预警信号【III级/较重】【2023-06-16】 全球聚看点
- 【行业观察】日本信用卡发展现状与挑战-全球快看
- 陕西一大学生酒后与朋友发生性关系被告强奸:一审获刑4年,发回重审后改判3年 被告人家属称已上诉
- 工信部等五部门:开展2023年新能源汽车下乡活动
- 天天热资讯!三星buds2pro和buds2区别?三星buds2pro详细使用教程?
- 子曰学而不思则罔思而不学则殆的意思的殆是什么意思_子曰学而不思则罔思而不学则殆的意思-微头条
- 皇马赢得贝林厄姆争夺战,英格兰超级新星登陆伯纳乌-天天快消息
- 汉中市生态环境局多形式开展6月主题党日活动 焦点播报
- 【快播报】广西第二波“龙舟水”将启,交通运输部门严阵以待
- 全球今头条!土木在线和筑龙专业哪个好_土木在线
- 端午假期大数据预测:青岛上榜国内十大热门目的地|世界观点
- 汉字脑洞解压官网在哪下载 最新官方下载安装地址
- 每日热文:海南文昌举办非物质文化遗产宣传展示活动
- 环球快报:2023年上半年全市重点项目观摩第七站在商州检阅这些项目
- 富临运业:子公司拟中标成都大运会车辆外包服务项目 环球观察
- 投资债券需要了解哪些事项?债券具有哪些特征?
- 镜头下的毕业季丨如期而至!南华大学连续三年用主题灯光秀祝福学子
- 当前通讯!莫奈名画被瑞典环保主义者涂红漆 2人被捕
- 世界热资讯!蓝色妖姬是什么花 是什么颜色的_蓝色妖姬是什么花 是什么颜色
- 支付宝车金融是否会上征信?支付宝车金融是干嘛的?
- 微动态丨2023中级会计报考时间:6月20日至7月10日
- 二分法查找的过程是什么?二分法查找算法复杂度指什么? 快播报
- 快报:6月16日(星期五)CCTV6节目预告
- 雪糕刺客还没完,酸奶涨价又来了?酸奶为啥也越来越贵了? 全球最资讯
- 世界信息:「发网集团」获数亿元 D+ 轮融资,加速全供应链数字化、智能化建设
- 为何电池企业都在积极布局电动船舶?_焦点快播
- 今日要闻!黑色的那个英语怎么写_黑色的英语怎么写
- 环球速读:淘宝搜索指数在哪里进行查询?淘宝搜索指数有什么用?
- 承德市双滦区第五届职工运动会之职工台球赛拉开帷幕 每日观察
- 为小将们加油!今晚U17亚洲杯,U17国足将对阵塔吉克斯坦_焦点热文
- 广西举办2023年第二次重大项目政金企现场对接会 达成意向授信157.37亿元 环球信息
- 环球讯息:长江防总长江委发汛情通报,要求做好强降雨防范
- 赋值增强中小企业持续发展力|世界速看料
- 519993基金,519992基金 每日速讯
- 穿针器怎么用图解_穿针器使用方法图解
- 新生代员工的定义是什么?新生代员工为何频繁换工作的原因_环球观焦点
- 专访|新安县委书记宗国明:打造品质优良、知名度高、信誉度好的新安樱桃品牌_当前讯息
- 易经与心理学的关系 信息
- 资讯推荐:朱芳雨出手了?曝广东最心仪的“重型内线”,杜锋亲承想要签下他
- 《FF16》偷跑出现 玩家们又要开始提防剧透了
- 【全球播资讯】魔兽世界贫民窟军需官在哪?贫民窟声望军需官奖励的具体形式是什么?
- cpa报名入口网上缴费2023 世界今亮点
- 每日视点!诉讼离婚中一方不同意怎么办?离婚孩子六周岁归谁抚养?
- 每日资讯:如何配置Tomcat服务器环境?tomcat启动闪退是什么原因?
- 大漠长河绿意浓
- 长岛涉氨制冷指挥部持续开展涉氨制冷企业日常视频监控巡查
- 赛季十大“名画”:追梦拳击+踩踏 詹姆斯跪地 库里怒摔牙套|环球快讯
- 再遇小可爱!动物园里居然有个幼儿园 每日信息
- 行唐县气象台发布大风蓝色预警【Ⅳ级/一般】【2023-06-16】
- 环球观热点:占星术魔法事件在线阅读 占星术杀人魔法txt
- 债券的利息是固定的吗?债券的本质到底是什么?
- 世界即时:如何选择固定收益类理财产品?固定收益类理财产品是基金吗?
- 如何打开联想笔记本电脑的电源管理?联想笔记本保修期几年?
- 终于官宣SUMMER离队,PERO与4AM皆满意,左梓轩为冠军最后一搏
- 【世界独家】福布斯中国发布最佳CEO排名谁是第一?福布斯排行榜是什么排行榜?
- 每日聚焦:咱当兵的人歌词 咱当兵的人原唱是谁
- 梦幻西游手游暗影龙任务怎么接?梦幻西游手游暗影龙怎么打?_快资讯
- 乙类乙管后首个暑运旺季,民航局预计火过疫情前的2019年-每日消息
- 牛市和熊市看什么指数判断?牛市能翻多少倍?-速讯
- 焦点速读:《腐烂国度3》实机预计未来18个月内公布
- 俄罗斯经济学家:美国借债“成瘾”将危及全球经济复苏 天天即时看
- 环球精选!亚运倒计时100天,极氪护航火种、点亮“大火炬” 领衔献礼
- 日媒:日本最大在野党提交对岸田内阁不信任案
- 复刻版本是什么意思_复刻版 全球视讯
- 南方属于哪个五行?南方五行属什么颜色? 环球今亮点
- 54股主力资金净流入超1亿元
- 全球热推荐:交易19号签!勇士过去3年伤透心 高管谈追梦普尔内讧:我们尽力了
- 女子收到“鬼屋”视频,一看竟是自己家
- 【天天快播报】商丘柘城S320官桥封闭施工,进出需绕行,附绕行方案
- 君亭酒店:拟投资2.1亿元在重庆分批次开设多家高品质酒店
- 天天热点评!荣国公与宁国公 荣国公
- 宜配网汽配查询(易配网)
- 生意社:市场竞争激烈 近期华东地区水泥价格弱势下跌 当前焦点
- 焦点热议:永州市江华政法“五老”为彝族同胞维权解难
- win7设置动态桌面壁纸的方法是什么? 电脑动态锁屏画面设置方法是什么?
- 如何卸载microsoftedge浏览器?microsoftedge浏览器兼容性怎么设置?
- 《浪姐4》三公人气排名出炉:美依礼芽拿第1,成团位洗牌,吴倩因病退赛_每日快讯
- CDPR加班情况已经改善 生活和工作有所平衡
- C视频·“遗”探究竟①∣“活化石”藏戏进校园,壤塘非遗焕发青春活力 环球即时
- 股票涨8个点是多少?股票为什么一天能涨20点?|资讯推荐
- 泰山学院专科专业有哪些(泰山学院专科分数线)|全球观天下
- 大连小窑湾约4000平米工业用地使用权挂牌 将于7月6日交易-每日动态
- 某酸奶称从百岁老人肠道采集益生菌惹争议 酸奶益生菌真的有用吗?_全球今头条
- 驱动人生有什么用?驱动人生和驱动精灵哪个更好?_环球新消息
- 资观帮忙(47)|村民:集资修路为何5年未动工 镇政府:已提上日程 预计年底前建成投用
- 福建电子信息产业快步迈向“增芯强屏”
- 嫉恶如仇是褒义词吗?(嫉恶如仇是什么意思 这样的性格好还是不好)
- 孙中山与中山舰事迹图片展在广州中山纪念堂展出|微动态
- 青农商行20亿欠款追讨不利!占净利润90% 对方无可供执行财产
- 乔巴第几集出现?索隆含泪吃下果实是哪一集?_世界热资讯
- 暗黑破坏神4防御计算公式与词条选择讲解介绍 天天观热点
- 曼联4000万天才引英超四队争夺!滕哈格考虑出租,若青木回归必走
- 世界今热点:频繁网贷被拒急需用钱怎么办?网贷多了为什么被风控?
- 魔兽世界黑暗符文哪里刷?魔兽世界黑暗符文有什么用? 当前简讯
- 夏朝建立时间自今多少年?夏朝建立时间介绍|要闻