如何应对AI可解释性危机,解释和验证更应关注哪个?
当前人工智能落地应用的繁荣很大程度上来自于机器学习(Machine Learning)尤其是深度学习(Deap Learning)的技术发展,但智能背后空茫的无法理解不可解释始终让人们质疑人工智能是否必须可解释才能用于一些高风险场景,尤其是在医疗保健、金融和政府等关键领域。
深度学习即深度神经网络(Deap Neural Network),其特征在于无需经过特点人为干预设计就能自主从大量数据中学习并构建规律体系。然而在AI深度学习模型输入数据和输出结果之间,在复杂结构层级的人工神经网络中,是大量人类难以理解的代码和数值,无法准确解释AI在特定情况下做出特定预测的缘由。
这就是很多人听说过的“AI可解释性危机”。
3月23日,《Fortune》在一篇文章中指出,人工智能存在可解释性危机,但它可能不是你想的那样。在其文章末尾更是表达了“当谈到现实世界中的人工智能时,我们应该关心的不是解释而是验证”的观点。
所以,对可解释人工智能的追求有什么问题呢?
“我们认为,通过当前的可解释性方法建立信任的愿望代表了一种虚假的希望:即个人用户或受人工智能影响的用户能够通过审查解释(即特定于该单个决定的解释)来判断人工智能决策的质量。那些使用此类系统的人可能误解了当代可解释性技术的能力——它们可以在一般意义上产生对人工智能系统如何工作的广泛描述,但对于单个决策,这些解释是不可靠的,或者在某些情况下,只能提供肤浅的解释水平。”近日,麻省理工学院计算机科学家Marzyeh Ghassemi,澳大利亚机器学习研究所放射科医生兼研究员Luke Oakden-Rayner和哈佛大学公共卫生学院流行病学系研究员Andrew Beam在医学杂志《柳叶刀数字健康》上发表的一篇论文中写道。
为机器学习决策产生人类可理解的解释的尝试通常分为两类:固有可解释性和事后可解释性。
对于输入数据复杂性有限且易于理解的机器学习模型,量化这些简单输入与模型输出之间的关系称为固有可解释性。比如从一开始就训练AI来识别某种疾病的原型特征,像肺部存在“毛玻璃”图案,然后告诉医生它认为检查的图像与原型的匹配程度有多接近。
这看起来直观简单,但作者发现,这也很大程度上取决于人类的解释——是否选择了正确的原型特征,并在得出结论时对每个特征进行了适当的加权。
即使是固有可解释模型也会因存在无法识别的混杂因素而难以真正生效。更别说在许多现代人工智能用例中,数据和模型过于复杂和高维,不能用输入和输出之间的简单关系来解释。
事后可解释性思路是通过各种途径剖析其决策过程。一种流行的事后可解释性形式称为热图,热图突出图像的每个区域对给定决策的贡献程度,并且具有说明性,常用在医学成像模型中。
图说:用于检测胸部X光肺炎的深度学习模型的事后解释方法生成的热图(根据深度神经网络,较亮的红色表示重要性级别较高的区域,较深的蓝色表示重要性级别较低的区域)
但Ghassemi等研究发现,本应解释为什么AI将患者归类为肺炎的热图,即使是图中“最热区域”(最影响判断区域)也包含着在医生看来有用和无用的信息,简单地定位该区域并不能准确揭示模型认为有用区域的确切内容。
“临床医生不知道该模型是否恰当地确定了空域混浊的存在在决定中很重要,心脏边界或左肺动脉的形状是否是决定因素,或者该模型是否依赖于与人类不相关的特征,例如特定的像素值或纹理,可能与图像采集过程有关,而不是潜在疾病,” Ghassemi、Oakden-Rayner和Beam写道。
他们指出,在缺乏此类信息的情况下,人类倾向于假设人工智能正在研究人类临床医生会发现的重要特征。这种认知偏差会使医生对机器学习算法可能犯的错误视而不见。
研究人员还发现了其他流行的可解释性方法的缺陷,如GradCam、LIME和Shapley Values。其中一些方法通过改变输入的数据点,直到算法做出不同的预测,然后假设这些数据点对原来做的预测来说一定是最重要的。
但这些方法与热图有同样的问题——它们可能会识别出对决策很重要的特征,但它们不能准确告诉医生为什么算法认为这些特征很重要。如果这个特征让医生觉得违反直觉,医生该怎么做?断定算法是错误的,还是断定它发现了以前医学未知的临床重要线索?任何一个都有可能。
更糟糕的是,不同的最新解释方法在对算法结论的解释上经常存在分歧。在2月8日发表的《可解释机器学习中的分歧问题:从业者的视角》论文中,来自哈佛大学、麻省理工学院、卡内基梅隆大学和德雷克塞尔大学的研究人员发现,在现实世界中,大多数使用算法的人都无法解决这些差异,而且通常,正如Ghassemi等学者所建议的那样,他们只是简单地选择了最符合他们现有想法的解释。
卡内基梅隆大学计算机科学教授Zachary Lipton在接受《Fortune》采访时表示,“医疗保健领域领域每个认真的人都知道,当今大多数可解释的AI都是无稽之谈。”Lipton表示,在他们的医院部署了一个据称可解释的AI系统来解释医学图像后,已经有许多放射科医生向他寻求帮助,这些图像的解释没有意义——或者至少,与放射科医生真正想要的东西无关。
然而,公司继续将他们的AI系统推销为“可解释的”,Lipton表示,因为他们认为他们必须这样做才能进行销售,“他们说,‘如果没有解释,医生不会相信它。’ 但也许他们不应该相信它。”
根据《英国医学杂志》(The BMJ)2020年发表的一项研究,在最坏的情况下,提供解释是为了掩盖医学成像中使用的大多数深度学习算法都没有受到严格的双盲随机对照试验,而这些实验在新药被批准之前是必须的。
“我们建议可解释AI的最终用户,包括临床医生、立法者和监管机构,要意识到当前存在的可解释AI的局限性。我们认为,如果希望确保人工智能系统能够安全可靠地运行,那么重点应该放在严格和彻底的验证程序上。”Ghassemi、Oakden-Rayner和Beam得出了一个有点违反直觉的结论,即医生不应该专注于解释,而应该关注AI的作用效果,以及其是否经过了严格、科学的测试。
他们指出,医学充满了医生使用的药物和技术,因为它们起作用,尽管没有人知道为什么——对乙酰氨基酚已被用于治疗疼痛和炎症一个世纪,尽管我们仍然不完全了解其潜在机制。
标签: 如何应对
抢先读
- 固定收益类理财产品在选择时有什么注意的?理财和基金是同一回事吗?
- 子曰学而不思则罔思而不学则殆的意思的殆是什么意思_子曰学而不思则罔思而不学则殆的意思-微头条
- 皇马赢得贝林厄姆争夺战,英格兰超级新星登陆伯纳乌-天天快消息
- 投资债券需要了解哪些事项?债券具有哪些特征?
- 支付宝车金融是否会上征信?支付宝车金融是干嘛的?
- 二分法查找的过程是什么?二分法查找算法复杂度指什么? 快播报
- 今日要闻!黑色的那个英语怎么写_黑色的英语怎么写
- 环球速读:淘宝搜索指数在哪里进行查询?淘宝搜索指数有什么用?
- 环球讯息:长江防总长江委发汛情通报,要求做好强降雨防范
- 穿针器怎么用图解_穿针器使用方法图解
- 新生代员工的定义是什么?新生代员工为何频繁换工作的原因_环球观焦点
- 资讯推荐:朱芳雨出手了?曝广东最心仪的“重型内线”,杜锋亲承想要签下他
- 【全球播资讯】魔兽世界贫民窟军需官在哪?贫民窟声望军需官奖励的具体形式是什么?
- 每日视点!诉讼离婚中一方不同意怎么办?离婚孩子六周岁归谁抚养?
- 每日资讯:如何配置Tomcat服务器环境?tomcat启动闪退是什么原因?
- 赛季十大“名画”:追梦拳击+踩踏 詹姆斯跪地 库里怒摔牙套|环球快讯
- 债券的利息是固定的吗?债券的本质到底是什么?
- 世界即时:如何选择固定收益类理财产品?固定收益类理财产品是基金吗?
- 如何打开联想笔记本电脑的电源管理?联想笔记本保修期几年?
- 终于官宣SUMMER离队,PERO与4AM皆满意,左梓轩为冠军最后一搏
- 【世界独家】福布斯中国发布最佳CEO排名谁是第一?福布斯排行榜是什么排行榜?
- 梦幻西游手游暗影龙任务怎么接?梦幻西游手游暗影龙怎么打?_快资讯
- 乙类乙管后首个暑运旺季,民航局预计火过疫情前的2019年-每日消息
- 牛市和熊市看什么指数判断?牛市能翻多少倍?-速讯
- 焦点速读:《腐烂国度3》实机预计未来18个月内公布
- 日媒:日本最大在野党提交对岸田内阁不信任案
- 复刻版本是什么意思_复刻版 全球视讯
- 南方属于哪个五行?南方五行属什么颜色? 环球今亮点
- 全球热推荐:交易19号签!勇士过去3年伤透心 高管谈追梦普尔内讧:我们尽力了
- win7设置动态桌面壁纸的方法是什么? 电脑动态锁屏画面设置方法是什么?
- 如何卸载microsoftedge浏览器?microsoftedge浏览器兼容性怎么设置?
- C视频·“遗”探究竟①∣“活化石”藏戏进校园,壤塘非遗焕发青春活力 环球即时
- 股票涨8个点是多少?股票为什么一天能涨20点?|资讯推荐
- 某酸奶称从百岁老人肠道采集益生菌惹争议 酸奶益生菌真的有用吗?_全球今头条
- 驱动人生有什么用?驱动人生和驱动精灵哪个更好?_环球新消息
- 资观帮忙(47)|村民:集资修路为何5年未动工 镇政府:已提上日程 预计年底前建成投用
- 青农商行20亿欠款追讨不利!占净利润90% 对方无可供执行财产
- 乔巴第几集出现?索隆含泪吃下果实是哪一集?_世界热资讯
- 曼联4000万天才引英超四队争夺!滕哈格考虑出租,若青木回归必走
- 魔兽世界黑暗符文哪里刷?魔兽世界黑暗符文有什么用? 当前简讯
- 夏朝建立时间自今多少年?夏朝建立时间介绍|要闻
- 280多万件文物实现数字化、建设数字交易平台……山东在数字赋能文化“两创”方面有何亮点?
- 白车漆面有黄点怎么处理_去除白色车小黄点妙招 天天微速讯
- 无法连接至dota2网络 dota2无法连接至互联网
- 天天微资讯!白银投资锁仓的原因是什么?白银投资锁仓会有哪些坏处?
- 【环球快播报】安徽省蚌埠市“四个聚焦”助推智能传感产业高质量发展
- 蝙蝠身上插鸡毛歇后语的图片_蝙蝠身上插鸡毛歇后语
- 梓怎么读梓拼音是什么(梓字组词有哪些) 新要闻
- 尾盘集合竞价规则是啥? 尾盘拉升究竟意味着什么?
- 李嘉诚公司被唱空怎么回事?沽空和做空的区别在哪?|天天热资讯
- 世界观热点:Win10电脑怎么阻止系统自动安装软件?电脑无法安装软件怎么处理?
- 招商引资 绥芬河木业产业链条不断延长
- 笔记本电脑cpu温度过高怎么办?夏天笔记本cpu多少度正常?
- 618活动优惠返利卡 天天观速讯
- 1980年1角纸币一张值多少钱?1987年2分硬币最新价格回收多少?
- 历史上谁发现了新大陆?新大陆是谁命名的?|今日热搜
- 什么是卖空机制 股票做空是个什么概念?|环球滚动
- 鲁大师显卡排名知多少 鲁大师显卡排名天梯图|今日播报
- 5月份国民经济继续恢复 住宿和餐饮业生产指数同比增长近四成|环球快看
- 苟全性命于乱世不求闻达于诸候的意思 苟全性命于乱世不求闻达于诸侯翻译 看点
- 全球球精选!最终幻想7核心危机重聚配置要求高吗?最终幻想7核心危机重聚魔晶石怎么合成?
- 火焰原子吸收分光光度计供应商_原子吸收分光光度计原理结构_头条焦点
- 电脑中病毒了的解决方法有哪些? 电脑中木马病毒会出现什么情况?
- 牛市来了股票平均能翻几倍呢?股市怎么判断是牛市还是熊市?_当前消息
- 河南省实验小学地址_河南省实验小学官网
- 世界看点:我国首艘全新智能FPSO成功交付
- 轧盖机是怎么操作的?轧盖机怎么调整轧盖头?|当前动态
- 什么叫水平投影?ps怎么做折角投影效果?
- 以文促旅,以旅彰文 乌鲁木齐加速文旅融合赋能高质量发展_环球热点
- 同比下降的通用计算公式是什么?数量同比下降率怎么计算?
- 京东上没带自营的授权专卖店靠谱吗?和自营店哪个好?
- 【环球播资讯】三星buds2pro怎么开启佩戴测试?三星buds2pro如何配对新设备?
- 实施销售假药行为的行政处罚有哪些?销售假药罪的认定标准是什么?
- 全球热点!他们是纯正血统的汉族人,人口达1亿,只说古汉语,虽难懂但好听
- 宽带网账号忘了怎么查_宽带帐号忘了怎么查询
- 手机无法连接电脑怎么办?电脑无法识别手机usb设备怎么办?
- 环球播报:元气骑士纯试炼之地怎么过?元气骑士试炼之地怎么开启?
- 一国有大行今起下线这项功能!
- 网上怎么选车牌号 网上选车牌多久能拿到车牌?
- 功率因数角怎么计算?功率因数角的范围 环球微速讯
- 苏州外地人购首套房无需社保证明吗?苏州买房首付最低多少?
- 手机问题:OPPOReno5Pro游戏空间怎么设置
- fn键是什么意思?Fn键不能用怎么办?
- 当前快报:车玻璃被冰雹砸了保险能赔吗?冰雹砸坏汽车保险赔吗?
- chipset指的是什么?chipset的作用功能是什么?
- 交通事故诉讼管辖地如何确定?交通事故人身伤害诉讼时效有多久? 每日精选
- 储户办理定期存款选择自动转存好还是不选好?定期存款如何办理 世界热消息
- 美联储加息对其它国家有影响吗?美联储加息会对黄金价格有影响吗?
- 展销会是什么意思?展销会的含义
- 翡翠什么颜色最值钱?最贵的翡翠原石大概在多少钱? 关注
- 赤壁之战谁赢了? 刘备伐吴怎么失败的?_全球新资讯
- 每日速读!天龙八部跑商怎么跑?天龙八部跑商玩法是什么?
- rar文件右键没有解压怎么办? zip解压缩找不到文件解决方法是什么? 天天资讯
- 翡翠玉和田玉哪个更好?红翡和黄翡翠值钱吗?_每日观点
- 钻石的基本知识有哪些?白金钻石戒怎么保养?-当前热点
- 标签指的是什么含义? 标签的种类包括哪些内容?
- 德勤员工举报违规怎么回事?德勤被罚没2.1亿余元停业3个月吗?
- 在QQ中怎么进行投诉或者进行反馈?手机qq已删除好友在哪里能找到?|热文
- dns是什么意思?dns网络服务器未响应是什么原因?
- 网购合同的管辖权怎么确定?网络购物合同的生效时间是什么?