快讯 必看 热点 智慧 焦点 观看 推荐 趣味 百态 即时 精选 要闻 追踪 新事 最新 社会 荐闻 一周 视野 综合 滚动 围观 点击 数据 新知 分享 深度 真相

热点

揭秘卷积神经网络热力图类激活映射

来源:http://www.hgfx0088.com编辑:漫展网_互联网资讯_科技资讯 人气: 发布时间:2019-07-23
摘要:目前在可视化方面,我们已经掌握了许多不同的技术。本文将介绍在卷积神经网络(CNN)中,针对图像的某些部位可视化从而做出判断的不同技术。类激活映射(CAM)是一种生成热力图的技术,用于突出图像的类的特定区域。这张图片中,一只猫被红色高亮显示为猫类,表

  目前在可视化方面,我们已经掌握了许多不同的技术。本文将介绍在卷积神经网络(CNN)中,针对图像的某些部位可视化从而做出判断的不同技术。类激活映射(CAM)是一种生成热力图的技术,用于突出图像的类的特定区域。这张图片中,一只猫被红色高亮显示为“猫”类,表示网络在进行分类判断时正在查看正确位置。视觉化神经网络正在查看的位置大有用处,因为它帮助我们理解神经网络是否在查看图像的适当部位,或者神经网络是否在进行误导。下列是一些神经网络在做分类决判断时可能进行误导和错误查看位置的例子:参考:Zech et al. 2018,Confounding variables can degradegeneralization performance of radiological deep learning models.参考:Lapuschkin et al. 2019, Unmasking Clever Hans Predictors and Assessing What Machines Really Learn.这张图显示了有关卷积神经网络可视化热力图的几篇论文之间的关系。文章左上角可见这篇文章的关键——类激活映射(CAM):以下是完整类激活映射论文的链接:Zhou et al. 2016 “Learning Deep Features for DiscriminativeLocalization.”类激活映射背后的原理是利用一种特殊的卷积神经网络结构生成可视化热力图。参考:this post for a review of convolutional neural networks在以上示意图中,可以看到一些通用的卷积层,形成了“倒数第二个卷积层”(即网络中倒数第二层,也是卷积层的最后一层)。在这个“倒数第二个卷积层”中存在K特征图。在这个示意图中,对于特征映射A1、珍·哈露A2和A3, K = 3。全局池化层是通过对特征图中的数字求平均值,从而将特征图转换为单个数字。若有K=3个特征图,则在全局池化之后,我们将得到K=3个数字。这三个数字用上图中的三个小正方形表示:因此,在全局池化中,对特征图Aij的元素进行求和,从i =1到u(全宽),珍·哈露从j = 1到v(全高),然后除以特征图中的元素总数,Z = uv。在执行全局池化后,我们将得到K个数字。通过全连接层将这K个数字转换为分类判断:请注意,为避免混淆绘图,图中并未显示全连接层中的每个权重。实际上,红色数字(由GAP(A1)输出)通过权重连接到每个输出类,绿色数字(由GAP(A2)输出)通过权重连接到每个输出类,蓝色数字(由GAP(A3)输出)通过权重连接到每个输出类。参考:this post for review offully-connected layers.仅看“猫”输出类上,有三个权重,w1、w2和w3,这三个权重将全局池化输出连接到“猫”输出节点。使用上图所示的方程为猫类生成一个分数y^猫,对应于y^猫 = (w1)(红色)+ (w2)(绿色)+(w3)(蓝色)。现在完成了整个类激活映射结构,从输入图像到分类数。最后一步是得到类激活映射可视化热力图,步骤如下:这看起来很像计算y^猫分数的方法,但不同之处在于,我们不是将权重w1、w2和w3乘以特征图Ak上的全局池化层生成的单个数字,而是直接将权重乘以特征图。因此,虽然分数的输出是数。

标签:珍·哈露(11)

版权与免责声明:

凡未注明"稿件来源"的内容均为转载稿,本网转载出于传递更多信息的目的;如转载稿涉及版权问题,请作者联系我们,同时对于用户评论等信息,本网并不意味着赞同其观点或证实其内容的真实性;


本文地址 http://www.hgfx0088.com/a/redian/20190723/54392.html

转载本站原创文章请注明来源:漫展网_互联网资讯_科技资讯