原标题：视频 | 论文最爱的变分自编码器（ VAE），不了解一下？
雷锋网按：喜欢机器学习和人工智能，却发现埋头苦练枯燥乏味还杀时间？这里是，雷锋字幕组编译的Arxiv Insights专栏，从技术角度出发，带你轻松深度学习。
原标题 Variational Autoencoders
翻译 | 赵萌 陈世杰 字幕 | 凡江 整理 | 林尤添 编辑 | 吴璇
一般的自动编码器
首先介绍一般的自动编码器，对于自动编码器，它是输入某种数据，例如说图片或者高维向量，只要运行起来，数据通过神经网络运算就会被尽量压缩成更小的特征值。
这个过程有两个主要部分组成。
第一部分叫做编码器：编码器只是一层层的，它们可以是完全连接的层或者是卷积层。卷积层把输入数据压缩成特征值，这就比输入的数据具有更低的维度，这个就是bottleneck（瓶颈）。然后从bottleneck开始再一次用完全连接层或者卷积层来重构输入数据。
然后是训练的第二个部分：自动编码器会简单地根据解码网络重构数据，并简单计算重构损失。然后通过输入数据跟输出数据进行逐个像素之间的对比，我们可以创建一个损失函数然后训练网络来压缩图片。显然你可以使用全连接的简单编码器，但你也可以用卷积层置换出来，比如在处理图片或者音频的时候。这样做的作用是，当训练一个卷积网络去编码，解码一堆图像，实际上在创建一种全新的压缩算法。
如果把这项技术用于MNIST手写数字识别那将会很有趣，你会看到一些隐藏的特征值节点实际上学到了什么。如果我们改变隐含层特征规模，我们只用2个特征，意味着网络中间的bottleneck只有2个变量，似乎我们能够重构它们，但它们失真严重。失真的原因是你强行把整个图片所有的信息压缩成仅有的2个变量，那当你重构的时候就会失去一些细节。如果用更高维度的隐含层就可以重构一个更加清晰，更具锐度的图片，但在bottleneck里需要更多信息。
在自动编码器里有一些小技巧可以用来实现一些奇妙的东西。想象一下，本来是普通的MNIST手写数字识别的数据集，它清晰又明了，但加入一系列噪音以后，再对噪音图像进行计算，经过编码网络和bottleneck然后尝试重构图像，但不是重构噪音的图像，而是重构原始的清晰图像。用这些噪音跟清晰的数字训练这个网络，让编码器准确地得到噪音的边缘，这就是我们所说的降噪自动编码器。
举个例子，在一个无噪音输入图像中简单截取一个矩形区域删去这个区域，把这个图像输入网络里，尝试重构这个原始的完整图像，这个技术就是所谓的神经网络修复。也就是说你可以选取一小部分图像然后删掉再要求网络重构在原来的图像里是什么东西，用这个方法你可以做一些简单的事情例如移除图像水印，而且当你在拍一部电影的时候你也可以用这个网络移除入镜的汽车。
变分自动编码器
在有了常规自动编码器的基本概念之后，接下来介绍一下变分自动编码器。变分自动编码器的作用不是重构一个输入的图像，变成固定的向量，也不是把输入数据变成某种分布。在变分自动编码器里有一点不同的就是，你的常规深度向量C被两个独立的向量代替，一个代表分布的平均值，另一个代表分布的标准偏差，你需要一个向量联通。所以你的编码网络唯一要做的就是在分布里提取样本输入解码器。然后训练变分自动编码器的损失函数。
函数实际上包括2部分，第一部分代表重构损失这几乎跟自动编码器一样，只是多了个期望值运算符，因为我们要从分布里采样。损失函数的另一部分是相对熵，需要确定的是要学习的分布跟一般正态分布的情况不要差太远，然后尝试让你隐含层的数据分布平均值接近0标准差接近1。
分离变分自动编码器
在进行下一步之前，看一下使用变分自动编码器能得到的可见结果。有一类新的变分自动编码器有很多有价值的结果，它们叫分离变分自动编码器。分离的含义是，当你想确定在隐含层分布中不同神经节点的差异时，会发现它们不相关，因为它们都在学习关于输入数据不同的东西。所以为了实现这一步，你唯一要改变的就是在损失函数里加一个超参数，衡量这个相对熵能在损失函数里占多大分量，所以在分离版本里自动编码器将会只用一个有价值的特别的隐藏参数，如果对压缩没价值就仍然依照着原来的模式。
作者在Deepmind实验室环境用的变分自动编码器，让你看到三维世界里一个agent发挥了作用，它们压缩输入图像，在两个隐藏空间里能看到agent，它们会重构这个空间，但你也可以开始改变隐藏变量然后看看对重构有什么影响。结果就是，如果你用分离变分自动编码器改变隐藏变量，实际上相当于一些非常有解释性的东西。能看到改变第一个隐藏变量，实际上改变了楼面的颜色，但仅此而已，然后另一个隐藏变量对应于转向左边还是转向右边甚至能改变旋转量，跟对象的特征agent形成了对比。如果不分离的情况下改变了任何隐藏特征值，图片里所有东西都开始燃烧这样并不知道隐藏向量正在编码什么。
这里是另一个例子如果你改变前面提到的隐藏空间的第一个变量脸部就会旋转。如果你对普通变量做同样的事或者对脸编码，也会旋转但会看到很多其他性质也会改变。
所以分离变分自动编码器的必杀技就是，有一种网络可以从高维空间提取有用的常规特征并且利用起来，对于某些学习性任务想做的就是这些学到的特征，将对训练数据的框架形成概念。
一个人们常用的领域，例如说强化学习，因为强化学习的整个问题就是你有非常稀疏的奖励，它耗费很多时间去训练，所以通过使用这个变分自动编码器作为某种特征提取工具，希望能够真正地在隐藏层上运行agent达到压缩特征值的目的，而不是在整个输入空间所以在实践中这样做是非常平衡的。
如果你把隐藏空间分得太细你的网络就会过拟合因为你给它太多的自由，它可以学习如何重构你输入的训练数据，但它无法概念化一些在新情况下看不到的数据，另一方面，如果你分的太粗你实际上失去了许多在输入数据中准确定义的细节，它们会在很多应用中损害性能。因为最后我们希望训练一个agentagent能够通过压缩大量信息理解世界，然后在隐藏空间学习有用的行为。
参考文献：
Disentangled VAE's (DeepMind 2016)
https://arxiv.org/abs/1606.05579
Applying disentangled VAE's to RL: DARLA (DeepMind 2017)
https://arxiv.org/abs/1707.0847
Original VAE paper (2013)
https://arxiv.org/abs/1312.6114
雷锋网相关文章:
深度学习全网最全学习资料汇总之模型介绍篇
Yann LeCun最新研究成果：可以帮助GAN使用离散数据的ARAE
相关：
京东金融发布零售信贷全流程产品北斗七星原标题：京东金融发布零售信贷全流程产品北斗七星 雷锋网3月23日报道，今日，京东金融在北京发布了零售信贷业务全流程的产品“北斗七星”，旨在帮助中小银行提升零售信贷效率，主要表现在两点：缩短业务筹备期、增强获客能力。 据介绍，“北斗七星”包括信贷平台、量化营销、智能身份识别、智能信贷系统、大数据风控、ABS资产云工厂、风险运营七大模块，帮助银行打造前、中、后端平台，涵盖从系统搭建到获客、风控、用户..
联发科CFO发言人否认：并没有和博通方面谈并购原标题：联发科CFO发言人否认：并没有和博通方面谈并购 中关村在线消息：前几天，各科技达人与媒体疯狂转发关于“博通和联发科商谈并购事宜”新闻。不过今天，联发科CFO兼公司发言人DavidKu（顾大为）接受日经新闻采访时表示，传言是毫无根据的，公司并没有和其他科技巨头就收购展开洽谈。 联发科否认将与博通并购 前不久，由于美国总统特朗普一句话让“半导体界最大并购案”失效。博通公司宣布，已经撤回并终止了收购高通..
推荐 | 最棒的30个机器学习实例原标题：推荐 | 最棒的30个机器学习实例 雷锋网按：本文为雷锋字幕组编译的推荐系列，原标题30 Amazing Machine Learning Projects for the Past Year (v.2018)，作者为Mybridge。 翻译 | 安妍 整理 | 凡江 在过去的一年里，我们比较了近8800个机器学习开源项目选出了其中最棒的30个 (几率只有0.3% )。 这是一个非常具有竞争力的名单，名单是从2017年一整年间发布的最佳的开源机器学习库，数据集和..
推荐 | 关于Python的20个关键词和45个最佳案例原标题：推荐 | 关于Python的20个关键词和45个最佳案例 雷锋网按：本文为雷锋字幕组编译的推荐系列，原标题Python Top 45 Articles for the Past Year (v.2018)，作者Mybridge。 翻译 | 马雪洁 校对 | 凡江 自2017年1月至12月，我们比较了18000篇关于Python爬虫的案例，并挑选其中最棒的45篇。 这是一份具有十分竞争力的榜单。根据机器学习所实践的内容质量和各种人为因素（包括共享量和阅读量）进行..
共享军民融合发展战略机遇 共赢“一带一路”建设成果原标题：共享军民融合发展战略机遇 共赢“一带一路”建设成果 本报讯 （记者 郭欣） 3月23日下午，我市与新甬商明州班代表团举行交流座谈会，省委常委、市委书记王永康，新甬商明州班班长、宁波埃美柯铜阀门有限公司董事长沈国强出席并讲话。 毛磊、丰华、陆暾峰等企业家代表发言，市委常委、市委秘书长卢凯参加，副市长李元主持并介绍我市经济社会发展和投资环境，工信委负责人介绍军民融合发展情况，航天基..
将服务和特色做到极致 让更多人感受西安的惬意与诗情原标题：将服务和特色做到极致 让更多人感受西安的惬意与诗情 关中民居的古朴建筑、田园主题的情怀、抢眼的空中鱼池、时尚的城墙客舍……随着大西安农民节的举办，“西安十佳特色民宿”备受大家关注，也被更多市民知晓，这些各具特色的民俗负责人纷纷表示，将珍惜这份荣誉，继续做好服务，让来自各地的游客感受到西安的惬意与诗情。 印象南湖 千年皇城与现代都市缤纷交汇 店长马亚妮感言：能够入选..
农民是未来历史的主要绘图者原标题：农民是未来历史的主要绘图者 首届大西安农民节上，最重要的一项活动内容就是“十佳”系列的颁奖典礼。获得“十佳”称号的100名代表，身披获奖绶带，面带笑容，分批次地走上了红地毯，在题名墙前合影、题字留念。 一次性评选出以农业、农村、农民为主题的十个系列的“十佳”代表在西安历史上还是首次，这充分说明了市委、市政府对乡村振兴、农业发展、农民富裕的重视，西安农业也将以农民节的举办为契机，..
志愿者呼吁市民加入绿色生活原标题：志愿者呼吁市民加入绿色生活 本报讯 （记者 高乐） 全球规模最大的环保公益行动——“地球一小时”就在今日20：30～21：30，届时你会和大雁塔、钟楼、长安塔等地标性建筑一起行动吗？昨日，志愿者走上街头，呼吁大家一起加入“60+”的绿色生活。 昨日，碑林区、高新区、阎良区、蓝田县的环保志愿者们分别走向街头，开展了以“开启绿色生活 建设美丽西安”为主题的“地球一小时”环保宣传活动。现场向..
丝之端原标题：丝之端 ◎柏 峰 丝绸，真是非常了不起的发明，直接的作用是把人类的衣服材质由树叶、毛裘和麻织品等解放出来，可以做成轻暖或者凉爽且色彩斑斓的衣服，更为重要的是，在纸张没有出现之前，丝绸是质料非常好的文化载体——可以在丝绸上绘画和书写，用于记载人类的思想和历史进程以及表达情感与传递信息。可以想象，在几千年前，人类就开始很“奢侈”地使用如此豪华的“纸张”，真令人羡慕不已。遗憾的是..
全国高校陕西校友会 羽球赛开拍原标题：全国高校陕西校友会 羽球赛开拍 本报讯 （记者 王瑞） “乐享体育杯”2018第二届全国高校陕西校友会羽毛球赛今天将在高新四路嘉龙大厦欣金岳羽毛球馆开幕。全国40所高校在西安的校友会代表队，共800多名羽球爱好者将展开角逐。 本届赛事由全国高校在陕校友会主办，陕西乐享体育产业有限公司冠名承办，赛程共计4天，分别是3月24日、25日，3月31日、4月1日，将通过百余场角逐产生16强、8强，直至决出冠..