原标题：只需2张照片就能2D变3D，这个AI能自己脑补蜡烛吹灭过程，一作二作均为华人
2张废片啪地一合！
错过的精彩瞬间立刻重现，还能从2D升到3D效果。
看，小男孩可爱的笑容马上跃然浮现：
吹灭生日蛋糕蜡烛的瞬间也被还原了出来：
咧嘴笑起来的过程看着也太治愈了吧~
咱就是说，这回相机里熊孩子/毛孩子的废片终于有救了！
而且完全看不出是后期合成的效果，仿佛是原生拍摄的一般。
这就是谷歌、康奈尔大学、华盛顿大学最近联合推出的成果，能只用2张相近的照片还原出3D瞬间，目前已被CVPR 2022收录。
论文作者一作、二作均为华人，一作小姐姐本科毕业于浙江大学。
用2张照片正反向预测中间场景
这种方法适用于两张非常相似的照片，比如连拍时产生的一系列照片。
方法的关键在于将2张图片转换为一对基于特征的分层深度图像 （LDI），并通过场景流进行增强。
整个过程可以把两张照片分别看做是“起点”和“终点”，然后在这二者之间逐步预测出每一刻的变化。
具体来看，过程如下：
首先，将两张照片用单应矩阵（homegraphy）对齐，分别预测两张照片的稠密深度图。
然后将每个RGBD图像转换为彩色的LDI，通过深度感知修复背景中被遮挡的部分。
其中，RGB图像即为普通RGB图像+深度图像。
之后用二维特征提取器修复LDI的每个颜色层，以获取特征层，从而生成两份特征图层。
下一步就到了模拟场景运动部分。
通过预测两个输入图像之间的深度和光流，就能计算出LDI中每个像素的场景流。
而如果想要两张图之间渲染出一个新的视图、并提升到3D，在此需要将两组带特征值的LDI提升到一对3D点云中，还要沿着场景流双向移动到中间的时间点。
然后再将三维的特征点投影展开，形成正向、反向的二维特征图及对应深度图。
最后将这些映射与时间线中对应时间点的权重线性混合，将结果传给图像合成网络，就能得到最后的效果了。
实验结果
从数据方面来看，该方法在所有误差指标上，均高于基线水平。
在UCSD数据集上，这一方法可以保留画面中的更多细节，如（d）所示。
在NVIDIA数据集上进行消融实验表明，该方法在提高渲染质量上表现也很nice。
不过也存在一些问题：当两张图像之间的改变比较大时，会出现物体错位的现象。
比如下图中酒瓶的瓶嘴移动了，不该发生变化的酒杯也摇晃了起来。
还有照片如果没有拍全的地方，在合成的时候难免会出现“截肢”的情况，比如下图中喂考拉的手。
相关：
10万辆Model 3、Model Y存平安隐患 特斯拉打算召回凤凰网科技讯 5月16日下午消息，国家市场监督管理总局官网信息显示，特斯拉（上海）有限公司根据《缺陷汽车产品召回管理条例》和《缺陷汽车产品召回管理条例实施办法》的要求，向国家市场监督管理总局备案了召回计划。自2022年5月23日起，特斯拉将召回生产日期在2021年10月19日至2022年4月26日期间的部分国产Model 3、Model Y电动汽车，共计107293辆。本次召回范围内的部分车辆在准备直流快速充电时或在直流快速充电期间，信..
特斯拉Q1在美国注册量同比暴增59% Model Y最受接待IT之家 5月16日消息，Experian 数据显示，第一季度美国销量排名前十的电动汽车车型的总销量为142811辆，其中特斯拉 Model Y 以 52051 辆的销量位居榜首，Model 3、Model S 和 Model X 分别排在第二、第三和第七位。今年第一季度，美国电动汽车的注册量激增。在美国，电动汽车目前占比已达轻型汽车市场的4.6%。据《汽车新闻》报道，数据公司 Experian 报告称，第一季度美国注册了158689辆电动汽车。据估计，特斯拉..
66亿造车圈套剧终：留下一堆老头乐 幕后主使携款逃亡美国一则拍卖公告，将一个消失已久的汽车品牌再次拉入大众视线：江苏赛麟，那个曾烧56亿元造老年代步车的造车新势力，被江苏南通中级人民法院，以23.78亿元人民币起拍价拍卖。正式竞拍时间，5月30日。至此，赛麟汽车，背后一场复杂的新能源汽车造车大骗局，终于写到了尽头。而这场惊天骗局的幕后策划者王晓麟，也像贾跃亭一样远遁美国。但不同于贾跃亭的「下周回国」，王晓麟留下的最后一句话：回国毫无意义。一场惊天骗局？江苏赛麟..
5月16日6时至12时 天津新增22例阳性传染者记者从天津市防控指挥部获悉，5月15日6时起，该市开展了全市全员核酸检测，已全部完成检测，共发现20∶1混管阳性17管（北辰区8管，东丽区9管）。截至12时，经单人单采复核检测及密接、次密接风险人员追踪排查，共发现26例核酸阳性感染者（其中4例已报道，6时至12时新增22例），其中新冠肺炎确诊病例1例（普通型），新冠病毒无症状感染者16例，尚未分型9例，均来自北辰区和东丽区。
朝鲜的游戏财富事实有多发家？任何国家都要搞外宣，就连神秘的朝鲜也不例外。比如，长期以来，朝鲜都在发行一本叫作《对外贸易》的杂志，介绍本国的各类优秀企业与产品。这其中，既有我们熟悉的人参粉和金刚山蜂蜜。也有我们暂时还无法理解的“超远红外线脖子治疗带”和“地球有害波屏蔽体”。而最令人感到意外的，是下面这家名叫“大瀛新左文”的朝鲜游戏公司。根据公司简介所说，该公司已开发了数款优秀的体育类游戏，手游端游都有，深受老百姓欢迎。并且，..
台湾日增新冠确诊病例61697例 新增衰亡病例29例台湾医护人员进行消毒作业（资料图）海外网5月16日电 据台湾东森新闻等媒体16日报道，台流行疫情指挥中心公布，台湾地区新增61697例本土新冠确诊病例，新增死亡病例29例。（海外网 吴倩）
Tony教员即将复工！上海黄浦剃头店已开展洁净消毒工作5月16日，澎湃新闻记者从黄浦区方面获悉，市中心不少美容美发店的留守人员在店内开展了清洁消毒工作，积极为复工复市做准备。5月15日中午，在黄浦区豫园街道的京世沙龙人民路店，留守在店内的五名工作人员正在进行大扫除。工作人员先将地上的垃圾进行清扫，然后将所有工作台、玻璃橱窗上的灰尘擦干净，最后用消毒液对整个店内进行无死角消毒。理发店已开展清洁消毒工作理发店已开展清洁消毒工作工作人员介绍，自从区域封控以后，..
亚速钢铁厂10名乌军持白旗战胜钦佩【#亚速钢铁厂10名乌军持白旗投降#】据今日俄罗斯电视16日报道，10名乌克兰军人手持白旗走出亚速钢铁厂的地下设施，向俄方投降。#俄乌局势#（总台记者王德禄）
日本最古老中餐厅因疫情且则破产 15年常客：很是失踪落日本《读卖新闻》报道截图海外网5月16日电 据日本《读卖新闻》网站16日报道，受新冠疫情影响，日本最古老的中餐厅聘珍楼横滨总店于当地时间15日暂时停业。聘珍楼方面表示，很早之前就计划搬迁，因疫情原因提前进行闭店，目前新店地址和开店时间还未确定。在15日闭店当天，很多日本民众依依不舍，纷纷前往餐厅和店员拍照留念。一名15年的常客遗憾表示，“感觉非常失落。”聘珍楼创立于1884年，是日本国内最古老的中华料理店，也..
美专家警告：不要宣传枪手细节，否则模拟犯罪将更多【文/观察者网 王世纯】美国纽约州布法罗市（又叫水牛城）发生一起大规模枪击案再次震惊了美国，然而，更加震惊美国的，是嫌犯佩顿·根德隆在枪击前发布了一部长达180页的PDF，名为《自白书》的“杀人宣言书”。这份宣言书中充斥着白人至上主义、反犹主义、新纳粹主义的思想，甚至宣言书的封面都是“黑太阳”等新纳粹标志。这一行为引发美国网民的激烈讨论和恐慌，路透社在15日的报道中援引美国犯罪学专家的警告称，根德隆的行..