真理报：照片随便拍 光影任意调 MIT谷歌新研究器材党看了会沉默

本篇文章1490字，读完约4分钟

金磊发自凹非寺

量子比特报道|公众号qbitai

说到摄影，“光影”不太重要。

毕竟，大师们的摄影作品多是“光”和“影”的旋钮。

△来自俄罗斯摄影师乔治·梅耶

最近，mit与Google等合作，在神经网络中提出了“光照”的新方法，大幅度降低了“光影”作为捏取阈值的神经光传输( nlt )。

例如下图所示，只要拍摄人物的照片，无论背景如何变化，都可以相应地调节人物的“光影”。

去背景后的“ai打光”的效果更明显了。

而且有这样的东西。

虽说产生了“光照”的效果，但这种画风就像…地狱一样。

言归正传，继续谈nlt这个技术。

nlt——掌握光明的好手

光传输( lt )可以描述在一个场景中物体以不同的光和方向出现的情况。

通过完全了解一个场景的lt，也可以在任意照明下进行新的视图合成。

因此，mit和Google的研究者基于图像lt收集(以人体为中心)，提出了学习lt神经表现的半参数深度学习框架，被称为nlt。

通常，nlt可以单独、单独或完成以下两项任务:

使用定向光或hdri贴图重新照明场景中的光的真实性。

合成具有视图依赖性效果的新视图。

让我们看看nlt在不同任务中的效果。

首先是“定向重新命中”( directional relighting )。

可见人物在光线变化下影子和高光的变化非常自然。

接下来，基于“背景图重新打印”( image-based relighting )。

虽然可以从背景图粗略地评价光源(太阳)的方向，但是随着背景图的旋转，人物的影子也会发生变化。

最后，“视图合成+同步光源”( view synthesis &； simultaneous )。

除了视觉效果惊人之外，从定性的角度来看nlt的做法也取得了良好的效果。

例如，“redlighting”任务与其他基线方法相比，在psnr和ssim指标上都取得了最先进的结果。

同样，在“视图合成”任务中，nlt的结果也相当好。

那么，nlt具体是怎么实现这样的效果的呢？

nlt模型:“查询”、“观察”两步

nlt的模型互联网主要由两个路径构成，分别是查询路径和观测路径( observation path )。

“观测路径”是以附近的k个观测值为输入，对目标光和注意方向的周围进行采样，将它们编码为多尺度特征，为了消除对其顺序和数量的依赖而汇总的。

然后，这些聚合特征连接到查询路径的特征激活。

此路径以所需的光和注意方向以及物理上正确的disue base作为输入。

查询路径预测添加到diuse base以生成纹理渲染的残差贴图。

最后，通过将深度神经网络嵌入uv纹理空之间，可以合成与可见光线和视听立场相应的纹理空之间的rgb图像。

华人哥哥一作

这项研究的第一个作者是来自麻省理工的博士生张修明。

张修明现在是mit计算机科学和人工智能实验室( csail )，从事计算机视觉和计算机图形行业的工作，特别对再照明、视图合成和材料建模感兴趣。

另一个主要作者是sean fanello。

sean fanello既是研究科学家，也是谷歌的经理，在谷歌领导容量性能捕获的领域工作。

研究的有趣之处是数字人、体积重建、优质的深度传感和非刚性跟踪。

最后，项目最近成为开源项目，感兴趣的朋友继续关注以下参考链接的新闻更新。

参考链接:

nlt.csail.mit.edu/

结束了

本文是网易信息网易号特色复制激励计划账户【量子位】原始复制，未经账户授权，禁止擅自转载。 原标题:“照片随便拍，“光影”由我任意调整，mitGoogle新研究，器材党老法师看着默默无闻”