MIT CSAIL:从阴影中发现隐藏的视频

一组研究人员显示，他们可以通过观察附近可见区域的光照变化来恢复在隐藏场景中发生的运动视频。他们观察观察到的区域对阴影和阴影的间接影响。

利用阴影获取信息是非常有价值的。研究小组发明了一种新的人工智能算法，它可以帮助摄像机“看到”仅使用移动阴影的非摄像机物体。

他们的方法可以根据隐藏的阴影来重建隐藏的视频。其结果是，您可以估计隐藏的视频是什么样子。

希拉里·格里戈尼斯(HillaryGrigonis)在“数字趋势”(DigitalTrend)杂志上用一个有趣的比较来描述他们的研究怎样做？“.计算机看到了兔子形状的阴影，然后就能够对创建该阴影的物体进行估计。计算机不知道该物体是什么，但可以提供形状的大致轮廓。

从一开始，他们就有兴趣解决在其视野之外开展活动的问题。

还有更多关于麻省理工学院CSAIL(计算机科学和人工智能实验室)项目的信息，网址是compmirrors.csar.mit.edu和GitHub。

作者们考虑了他们的研究的价值：“我们已经证明，杂乱的场景可以在计算上变成低分辨率的反射镜，无需事先校准。”只需输入一个可见场景的视频，就可以恢复隐藏场景的潜在视频以及光传输矩阵。

“我们发现，”他们说，“仅仅要求一个CNN(卷积神经网络)可以很容易表达的潜在因素就足以解决我们的问题，让我们完全绕过挑战，比如对场景的几何和反射特性的估计。”

12月6日，他们的视频名为“计算镜：揭露隐藏视频”。迈克尔张在PetaPixel总结了他们在视频中所做的事情。“麻省理工学院CSAIL的科学家们分享了他们如何用照相机对准一堆物体，然后拍摄那些物体上的阴影，这些阴影是由一个人在相机外移动的。”

视频字幕进一步指出，他们的方法也可以从阴影中重建真人表演的轮廓。结果至少包括颜色和运动。张先生评估了他们能做些什么。“人工智能分析了阴影，并能够重建一个模糊但非常准确的视频，说明这个人用他们的手在做什么。”

潜在的应用？视频说明：“通过进一步改进，这种方法可以让自动驾驶汽车探测到隐藏的障碍。

麻省理工学院CSAIL的RachelGordon谈到了其他可能性：老年护理中心为居民的安全着想；搜救小组在必须在危险和有障碍的地区航行时利用了这一点。

总之，研究人员已经采取了一条有趣的途径来获取超出视线范围的信息，但麻省理工学院的其他人在某种意义上已经做到了这一点。七年前，麻省理工学院研究人员关注的焦点是正常视线以外的场景，CSAIL的戈登说，然后他们使用激光产生三维图像。

然而，在最新的研究工作中，研究小组想看看他们不用特殊设备就能达到什么目的。戈登引用了这方面的首席研究员的话。MikaAittala说：“使用激光这样的非视线成像设备，你可以取得相当大的成就，但在我们的方法中，你只能接触到自然到达相机的光线，并且尽量利用其中的稀少信息。”

想想解译挑战是对这些照明线索进行解译和理解。思考算法。Gordon写道，该团队的重点在于通过指定算法来打破歧义，即他们想要一个与真实世界的阴影和阴影相对应的加扰模式，以发现隐藏的视频，这些视频看起来像它具有一致移动的边缘和对象。

她解释说，他们的算法同时训练两个神经网络。“一个网络产生置乱模式，另一个网络估计隐藏视频。当这两个因素结合起来再现杂乱记录的视频时，网络就会得到回报，从而促使它们用可信的隐藏数据解释观测结果。”

他们的论文名为“计算镜：基于深度矩阵分解的盲逆光传输”，这篇论文是在arxiv上进行的。作者是Mika Aittala、PrafulSharma、Lukas Murmann、Adam Yedidia、Gregory Wornell、William T.Freeman和Frédo Durand。