您当前的位置:中国科学网>资讯>正文

淘汰变焦镜头?NVIDIA“计算变焦”靠走就能变焦

放大字体  缩小字体 时间:2017-09-08 23:15:36 来源:新浪科技 作者:陈好

对焦基本靠手,变焦基本靠走,虚化基本靠抖,防抖基本靠肘,测光基本靠瞅,除尘基本靠口,模特基本没有,全因镜头太狗。这是摄影圈里一句耳熟能详的调侃语,可万万没想到的是NVIDIA联合加利福利亚大学拿出了真得靠走的计算变焦技术(Computational Zoom)。

镜头放大率与透视严谨来说“变焦基本靠走“这个句话完全不对,变焦是指改变一个镜头的焦距长短,对于定焦定焦来说焦距是固定,不会因移动而改变,对于变焦镜头来说可调整焦距是一定范围内,也不会因移动改变焦距范围,移动改变的是镜头实时放大率。

镜头上标记的“4.5X”是指最高放大率镜头放大率指胶片/传感器表面所得影像大小与实物大小的比例,放大率有最大值,但无最小值。

当相机不断靠近被摄物时,被摄物所占画面比例越来越大,意味着放大率不断在提高,其效果就像通过镜头变焦提高远处被摄物占据画面空间的比例,所以有了“变焦基本靠走“这句话。

左:24mm定焦镜头,右:17-40mm变焦镜头变焦除了让远处被摄物“变大“外,更重要的价值是用不同焦距的透视效果实现不同的表现效果。下图是一张佳能官方制作的示意图,通过对比能发现即使被摄物(人像)占据的画面比例相近(放大率相近)下,人物形象与背景效果可以是千差万别的。

比如说在16mm下人像是一个”蛇精脸“,背景内容非常丰富,有一个近大远小的透视效果;但在100mm下,人脸的立体感大幅度变小,背景内很小,画面前后空间有一种被压缩的感觉。

NVIDIA联合加利福利亚大学开发的计算变焦技术就是要在镜头焦距不变的情况下,通过”移动“相机、多次拍摄实现不同焦距的透视效果。

计算变焦

计算变焦关键是后期计算,但前期捕捉图像信息同样重要。在2017年里双摄像头是智能手机最火爆的功能,今天大部分双摄像头由一个广角、一个中长镜头组成,成像时两个镜头同时拍摄、中间区域重叠,通过后期处理合成,即可实现类光学变焦效果(见下图)。

这样做好处是不用移动即可改变焦距,可缺点是变焦范围非常小,今天双摄智能手机只能实现2倍类光学变焦,而且要付出两倍的硬件成本。

手机双摄是通过视角差带来图像信息差异来计算出深度信息,模拟光学变焦的效果,那意味是否前后两张图像存在视角差、捕捉的图像信息有差异也可以实现一样效果呢?答案是肯定的,NVIDIA的计算变焦也是这样的做。

即使焦距不变,在拍摄距离改变时也会带来不同的透视效果,图像信息跟随改变。假若相机沿着相机与被摄物之间的连线运动,前后两张拍摄的照片就会存在视角差,被摄物放大率、背景信息就会不同,通过计算就能获得粗略的距离信息。假若运动时拍摄的照片数据足够的多,距离信息就足够精确,这样得出整个场景不同景物的距离,就能实现高倍数的类光学变焦。下图是一张计算变焦后期处理的截图,界面上有两个FOV(视角)、两个Depth(深度)参数可调,FOV用来控制被摄物与背景间的视野范围,Depth用于控制不同被摄物的空间位置,四个参数结合就可以能够实现变焦效果,而且变焦范围非常之大。

计算变焦

计算变焦关键是后期计算,但前期捕捉图像信息同样重要。在2017年里双摄像头是智能手机最火爆的功能,今天大部分双摄像头由一个广角、一个中长镜头组成,成像时两个镜头同时拍摄、中间区域重叠,通过后期处理合成,即可实现类光学变焦效果(见下图)。这样做好处是不用移动即可改变焦距,可缺点是变焦范围非常小,今天双摄智能手机只能实现2倍类光学变焦,而且要付出两倍的硬件成本。

手机双摄是通过视角差带来图像信息差异来计算出深度信息,模拟光学变焦的效果,那意味是否前后两张图像存在视角差、捕捉的图像信息有差异也可以实现一样效果呢?答案是肯定的,NVIDIA的计算变焦也是这样的做。

即使焦距不变,在拍摄距离改变时也会带来不同的透视效果,图像信息跟随改变。假若相机沿着相机与被摄物之间的连线运动,前后两张拍摄的照片就会存在视角差,被摄物放大率、背景信息就会不同,通过计算就能获得粗略的距离信息。

假若运动时拍摄的照片数据足够的多,距离信息就足够精确,这样得出整个场景不同景物的距离,就能实现高倍数的类光学变焦。

下图是一张计算变焦后期处理的截图,界面上有两个FOV(视角)、两个Depth(深度)参数可调,FOV用来控制被摄物与背景间的视野范围,Depth用于控制不同被摄物的空间位置,四个参数结合就可以能够实现变焦效果,而且变焦范围非常之大。


计算变焦后期处理的截图


计算变焦后期处理的截图

由于知道照片中不同景物的距离信息,计算变焦也能实现双摄一样的大光圈焦外虚化效果。可与双摄相比,计算变焦处理的照片数量大幅度增加,运算模式更为复杂,对处理器要求更高。因此NVIDIA是利用自家GPU进行处理的,凭借GPU强大并发处理能力满足计算变焦的需要。


原图

计算变焦+虚化处理的照片,超广视角下虚化效果不是很明显无需增加额外的镜头、CMO传感器成本,计算变焦能把定焦镜头变成变焦镜头,相信很多摄影师都会感动兴奋。

可以今天数码相机运算能力进行计算变焦实在太吃力了,而且拍摄行动路径也不是一直往前走,用计算变焦替代变焦镜头短时内无望,无人机、自动驾驶才是计算变焦真正用武之地。

为了控制重量与兼顾画质无人机大多采用大光的广角定焦镜头,有了数字变焦无人机能轻松拍摄中长焦照片。

在自动驾驶时利用数字变焦可计算出前方景物的距离,而且输出的影像不仅视角宽广、透视扁平化,就像人眼所看一样,这非常利于AI、人眼基于影像判断距离。

“如果发现本网站发布的资讯影响到您的版权,可以联系本站!同时欢迎来本站投稿!