RAISR:Google的图像压缩黑科技

科技资讯
登陆Google+

早在2016年11月,Google已经将RAISR技术研发完成,希望可以在带宽有限的移动端上展现高清图片。2017年1月中,这项技术已经应用于大多数Google+ 的Android版。Google产品经理John Nack声称,RAISR在Google+上每周处理超过10亿张图片,将这些用户的总带宽节省了约三分之一。

John Nack表示,当使用Android移动设备的用户观看Google+的图片时,Google+会发送一张仅为原图片大小的四分之一的版本,再通过RAISR算法来修复细节。最高时,RAISR可以为用户节省了大约75%的带宽。

iOS端早有集成

早在2016年12月,Google在自家的iOS应用Motion Stills就已经集成了RAISR技术,这其实才是RAISR的首次亮相。彼时,RAISR来改善视频的分辨率,可以自动锐化用户导出的每段视频。

不过,目前尚不清楚具体何时会在iOS移动设备上为用户访问Google+时提供RAISR技术。Nack表示,Google将在未来几周内普及到iOS领域上。

如果用户不想仅仅在Google+中使用RAISR,还得等一段时间。Google计划在未来几个月内将RAISR逐步部署到更多的应用,比如Google Photos。

RAISR实现原理:机器学习、无混叠效应

Google的这项黑技术利用了机器学习,它的效果能达到甚至超过现在的超分辨率解决方案,同时速度提升10~100倍,还能够在普通的移动设备上运行。Google还声称,他们的技术能够避免在重建低分辨率图像中产生混叠效应(aliasing artifacts)。

在“填充”图片时,传统的升采样技术是通过周围已有的像素值计算需要添加的新像素值。这些方法速度很快,但它们并不是在放大图像中显示生动的细节的最好方法。如下所示图片,左图是原始图片,右图是经升采样处理后的图片,看起来很模糊,远不能称之为画质提升。

RAISR与它们不同之处在于,它采用了机器学习,用一对低品质和高分辨率图片进行训练的系统,因此它知道如何重建应用于低分辨率图片中的每个像素的过滤器,生成媲美原始图片的细节。RAISR选择最佳方式来增强低分辨率照片中的每个“像素邻域”,以创建更多的分辨率。换句话说,RAISR使用它从其他照片中学到的东西,以便有根据地猜测每个丢失像素区域中的高分辨率版本应该是什么样子。

Google表示:“当这些过滤器应用于较低分辨率的图像时,它们会重现出相当于原始分辨率的细节,这大幅优于现行、双三(Bicubic)、兰索斯(Lancos)的解析方式。”

上图是原始图片,下图是经RAISR放大后的图片。

左图是原始图片,右图是经RAISR放大后的效果。

以下是RAISR与Bicubic比较的一组示例:

左边为Bicubic处理的图片,右边为RAISR处理的图片。

此外,RAISR可以消除照片中的混叠效应,如莫尔条纹(Moire patterns)和锯齿,恢复照片的原始结构。如下图,左边是低分辨率的原始图片,3和5都有很明显的莫尔条纹,这就是混叠效应;右图是用RAISR算法恢复的图像。

左图为原始图像,右图为RAISR消除莫尔条纹的图片

Google声称,这种技术在未来,除了放大手机上的图片,还可以在低分辨率和超高清捕捉、存储、传输图像,使用更少的移动网络数据和存储空间,而且不会产生肉眼能观察到的画质降低。

继续阅读