为什么手机拍照可以挑战相机？

月夜安娜

每次新手机发布，都有一波手机摄影要上天的宣传，特别是我们现在用手机拍的日常生活照片越来越精美，这也让更多人确信手机摄影可以挑战相机。相机在拍照方面的优势大家肯定都清楚了，那手机在拍照方面又有哪些优势独领风骚？
编少今天特别邀请到一位AI视觉方面的专家，为大家解读AI算法在手机摄影中的重要应用，也许正是这些功能让手机摄影愈发强大....
为什么手机拍照可以挑战相机
文/启扬
近些年AI技术快速发展，人工智能已经成为了科技界和投资圈最火热的词汇。人工智能是一个相对广义的词汇，而对于摄影行业，计算机视觉则是其中最主要的基础技术。从以下的一个侧面就可以看出计算机视觉发展的火爆，国际计算机视觉与模式识别会议（CVPR）是IEEE一年一度的学术性会议，会议的主要内容是计算机视觉与模式识别技术，而在CVPR 2020年大会论文投稿数已经过万。可能很多朋友不知道CVPR为何物，地位如何。摄影师朋友们可以类比一下，CVPR就是计算机视觉界的国家地理的摄影大赛，而在2020年，国家地理收到了几乎翻倍的投稿，你的作品脱颖而出的概率就降低了一半。
由上可见，这两年计算机视觉相关研究的火爆，而近年来计算机视觉的火爆，与深度学习也就是AI有着相当密切的关系。
也许有人会说，这些看似高深技术对我们的生活有什么影响，对摄影有什么影响？
不知道大家注意到过没有，朋友圈中好看和高质量的照片越来越多了，是你的朋友都来米拍学习摄影了么？
计算摄影学在生活中的重要应用，下文中将会以几个例子为大家介绍。Pixel，iPhone，华为P30/40 系列，OPPO Reno 和find X 系列，Sony 微单。
在技术上Google一直是计算摄影学的重要引领者，以Pixel 系列手机为例，从Pixel2 开始到最近的Pixel4，先后在拍照和视频方面几个重要痛点进行了改善。Google 17年至19年，在Pixel 系列机器先后发布了EIS、HDR+、Super Res Zoom，Night Sight等几个功能。
Google Pixel
防抖
当前不论相机、手机、无人机、镜头的选购，以视频拍摄为例，一款设备的视频防抖功能的好坏，对于众多Vlog拍摄者是非常重要的考量环节。云台设备崛起，与防抖的需求有着非常密切的联系。而防抖中有区分OIS（光学防抖）和EIS（电子防抖），OIS是物理的防抖，EIS则是通过软件进行的防抖处理，会一定程度的损失Fov（视场角），虽然有所损失，但是其效果也是显著的。如下图，google在Pixel 上对视频防抖的改进可以达到什么效果。可以看到基于google Pixel拍摄，同时打开OIS和EIS后，图像的稳定性有了质的提升。
图片来自google blog
按照google 在博客和相关论文中介绍，在拍摄视频时，由于相机、光学防抖和陀螺仪分属不同的传感器，google解决了不同系统间的同步性，结合陀螺仪和光学防抖的信息，以确保它与相机的图像同步。并运用机器学习预测手机会怎样移动，来处理抵消掉常见的视频抖动因素，比如摇晃、果冻效应等。当用户快速移动手机时，算法甚至还能引入虚拟运动，掩饰锐利度的变化。
动态范围
说回拍照，对于风光摄影师而言，改善画质，大家通常的解决方法就是更换机身和镜头。佳能党们从80D换到5D4，从5D4换到1DX。再比如索粉从28mm-75mm f3.5/f5.6 换到 蔡司24mm-70mm f4再到 24mm-70mm f2.8 G Master 。参数上换的更大的画幅，更好的cmos设备，更好的镜头。其实很多时候是为了更好的宽容度和清晰度。
对于宽容度的提升，HDR（高动态范围）这个功能相信大部分摄影师朋友都有所了解，很多风光摄影师在拍摄大光比的场景都会使用包围曝光（比如EV+1 EV0 EV-1 三张图像）再配合Photoshop的后期处理得到一张宽容度更高的图像。如下图通过HDR的处理，得到了高光不过曝，暗部提亮有细节的图像。那么什么是Google 的HDR+呢？
HDR前
HDR后
Google发布的HDR+这个功能，相比于传统的包围曝光获取高动态范围图像的方法，最大的不同就是使用负EV的图像进行融合，负EV的图像由于亮度更低，因此可以使用更短的曝光时间，先填上就减少了由于手持导致的晃动和运动的拖影，使得HDR这种功能在手持和运动场景下的成片率大幅提高，并且对暗态和高ISO场景有了比较强的适应性。与风光摄影师在高动态范围场景拍照“宁欠勿曝”的思想是一样的。

图片来自《Burst photography for high dynamic range and low-light imaging》
其实这样的手法在摄影中也有传统，拍星空的朋友应该都了解堆栈降噪。拍摄时选择一个场景合适的曝光参数，并连续拍摄多张。最后用Lightroom或Photoshop进行一个暗部提亮。这个方式非常复杂和繁琐，需要大量的手工操作。而HDR+其实是借鉴了这种思想并将其完全自动化了，简化了繁琐的手工操作，让普通用户都可以拍出“正确”的照片。
超分辨率与清晰度
说到拍更清晰的图片，我们通常只能换一个高分辨率的机器，比如2400万的Sony A7M3换成6100万A7R4。Super Res Zoom则是有可能帮你省下换机器的大几千块钱同时还能让你拍出来的清晰度接近顶级机型的照片的神技。Super Res Zoom的功能则是借鉴了在天文摄影上，类似的概念“drizzle”，通过捕捉和组合多个细微位置差异的照片可以产生相当于光学变焦的效果，至少在2-3倍的低倍变焦和良好的照明条件下有比较好的效果。当然，功能也是有限制的，多帧超分辨率功能需要满足一些条件。其中最重要的一点，镜头需要比所使用的传感器有更好的细节(举个例子，入门相机比如a5000 配了一个G大师镜头，通过这个方法就可以看到明显的清晰度提升。反之，小痰盂装在1DX上，通过这个方法就不那么适用了)
图片来自google blog
看到这里，可能对Sony相机比较熟悉的朋友会想起A7R4的一个介绍，如下图
图片来自sony 官网
图片来自sony 官网
A7R4安装在三脚架下固定后，通过机身防抖设备，使得CMOS动起来，也达到了相同的功效。
Sony 这个功能与HDR+类似，Super Res Zoom功能对用户而言，就是把以前天文摄影中非常复杂的技术变成了人人都可以使用的功能。
超分辨率和光学变焦配合，在手机这类受到严格体积限制的设备上显得尤为重要，光学变焦近期又被华为发挥的淋漓尽致，2019年华为发布了P30 Pro，提供了5x光学变焦的镜头，而今年更是突破入无人区，推出了10x光学变焦的镜头，配合上超分辨率算法，可以达到100倍的变焦倍率。由于机器（P40 Pro+）还未上市，具体拍摄效果还有待验证。有望拍一个“真实”而清晰的月亮而不是“AI月亮”了。
P40 Pro+ 10倍光学变焦镜头
夜景拍摄
再说到夜景功能，华为开辟了手持夜景的战场，凭借P20 的手持夜景笑傲江湖接近一年，但是Google作为后入的玩家，凭借其强大的计算摄影学底蕴，结合其在HDR+和Super Res Zoom这些功能的积累，虽不说弯道超车，但也用较弱的硬件达到了接近和部分超越的效果。
图片来自Handheld Mobile Photograph
值得一提的是，Google在夜景的白平衡上，相比于其他友商，使用了基于机器学习的方法，对于夜景下白平衡和颜色更接近与真实。
图片来自Handheld Mobile Photograph
说到夜景，噪声也是其中大问题之一，2019年OPPO的夜景 也非常值得一提，从19年Reno 到今年初的Find X2 Pro，一系列机器上其中使用了基于深度学习的降噪算法，该算法是国内AI独角兽之一旷视的算法，并在CVPR 2019 中NTIRE 2019一举夺冠。
NTIRE 2019 真实图像降噪比赛基于最近新提出的智能手机图像降噪数据集（Smartphone Image Denoising Dataset, SIDD），它由很多真实的噪声图像及其相应的 ground truth 组成，且每幅图像都有以原始传感器数据（raw）和标准 RBG（sRGB）格式存储的两个版本。因此，该项比赛分为了两项子赛，分别针对 raw 与 sRGB 图像进行去噪。旷视研究院参战前者，并夺冠。
图片来自旷视官网
而基于深度学习的降噪算法，相比常规的多帧融合降噪，可以使用更少的图像融合，就达到相同的降噪效果，并保留更多的细节。因此也避免了多帧融合中容易出现的鬼影显现，如上图，左图有明显的人物拖影和鬼影，而右边使用reno拍摄则好了许多。
Find X2 Pro DXO Mark 评分 图片来自DX
Mi10 Pro Pro DXO Mark 评分
上图中，也可以看到Find X2 Pro 夜景以65分的优势，领先与Mi10 Pro。
夜景是安卓厂家开辟出来的赛道，在相当长的时间内，iPhone 的夜景效果是弱于安卓厂家的。而在2019年，业界老大哥Apple，在2019苹果秋季新品发布会发布iPhone 11 Pro，也终于推出了deep fusion算法，弥补上了其功能的一个薄弱点。
图片来自网络
图片来自网络
图片来自网络
算法的大体思想和Google的类似，也是基于多图像的融合实现，通过神经网络融合了多图像，使得图像的清晰度、噪声等都有明显改善。
人像分割
另外值得一提的是基于图像分割的技术。在单反上想要获得虚化的效果，必须要一个大光圈的镜头。常规而言，受限于光学设计的难度光圈更大的镜头都相对同焦段镜头更贵（比如24-70 F4和24-70 F2.8）。而当前很多手机前置都是单摄像头却能做的类似单反的背景虚化，这个就是图像分割技术的应用。抠出的人像类似于PS中手动去获取蒙版的过程，人像分割技术就是这一类手工操作的自动化实现。
人像mask
人像分割的另一个应用就是人像的hdr，如华为的nova 6，则曾经在DXO 自拍一项屠榜
图片来自DXO Mark 官网
如上文所说，抛开硬件本身宽容度不谈，通过算法提升动态范围，则必定依赖于多图像的融合。而近距离拍人像，轻微的抖动都会对图像融合产生影响，以导致融合出现重影等问题。因此Nova 6上在图像融合中借用于人像分割的算法，对人物主体进行了保护，并进行特殊处理，防止了HDR中人像融合容易出现的问题。
图片来自DXO Mark 官网
新的AI玩法
AI精彩瞬间
同样也是P40系列，华为推出了AI精彩瞬间的功能，客观上手机抓拍比相机更难，大部分手机用户也不太可能像相机的专业用户一样，连拍一堆图片，去手动筛选最好的那种。这个功能使用了AI技术对图像进行识别，帮用户直接选择最好的一个抓拍瞬间。此功能把握了大部分普通用户的刚需。但AI替代人的审美属于相对复杂的领域，笔者认为这一类功能做到替代人去选择还有很长一段距离需要走。但华为已经又迈出了一小步。
图片来自华为官网
AI去路人
依旧是P40的功能。这一类的需求长期存在，但由于交互设计和算法的复杂性较高，一直没有很好的成品。大家可以想象一下Photoshop里面手动用仿制图章工具的效果，摄影师们在ps路人其实也算是个体力活了。而且用仿制图章或者一些修图软件填充的时候，一般会使用到一个叫做inpaint的技术，此技术是理由周围的信息生成一些以假乱真的内容填进去。
华为则采取了另外的方式，利用前后帧路人是移动的特点，路人在不同时间遮挡的区域不同，在填补的时候避免了生成假信息的操作。虽然利用多帧信息也是常见的思路，但此方式受限条件也多。例如路人移动的范围很小，背景部分区域一直就被遮挡，这方式就不能使用。华为则对此做了一些限制，比如路人是需要大幅移动出画面区域内才能生效，不然就干脆不进行去除了。
图片来自华为官网
AI去反光
AI去反光，是华为这次推出的新功能中，少数已经在手机可以实地感受的功能，可以体现出华为对这项技术的成熟度也是更高的。从大家实际拍摄体验上而言，镜面反光，是广大用户们拍照的老问题，在拍摄玻璃制品，博物馆展柜，橱窗这一类场景都难以避免。在使用相机拍摄时，各位法师们通常都要加入偏振镜，并且对于不同场景和角度，都要相应的调整偏振镜角度，才能去除反光。而现在基于AI技术，通过软件减轻反光，对普通用户是一个真正的福音。
图片来自网络
单反的应用
说了这么多手机等移动设备上，计算摄影学对摄影行业的进步，也许有人会问，对单反，计算摄影学和AI有什么影响呢？
其实上文中已经提到Sony A7R4中的“像素转换多重拍摄模式”就算其中之一，而人像摄影和运动摄影中对焦其实是老大难问题，糊片是经常出现的问题。AI算法非常擅长的一个领域就是检测，如物体检测、人像检测、人脸关键点等都是神经网络擅长的领域。
而Sony A7R4则使用了这一类技术解决，运动追焦，和精细化对焦的问题
“根据新开发的对象识别算法可基于色彩、对象距离（深度）、图案（亮度）和面部及眼睛信息，实时高速地处理空间信息。拍摄远处的移动人或动物时，跟踪系统可捕捉整个身体，对焦区域可根据对象条件在面部和眼睛之间无缝转换。拍摄时，只需半按快门按钮即可激活此功能，也可设定自定义按钮启动。”
图片来自sony 官网
图片来自sony 官网
图片来自sony 官网
图片来自sony 官网
结语
回顾去年的一年，AI或者说计算摄影学对摄影的影响远不至于此，上述讨论了许多在手机和单反机身上使用的应用。往更广的角度去看，摄影相关联的行业和应用也非常丰富，比如无人机、稳定器等等，都或多或少的受AI技术进步的影响。而图像编辑产业，比如各类图像处理软件：Photoshop、Light Room、美图、Snapseed等等都大量的应用了AI和计算摄影学的成果。继续往摄影行业的上下游看，图像、视频等等摄影师们成果展示的平台，专业的如米拍、图虫、500px，大众的如抖音、快手等都利用了AI相关的算法提供编辑、分发、推荐、评分等等功能。
AI已经改变了我们生活的方方面面。
铺垫了这么多，编少终于要把大招放出来了！
米拍AI摄影评测已经上线，这是一个基于千万张图片数据的摄影评测系统。扫码上传照片，AI系统会为你的照片进行评分！





还等什么，快来米拍摄影社区体验一下吧
评测体验之后，如果你有什么想法，私信联系我们
关于作者
邹启扬，某AI计算视觉公司产品经理，业余摄影爱好者，资深米拍用户。长期从事相机算法产品设计工作。










您目前使用的是【试用版】，很多功能受到限制！！如果试用此插件之后满意，对您产生了帮助，请购买正式版支持一下辛苦的开发者，插件的持续发展离不开正式版用户的支持，优秀的应用得益于您的捐助，点击下面的链接去Discuz官方应用中心购买正式版永久授权

https://addon.dismall.com/?@csdn123com_todaynews.plugin
正式版后续更新升级免费，一次购买，终身使用！