一年一度的通信盛会 MWC 2019 结束不久,在 5G 试商用的背景下,华为、三星、OPPO、小米、SONY、LG 等手机厂商陆续推出的 5G 手机成为了 MWC 2019 上的亮点。除了 5G,手机行业一个不可忽视的趋势还有 AI 人工智能。特别是在近年来手机销售增长放缓、竞争愈加激烈、手机功能同质化的背景下,手机厂商们纷纷在游戏、屏幕、摄像头等功能和配置上寻找市场突破口,甚至不惜开启中高端产品的价格战。
那么,在 4G 下半场,5G 到来的黎明前,AI 会给手机市场带来什么机会?AI 会给消费者带来什么体验?
AI 相机是最受关注的手机 AI 功能
根据今日头条发布的 2018 年手机行业营销白皮书,2018 年手机功能营销的竞争点趋于集中,AI 类特性有 8 个、屏幕类 5 个、解锁方式和配色各 4 个。关注度最高的 AI 功能集中在拍照、芯片、语音助手三个方面,其中又以摄影类 AI 功能最多。
来源:今日头条 2018 上半年手机行业内容营销白皮书
AI 拍照之所以最受关注,雷锋网认为,一方面拍照是用户使用频率较高的功能,另一方面,以往专业的摄影器材复杂的参数和使用难度也让摄影门槛始终显得很高。因此,拍照与 AI 的结合不仅能降低摄影的门槛,也是吸引消费者的一大卖点。
从各手机厂商的宣传语也能看出这一点,比如华为的 4000 万徕卡三摄,AI 摄影大师;OPPO 的 AI 智能拍照,让美更自然;VIVO 的 AI 智慧拍照,照亮你的美;小米的 AI 双摄拍照,拍人更美。
当然,拍照一直是消费者关注手机厂商持续提升的功能,手机厂商也各出奇招。MWC2019 上 OPPO 发布了 10 倍混合光学变焦技术,诺基亚发布了 5 摄像头手机。不过可以明确的是,手机拍照的比拼也从像素的比拼转向摄像头数量的较量,AI 拍照的比拼也已经开始。但市场上的 AI 拍照手机,无论是从硬件还是软件看都各有特色,那真 AI 相机在硬件上是否也可以确定一个标准?
真 AI 相机的三个标准
图:相机的常见标准作业流程(来自网络)
想找到 AI 相机的标准,不妨从相机的常见标准作业流程入手。如图所示,光线通过镜头进入到传感器,再经过 ADC 转换器将模拟信号转换为数字信号传输给 ISP(图像信号处理器),后续再通过比较、存储、分析等一系列软硬件的处理得到照片。
传感器像素尺寸大于等于 1.55 微米
大部分人或许对于相机的作业流程并不感兴趣,但提到拍照,不少人首先想到的是像素数量,不过可以明确的是现在手机拍照性能的比拼已不再局限于像素数量,而是比拼大尺寸传感器和单像素尺寸。摄影界有一句流传很广的话叫 " 底大一级压死人 ",这里的底就是传感器。
对手机而言,大尺寸的传感器和更大单像素尺寸都非常关键,因为更大尺寸的图像传感器和更大的单像素尺寸能够获得更多的光线,提升进光量,最终实现更高的画质。
前几年,手机使用的传感器相差不大,那时有不少厂商通过多重拍摄、场景自动识别等方式,以算法和软件的思路来加强成像质量。随着索尼传感器的更新,硬件的提升带来成像素质的明显提升,也给了手机厂商更多的选择。
一款大像素传感器对手机成像至关重要,为独立相机、镜头和搭载相机配件的移动设备提供图像质量评估的网站 DxOMark 的数据就是一个很好的说明。根据 DxOMark 的最新数据,手机相机评分排名前三的是华为 Mate 20 Pro、华为 P20 Pro、三星 Galaxy S10+,其中华为的两款新旗舰都使用华为和索尼等联合连发的 IMX 600 传感器,传感器尺寸达到了 1/1.7 英寸,是松下 CM1 之后最大的手机 CMOS,单个像素尺寸在 1000 万模式达到 2μm(微米)。
苹果一直以软硬一体见长,并且曾一度是手机拍照的标杆,据悉,iPhone XS Max 的主摄像头传感器尺寸为 1/2.55 英寸,单像素尺寸为 1.4 微米,2 月中旬 iPhoneXS Max 在 DxOMark 的评分中排名第三,但三星 Galaxy S10+ 以及小米 9 的发布后,iPhoneXS Max 排名下滑至第五。
其中,Galaxy S10+ 的主摄像头传感器单像素尺寸也是 1.4 微米的传感器,相比三星前代旗舰手机取得更好成绩的可能与其更好的调教密切相关,不过也位居华为 Mate 20 Pro、华为 P20 Pro 之后,这从一定程度上证明了传感器大尺寸和大单像素尺寸在提升拍照性能中发挥的作用。
更值得注意的是,目前 DxOMark 评分排名第四的小米 9,4800 万像素的主摄像头是索尼 IMX586 传感器,单像素尺寸为 1.6 微米。另外,排名第九的华为 P20 采用的 IMX380 单个像素尺寸达到 1.55 微米。除此之外,向魅族 15 周年致敬的作品魅族 15 也使用了 IMX380,使用众多新技术的荣耀 V20 选择了 IMX586。
来源:DxOMark,3 月数据
因此, 1.4 微米已经成为主流,而 AI 相机还在飞速发展,基本可以明确真 AI 相机传感器的尺寸至少要 1/2.3 以上,单个像素尺寸超过 1.55 微米,才能与 AI 打配合,完美呈现出真 AI 相机的画质和功效。
多核 ISP
回到相机常见标准作业流程,传感器采集了信号和转换之后会传输给 ISP 处理。ISP ( Image Signal Processor ) 可以对图像进行降噪、色彩补偿、效果优化等。也就是说,ISP 就是把前端图像传感器输出的信号做后期处理,将电流信号重新排列组合,输出一张更为优质的照片。
ISP 一般会集成在手机 SoC 中,芯片级 ISP 具备性能稳定、功耗可以得到良好的控制的优点。前面已经明确,更大尺寸和更大单像素尺寸传感器已经成为趋势,这就需要 ISP 具备更强的处理能力。与此同时,手机的抓拍、夜拍、高清甚至 4K 摄像成为主流功能,同样对 ISP 体术了更要要求。
AI 技术的加入,可以让 ISP 性能提升更加明显,不仅可以大幅度提升手机相机的响应速度,还能够实现人脸识别与自动场景的识别等复杂功能。除了加入 AI 技术,双核甚至三核 ISP 也是真 AI 相机的标准之一。
以联发科 Helio P90 为代表,Helio P90 具备三核 ISP,并首创支持 3 个 ISP 同时开启,实现最高 4800 万像素广角 +1600 万像素超广角 +800 万像素变焦三颗摄像头的搭配配置,并进行三焦段光学变焦的无缝切换。
据雷锋网了解,Helio P90 搭载的 Imagiq 图像信号处理器是联发科技自研的 ISP 技术,2018 年 2 月发布的 Helio P60 就已经采用了三核 ISP,通过硬件侦测人脸、进行更复杂的降噪处理、全像素多核对焦、实时提供景深信息等。
联发科技 Imagiq 技术
Helio P90 的 ISP 性能更强,处理图像的能力也就更强,意味着 Helio P90 能够还原更真实的色彩、更丰富的细节、更出色的亮度,带来更快的自动对焦以及更清晰的图像。据悉,借助多项技术的堆叠,Helio P90 大幅提升了夜间降噪的技术,可以使信噪比提升 25%,大大增强了出片质量。
AI 性能跑分 ≥21000 分
更好的图像传感器和更强的 ISP 可以提供质量更高的图像,这是 AI 相机不可或缺的部分,既然是 AI 相机,强大的 AI 性能才是体现相机 AI 特性更关键的部分。要理解 AI 与相机的结合,可借用夜拍的例子。比如用搭载 Helio P90 的手机在夜间进行拍照时,AI 会预先分析背景的物体和光线,显示锁定拍照主体来保证整体效果,紧接着开启 AI 对画面噪点和明暗度的调整,按下快门时,系统实际上已经预先完成了大量的画面计算和噪点分析,并进行智能化像素补充,实现了 AI 降噪。
与此类似,手机的 AI 美颜、AI 双摄、AI 人像模式等都需要借助 AI 来实现。那么,多强的性能的 SoC 才能达到真 AI 相机的标准?参考目前手机行业内比较认同的是来自于有着 " 欧陆第一名校 " 之称的苏黎世联邦理工学院(ETHZ)的 AI-Benchmark 榜单,该榜通过核心的 8 项测试来评估众多神经网络架构以及 AI 运算能力的表现。
数据来源:AI-Benchmark
AI-Benchmark 的最新数据显示,排名前三的平台分别是骁龙 855、Helio P90、麒麟 980,跑分分别为 27356、25654、21526,这三款处理器也是高通、联发科、华为最新且强调 AI 性能的手机 SoC。
根据官方的说法,麒麟 980 的 NPU 比上代麒麟 970 NPU 快 2.2 倍,骁龙 855 的 AI 性能是前代骁龙 854 的 3 倍。更值得注意的是,Helio P90 搭载的是经过升级的 APU 2.0,相比搭载 APU1.0 的 Helio P70 和 Helio P60 AI 性能提升达 4 倍,AI 算力最高可达到 1127 GMACs(2.25 TOPs)。
每一款手机 AI 处理器都在提升,由此带来的是竞争更加激烈的手机 AI 性能竞争。因此,AI 性能跑分大于等于 21000 分可以视为 AI 相机的第三个标准。
还需指出的是,除了硬件的标准,软件和算法也是真 AI 相机的重要组成部分。
真 AI 相机到底带来了什么不同?
那真 AI 如何转换为可感知的体验,让 AI 相机带来不一样的拍照体验?联发科 Helio P90 AI 跑分大于等于 21000 分,集成三核自研 ISP,且支持单像素尺寸大于等于 1.5 微米的传感器,无疑是真 AI 相机,因此我们通过 Helio P90 已经实现的多种 AI 拍照功能来感受真 AI 相机带来的更好体验。
首先是 AI 抓拍,通过 AI 噪点训练、14-bit 高动态范围 ISP 和 AI 多帧降噪处理,Helio P90 的真 AI 相机抓拍时能优化去噪算法和参数,在缩短曝光时间达到 3 毫秒水准的同时,最大限度保留了画质的纯净,不会出现相片残影、噪点密布的情况。
接下来是 AI 夜拍,针对不同的摄像头传感器在低光下的成像特征和噪声分布进行优化,并结合 ISP 特性优化去噪算法和参数,再进行多帧对齐的智能合成算法,生成高亮度、低噪点、真色彩、保留最佳细节的结果图,最终画质上达到类似传统相机 ISO 降 2-3 档的效果。
还有 AI 视频景深,依托强大的 AI 算力,结合 AI 算法,真 AI 相机可以实现高达 1080P 分辨率下 30FPS 的 AI 视频实时景深功能。
AI 焦点直播则可以在直播过程中凭借 AI 边缘计算,调动底层硬件并结合算法,从而达到在网络带宽有限的条件下,实现重点区域编码,优化直播主体特征,呈现更清晰的细节,雷锋网了解到联发科正与一些视频平台协商合作。
AI 人像留色通过 AI 加速、浮点定点运算技术,实现了实时人像留色。
AI 美体通过硬件与 AI 算法 的结合,实现减肥、长腿、提臀、收腰等多种功能实时美体。
AI 人脸侦测通过快速侦测反应,准确判断位置、角度、性别等信息。根据 Helio P90 发布会上演示的视频,在对一位戴圣诞帽的男性进行识别时,A12 Bionic 用了 198ns、麒麟 980 用了 924ns、Helio P90 只用了 132ns,并且 Helio P90 还实现了性别的检测。
AI 人体姿态识别追踪是强劲的 AI 算力结合算法,精准识别多人快速移动姿态,可结合 AR 场景,实现创新的人机互动应用,我们知道 VR/AR 也是未来的技术发展方向。
还有 AI 识物,真 AI 相机可以对多件物体同时进行快速、精准的识别与追踪。
雷锋网小结
手机竞争更加激烈的背景下,手机厂商期待 5G、折叠屏、AI 成为吸引消费者新的功能点,对于普通消费者而言,MWC 上在玻璃盒子里展示的折叠屏手机显然离成熟还有很长的路要走,而 5G 的商用也要等到明年。因此,在 4G 下半场,AI 可以被视为手机市场的 " 救命稻草 "。随着 AI 手机逐步推向市场,AI 摄影成为了最受关注的手机 AI 功能也是刚需,AI 相机行业门槛也急需确立。
图像传感器像素 ≥1.5μm,AI 性能跑分 ≥21000 分,多核 ISP 是联发科给出的真 AI 相机的三大技术标准。可以看到,符合上述三个标准的 Helio P90 带来的 AI 拍照应用不仅能提升用户体验,解决目前手机拍照的用户痛点,更能为用户带来更多的拍照乐趣。
【来源:雷锋网】