解读主流品牌手机相机背后的图像处理器

解读主流品牌手机相机背后的图像处理器

进入8月底，手机市场变得异常热闹，又有一个你唱我唱的上台机会——魅族MX3刚刚发布，小米3、索尼Z1、Note III、5S/C、OPPO N1相继登场……几乎无一例外，拍照功能成为这些行业聚焦的明星产品的主要功能诉求之一。 在智能手机日趋同质化的今天，摄像头也成为厂商在产品推广中差异化的重点之一。 防抖、高速连拍、美颜……各种功能特性让人眼前一亮。

俗话说，外人看热闹，内人看门道。 各种宣传说辞的背后，是软硬件技术实力的竞争。 手机摄像头受到尺寸的限制，不可避免地存在先天性的缺陷——镜头必须尽可能小才能装入手机摄像头的封装中，这使得图像传感器获取的图像信号很难达到同样好的效果。作为数码相机。 因此，图像处理器作为数码相机（ISP）的关键功能模块，担负着提高图像传感器拍摄的图像质量的“重任”。

在这些“明星”产品中，魅族MX3手机的摄像头公开采用富士通4通道ISP芯片。 无独有偶，我们在国内外众多主流品牌的热门机型中也能找到富士通ISP技术的身影，包括魅族MX2、三星Note II和ZOOM，以及OPPO的几款主流手机产品。 为此，笔者近日采访了富士通半导体图像处理技术负责人沉先生，期待挖掘出关于手机摄像头ISP的“那些事”。

解析主流数码相机ISP的技术基因

富士通的数码相机ISP产品系列基于其2000年推出的图像处理器技术，现已发展到第六代。 作为数码相机产品的核心器件，它称得上是真正的“幕后英雄”，其名字大多数人并不知晓，在网上也很难找到太多的相关介绍。 但第一个抛出的数据却让人不得不刮目相看：“它占据了全球数码相机ISP市场50%以上的份额，几乎所有全球知名数码相机厂商都与我们合作，而且还有在数码单反相机应用中取得了很多成功。”

近年来，高像素摄像头逐渐成为中高端手机的主流配置，独立ISP出色的图形处理能力在5兆时代开始取代集成ISP。 这类独立ISP已经开始走向手机应用阶段。 当前大多数智能手机制造商倾向于使用专用 ISP，因为它们可以实现与高端数码相机相当的图像质量和性能。 富士通半导体基于其在数码相机市场领先的图像处理器，开发了一系列针对手机摄像头应用的ISP，并成功将其在数码相机ISP芯片上的领先技术复制到手机摄像头应用中。 据悉，富士通的图像处理LSI已经占据日本厂商生产的800万像素以上摄像头终端近80%的份额。

“2008年，第三代ISP率先采用了成功应用于数码相机的多种功能，例如静态图像摄影的连续自动对焦、人脸识别等。” 所有相机功能，还具有高清视频（像素）连续自动对焦，以及市场需求的视频处理器。”在采访中，两人的主要功能都很熟悉：“基本功能包括实时转换和校正来自传感器的信号。 ，并输出到应用处理器。 该ISP针对手机摄像系统进行了优化，使得应用处理器能够直接显示接收到的图像数据，并直接存储数据而无需修改……”根据ISP的详细介绍，该ISP的主要功能特点ISP可概括如下：

高速图像处理。 图像处理器执行基本图像处理功能，可实现每秒24帧、每帧8MB的图像处理，以及每秒30帧以上的高清图像处理。 几乎所有基本图像处理功能都是由硬件实现，可以实现高处理速度和低功耗。 另外，由于应用处理器是手机摄像头图像处理过程中的下一级，如果传感器传来的数据不能及时转换和校准，对于响应速度敏感的应用，比如拍摄视频，这会很难。 存在延迟问题。 ISP直接将图像处理单元处理后的图像数据发送到图像输出单元，而不是通常方案中通过SDRAM进行各种插值处理，从而实现快速处理，消除了信号转换和校正处理带来的延迟。

超强大的降噪功能。 由于ISP产品面临的相机应用一般无法使用与数码相机相媲美的相机镜头，因此保证图像质量具有挑战性，尤其处理图像噪声非常重要。 因此，图像处理器使用了比数码相机更强大的机制来确保消除亮度噪声和色彩噪声。 为了在不降低分辨率的情况下消除噪声，其中采用了最新的技术，使得可以同时使用不同的噪声消除方法来匹配图像质量。

优化软件配置。 软件处理是相机系统的重要组成部分，是硬件顺序控制和“3A”（自动白平衡调整、自动曝光调整、自动焦点调整）操作的组成部分。 在设计上，富士通将那些处理复杂但计算量小的任务转移到软件实现，而计算量大的图像数据处理则由专用硬件实现。 这样的配置可以让更多的CPU资源用于额外的软件图像处理（运动补偿、人脸识别等），这使得系统更加灵活，并允许使用更多的资源来实现先进的处理性能。

定制设计服务带来不一样的设计机会

除了芯片的技术特性外，还强调了富士通针对客户需求的定制设计服务的价值。 “技术支持是富士通客户看重的另一个方面。我们可以根据客户对相机功能和性能的定义，结合我们的专业知识，帮助客户尽快实现产品市场化。” 指出，“比如最新的魅族MX3手机，在产品定义阶段，我们由十多名技术专家组成的技术支持团队就参与其中。”

魅族MX3的发布受到了业界的广泛好评，尤其是其拍照功能采用了四通道富士通ISP，在相同配置下实现了多项突破性的性能设计——每秒20帧连拍、零延迟拍照技术、第四新一代白平衡算法，MX3采用的富士通四通道ISP芯片，速度是传统双通道ISP的两倍……而这些独特功能的背后，是大量的设计讨论和关键技术的创新探索，比如在魅族的宣传中提出。 针对第四代白平衡算法进行了数万次优化； “零延迟拍照”技术巧妙地从按下拍照按钮的那一刻起选择前1/8秒的最佳画面，从而避免快门抖动。

富士通强调的三大核心竞争力：品质、生态系统、技术支持

它还提到了另一个定制设计细节——在MX3相机方案中，富士通工程师团队与魅族设计团队联合设计，实现了前置200万像素摄像头和后置800万像素摄像头共享相同的ISP，这保证了照片的一致性使用前置和后置摄像头拍照时的质量。 此前，不少前置摄像头采用传感器模块内置的ISP进行预拍图像处理，照片的一致性通常难以保证。

“其实很多大客户之间都在开展这样的定制设计服务，这种个性化的定制设计合作，可以用我们的专业经验帮助客户弥补不足。” 指出，“数码相机设计涉及大量的专业技术知识和IP，不仅很多手机厂商缺乏，而且对于很多ISP厂商来说也很难，因为这背后是需要大量案例和时间的技术积累” ”。 据悉，富士通目前负责产品的工程师团队超过150人，其中大部分拥有8、9年的研发经验。“大陆集团的研发团队与客户的设计团队通力合作。 他们丰富的经验可以满足大部分客户的需求。 对于更深层次的技术定制需求，富士通日本的核心团队可以参与提供支持。”表示。