当前,手机厂商自研芯片之风兴起,而AI加持的独立ISP芯片更是成为各家的着力点,在小米、荣耀纷纷推出了搭载独立ISP芯片的旗舰手机后,近日,vivo发布了新一代自研影像芯片,将此前的ISP架构升级到AI-ISP架构,能够实现低延时、高效能的高精度AI计算,并计划在其最新旗舰机型搭载该芯片。
在手机等影像消费品领域,ISP起着至关重要的作用,其主要负责对前端传感器传回的图像信号进行运算处理,通过线性纠正、降噪、曝光校正等处理,最终实现成像质量的提升。简言之,ISP所要做到的就是将“数字眼睛”的视力水平提高到“人类眼睛”的水平,让人眼看到数字图像时的效果尽可能接近实景时的效果。
其实SoC里面本身会有ISP单元,两者属于包含关系。在早些年,国产手机使用的移动平台基本都支持ISP,这也为旗舰手机影像能力提供了坚实的基础。但随着国内旗舰机市场的竞争进入白热化,手机厂商正在寻找到新的创新点来抢占市场。
比如小米于去年3月推出了新款自研澎湃C1手机ISP芯片,并搭载于小米MIX Fold折叠屏手机。同年9月,vivo推出了自研ISP芯片V1,该芯片应用于vivo X70 Pro+机型;12月,OPPO推出了首款自研的影像专用NPU芯片马里亚纳X;华为也在12月的安博会中推出了新一代的ISP芯片越影。而vivo此次宣布将传统ISP架构升级到AI-ISP架构,则在一定程度上印证着ISP正走向AI化的大趋势。
事实上,随着厂商对摄影技术的不断“内卷”,ISP承担的重任与日俱增。传统ISP架构虽然能以极低延时处理大量的数据流水,但只能解决已知的、特定的问题。而AI擅长处理复杂的、未知的问题,却延时较大。AI-ISP架构结合两者的优势,相当于给传统ISP芯片加一个新的AI大脑。
相比于传统的架构,AI-ISP能够通过硬件直连的方式将AI计算直接融入ISP Pipeline中,完成数据的无缝缓冲和处理,处理能力、处理能效都有大幅提升。这也使得AI-ISP技术已经成为了手机厂商的香饽饽。
小米集团高级副总裁曾学忠不久前表示,AI赋能是芯片研发的重点之一,将在计算摄影领域用AI算法与硬件进行深入结合。下一代自研AI-ISP芯片,会在澎湃C1的基础上有大幅度提升。
在AI-ISP大势面前,除了vivo、小米这种舍得大包大揽投入全流程研发芯片的厂商,也有一些手机厂商会选择与国内芯片厂商联合定制,比如上半年发布的荣耀Magic4 至臻版所搭载的AI-ISP独立影像芯片就是与合作伙伴联合研发。事实上,对于一些起步较晚的厂商来说,联合定制AI-ISP这种模式极大减少了研发成本,
当然,手机影像竞争愈发激烈,手机厂商们如果选择放弃国际巨头而采用国内供应商,势必将对这些独立芯片厂商提出更高的要求:即企业不仅要设计出不逊色于高通等头部企业的芯片,还要保证产品供应充足。而单从芯片设计来讲,我们也确实看到一些独立厂商为国产ISP芯片市场带来的出色产品。比如,去年年底,海思就宣布推出了下一代用于安放场景的越影ISP芯片,其主要的亮点就是通过与AI引擎的深度整合,实现夜视降噪的高效处理;在今年年初的CES站上,安霸也发布了AISP,该产品利用了安霸在图像和AI领域的积累实现高效的下一代ISP。
在刚刚过去不久的上海世界人工智能大会上,智能视觉芯片研发公司爱芯元智也正式发布了其自研核心技术爱芯智眸?AI-ISP。该技术改变了传统ISP纯硬件通路的设计方式,通过将ISP中的几个关键硬件模块抽离并用AI算法取而代之,例如对去噪的3DNR、demosaic等功能进行AI化,将有限的算力集中在了最关键、人眼最可知的功能中,实现整个AI-ISP的最佳效果。目前,爱芯元智已经推出两代多颗智能视觉芯片,基于自研混合精度NPU和爱芯智眸?AI-IS两大核心技术,爱芯核心产品和解决方案已经广泛应用于智慧城市、智能消费、智慧交通、智能穿戴等领域,并面向B端和C端不断拓展应用场景。
值得一提的是,其推出的AX170A具备高达13.4TOPS /W的超高能效比,此外,该芯片独有的20bit处理位宽可以轻松完成4K夜景视频的预览和拍摄。据了解,AX170A已经通过国产手机客户验收,并已进入商用阶段。
不难看出,这些实实在在的国产芯片通过主打差异化形成了自己特有的优势,并为越来越多手机厂商所信赖。无论是手机厂商大力投入自研,还是“小而美”幕后英雄不断突破,都让中国在芯片这一卡脖子领域逐渐树立了信心。
“AI-ISP这两年ISP行业中最火的研究方向之一。” 爱芯元智相关负责人介绍,“随着产业的发展,相信会有更多视觉成像的功能会被AI化,并且改变整个ISP 行业的生态。”
事实上,而随着社会生活智能化的进一步提升,ISP也在进入许多新的市场应用领域。比如对于自动驾驶/辅助驾驶这类对于延迟非常敏感的场景,ISP负责把原始影像作做夜视和降噪处理相应处理,以确保自动驾驶技术的可靠性;此外智慧城市升级也是对于ISP技术有新需求的重要智能场景,在各种低光照环境下,AI-ISP能很好地处理成像效果,从而确保智能城市管理系统能真正在所有时间段和所有场景下都能提供保护。
中国工程院倪光南曾经在回答一个记者询问为何要坚持自研芯片时表示,如果一个国家能够在不用自研芯片的情况下,便足以成为一个科技大国的话,那么这一国家就不必去追求任何核心技术,但中国不一样,中国在芯片这一块还有所欠缺,因此中国的科技企业不得不去进行芯片自研。
当然我们也能看到,自研道路本就不好走,芯片由于集成度极高,自研难度更是有过之而无不及。但可以肯定的是,外国芯片厂商面对国产芯片“自主化”的浪潮会有更多应对举措,而国产厂商也将在不断创新中与之抗衡并实现超越。
本文属于原创文章，如若转载，请注明来源：传统ISP加速“智能化”升级，爱芯智眸AI-ISP落地三大场景https://news.zol.com.cn/806/8065636.html
