
当今旗舰电视最新画质技术,马上就被联发科搬
而随着联发科MPE(MEMS-sensor Positioning Engine)融合技术的发展,结合传感器(陀螺仪、加速度计等)+全球卫星导航系统的导航技术也将应用到手机上,极大增加室内定位和弱信号区域的导航精度。
例如针对蓝天的优化,基于色彩增强算法让天色看起来更明亮;针对建筑物的优化,则主要在对比度和锐利度上,如结合超分辨率等算法,让建筑物的窗户等细节看起来更清晰……
虽说随着自动驾驶和V2X等技术发展火热,如今车道级导航已经是车机标配。
这究竟是怎么做到的?
事实上,这也并非联发科第一次针对手机AI技术进行布局了。
这其中涉及大量算法的优化,尤其是拍摄多张照片并进行处理的速度,当年Helio P70针对多帧降噪算法进行优化后提升了约20%的性能。
最后,还能基于语义分割算法降低视频的算力,实现精确对焦。
针对这几点,联发科对应地研发了几种算法,来“配合”语义分割算法打出组合拳。
从联发科在技术沟通会上透露的情况来看,芯片厂商针对手机游戏性能提升的侧重点仍然在移动光追上。
— 完 —
其中,新双通指在手机双卡双待的情况下,让双卡的信号彻底不互相影响的能力,即使用流量卡打游戏时,主卡接电话也丝毫不受到影响。
最早从2018年Helio P90强调提升AI算力速度、同时推出包含剪枝在内一系列优化算法的AI计算平台NeuroPilot v2.0,到2020年的天玑1000+的MiraVision画质引擎和APU3.0;
电视技术移至到手机上带来了两点好处,一方面,画质品质更高了;另一方面,用到手机拍照甚至拍视频上,可以节省算力进一步提升能效。
从2018年开始,联发科开始将计算摄影作为手机芯片算法的研发重点。
这种情况下,手机究竟还有哪些可待提升的功能空间?
要知道在智能电视市场,联发科智能电视芯片至今已助力累计超过20亿台电视产品在全球各地上市,是这一领域的领导厂商,画质增强技术更是早有积淀。
将照片分割成前景和不同区域的背景后,AI会针对每个区域的物体特性,分析并选取最合适的优化算法,“拆分式”地优化照片不同区域的效果。
如果仔细观察这几年芯片技术发展趋势的话,会发现确实还有不少。
首先,结合场景识别优化语义分割算法,使得AI不仅能区分前景(如人像、动物等)和背景,还能进一步识别不同种类的背景,如建筑、天空、绿地、植物和水池等。
具体来说,通过AI来进行画质增强的技术又可以被分为几类技术,包括AI图像语义分割技术、景深估计技术和智能优化技术等。
要知道,这可是各大头部电视厂商都在用的画质技术,有几家才刚安排到新产品上。
同时,联发科也针对AI算法在硬件处理上进行了对应的优化,包括提升APU的能效等,进一步降低AI景深画质增强技术在手机上消耗的算力。
而从整体研究范围来看,联发科这几年也一直在提升对于AI的重视程度,包括进行贝叶斯优化、元学习相关的机器学习研究,相关论文发表在NeurIPS、ICLR等顶会上。
具体来说,CycleNet借鉴了“神经元会和处理相同图像中具有相同特征物体的神经元产生联系”等一系列生物神经元处理信息的特点,来设计整体的框架逻辑,提升AI在处理较小较模糊的目标时整体的识别准确率。
另一方面则是不断改进AI算法的性能。
再到2021年至今强调的“每瓦有效算力”指标,即APU长时间运行的功率大致在1W左右,联发科在这方面强调的始终是“开源节流”,优化AI的能耗。
这其中就有与影像处理相关的研究,例如提出了一个名为CycleNet的框架,旨在提升AI识别拍摄场景中较深物体(即相对镜头的距离较远)的能力。
同理还有移动GPU增效方案,也在与移动光追同步进行,目的是在增加图像刷新率、分辨率和渲染复杂度的同时,保持芯片能效的优化,以实现软硬件同步跟进的效果。
△例如像素4标签路人,像素3标签蓝天
萧箫 发自 凹非寺
但用在手机智能拍照上,又有至少三大考验:
现在居家看电影,大伙儿还是更愿意用电视。
然而,在计算摄影研发过程中,团队在计算机视觉方面遇到了一些算法优化极限。
