作为智能汽车AI视觉算法系统最主要的传感器之一,摄像头除了作为人眼的延伸,需要看得清之外,更需要看得准。因此,如何进一步提升摄像头的性能,进而提升整个AI视觉算法在环境感知过程中的准确性,成了业界共同关注的问题。
目前来看,仅仅依靠摄像头制造工艺的一致性及摄像头在车上安装的一致性,已经很难满足AI视觉算法对于摄像头精度的要求。比较之下,通过在摄像头生产工艺中进行内参标定,可以更好地提升AI视觉算法精度,故而正逐渐成为解决此类问题的重要手段之一。ADAYO华阳数码特“煜眼”技术,在生产线上即可快速准确地标定摄像头内参,并将内参保存在摄像头内,在摄像头AA工艺上更进一步提升了摄像头的精度,从而保证ADAS应用的算法精度,改善用户体验。
摄像头感知误差受多重因素影响
在设法提升摄像头精度之前,首先要弄明白摄像头的感知精度究竟会受哪些因素影响。整体来看,主要有两大方面的原因:
1、受摄像头本身一致性的影响,包括镜头的误差、装配误差
▅ 摄像头镜头的误差:由镜头的镜片加工误差及镜片在镜头内的组装误差产生,通常会产生两类问题(计算以像素大小为3微米的100万像素摄像头为例,下同):
焦距误差:主流的镜头的焦距误差规格为±5%,仅考虑焦距误差一项,比如1mm的焦距变化5%,主光线角度为20度处,会产生6个像素的误差;
镜头的畸变误差:镜头厂家一般可向摄像头模组厂家提供径向畸变曲线,这条曲线一般是镜头的测试平均值或者是理论设计值,实际每颗镜头的畸变与此都会有一定的偏差;另外由于ADAS用镜头的畸变虽然主要是径向畸变,但是畸变曲线只能反映径向畸变的情况,无法反应镜头的切向畸变,而镜头的切向畸变多少是存在的,严重时会达到2个像素的误差水平,降低摄像头的精度和一致性。
▅ 摄像头的装配误差:主要有光心偏差:摄像头传感器的中心与镜头光轴的错位。虽然高清摄像头一般都采取了AA(主动对准)工艺,但仅靠此工艺,一般也只能保证光心±5个像素的水平。
▅ 一般摄像头主要几何误差大小:
以水平视角120度,1 mm焦距,像素3微米大小为例
以上误差均与摄像头内参相关
2、受摄像头在车上安装一致性的影响
摄像头外壳定位结构的精度、摄像头安装支架的精度以及汽车结构件本身的精度,都会影响摄像头的安装角度及位置,这些因素综合起来,产生2度的角度误差是很可能发生的。
这一因素虽然是摄像头外参,但要将摄像头的安装误差标定准确,首先也要求摄像头内参准确。
“煜眼技术”助力AI视觉算法优化
AI算法通过标定摄像头的内参与外参,可以大幅消除上述误差的影响。如果摄像头本身的内参和理论内参有误差,或者同一批次摄像头的内参数据的离散性较大,都会对AI算法的准确标定带来困难。
华阳数码特“煜眼”技术采用独特的中心点算法及其它参数优化算法,可在线稳定、准确的测出摄像头内参,并将内参写入摄像头中,从而可以满足在线操作的节拍速度,对每个摄像头进行在线标定。写入摄像头的内参可以直接被ADAS算法读取,通过算法进行有效补偿,来实现精准的物像测距和识别定位,提升AVP、APA、FCW、LDW、DMS、OMS等应用领域的算法精度,给车主提供更好的用户体验。
“煜眼技术”在ADAS中的应用
1.在AVP、APA、AVM、VSLAM、FCW、BSD、PCW、AEB等需要使用摄像头进行距离判断(有时是协助其它传感器进行距离判断)或图像拼接的应用中,对摄像头物像的位置对应关系有比较高的要求,对摄像头进行内参精准标定,修正摄像头之间的差异,可大幅提高算法的精度,从而改善用户体验。
不管是摄像头内部的几何误差(用像素表示),还是摄像头在车上安装误差(用角度表示)都可归结为角度误差。
假如摄像头的安装高度为1.3米,摄像头1度的误差,在地面上会产生的测距误差如下:
摄像头安装位置越低,地面目标越远,测距误差越大。
从上面计算可以看出,摄像头成像的几何精度,对地面物体的距离判断至关重要。“煜眼”技术可以将中心偏差及畸变一致性控制在全视野范围内2个像素之内。
2.在LDW、DMS、OMS、TSR等主要以目标识别为主的应用中,特别是使用了机器学习的算法时,使用“煜眼“技术标定的摄像头内参,能有效消除成像的畸变,明显提高算法的识别精度。这是因为进行机器学习的训练时,一般使用的是没有畸变或畸变较小的镜头采集的训练影像数据,实际使用时如果使用FOV大于100度的摄像头,影像畸变大,会降低识别率,从而影响AI视觉算法精度。
目前行业内通常是通过摄像头内的ISP(图像处理器)的能力,使用固定的几个参数进行畸变校正。但是ISP的畸变校正能力非常有限:径向畸变一般不能完全校正(比如校正后留有10%左右的畸变),一般也不做切向畸变校正,更无法校正畸变中心,此方法对于AI视觉算法要求的摄像头鱼眼畸变小于1%的指标,仍有重大差距。
以下为一款摄像头在使用“煜眼“技术标定内参并应用内参作畸变校正前后的图像对比:
(使用“煜眼”技术测定内参后,畸变率可控制在0.5%以下,从例图中可以看到校正后,地板的经纬线横平竖直)
ADAYO华阳数码特“煜眼”技术的理念是用最精准的AI传感器,助推自动驾驶技术,带来美好的科技生活享受。自2019年推出到现在,目前“煜眼”技术已经获得包括百度在内的多家知名自动驾驶公司的认可,并已在多个车厂项目上落地。最新进展是搭载百度AVP自主泊车的威马W6车型,全系使用华阳数码特的带有“煜眼”技术的摄像头,为威马W6车型特定场景的无人驾驶技术保驾护航。此外,华阳数码特“煜眼”技术在百度最新推出的基于纯视觉的自动驾驶技术ANP(领航辅助驾驶技术,达到L4的技术水平)和江淮新能源的DMS项目上也已落地,“煜眼”技术的应用领域已经扩展到自动驾驶技术的多个应用领域。
作为ADAYO华阳集团汽车电子业务的重要力量之一,华阳数码特愿携手更多自动驾驶技术及合作伙伴,共同探讨“煜眼”技术在自动驾驶领域的无限可能,并期待与更多自动驾驶技术厂商及主机厂合作,为广大车主提供美好的科技生活享受。