首页 » 行情 >

均胜电子郭继舜:量产开发中的人工智能应用

2021-09-30 18:16:08来源:盖世汽车

9月28日—29日,“中国车谷2021智能汽车产业创新论坛”隆重召开。本次论坛由武汉经济技术开发区和东风汽车集团有限公司联合主办,由武汉市智能汽车产业创新联盟与盖世汽车联合承办,主要围绕智能汽车的创新发展这一主题展开,涉及到人机共驾、地图定位、人工智能与芯片、仿真测试等多个热门领域。以下是均胜电子副总裁、均胜智能汽车技术研究院院长郭继舜的发言:

自动驾驶

各位好,我讲的是量产开发中的人工智能应用。在做量产的过程中我一直有几个观点,第一,我是激光雷达坚定的支持者,我认为只有充分异构的传感器网络,才能够形成鲁棒系统;第二,我认为只要深度学习还不可解释,它顶多就只能用在感知上,在量产时都是不能用在决策、规控上的。我之前在主机厂,现在在Tier1,我们所关注的都是如何将技术落地,所以当我在做量产考量时,越来越深刻地意识到很多先进技术放在车上看起来很性感,但没有经过充分的验证,没有做足够好的设定,都是很难在量产里面使用的。所以现在讲的更多的是我们在量产里面的一些尝试。

在感知上,我是坚定的异构路线支持者,所有用纯视觉来做的量产方案都会有比较大的瓶颈。我经常在讲一句话是,在自动驾驶系统里面,软件决定的是系统的下线,硬件决定的是系统的上线。因此,至少在现阶段,我们不能在传感器上做太多的精简,否则它是不够安全的。所以我们考虑在足够高的性能上使用足够多的传感器,甚至考虑在车外使用红外、远红外传感器。经过我们的大量测试,这对于鬼探头这样的场景的覆盖是非常好的,好过现阶段并不成熟而且覆盖面还不够大的V2P,就是所谓的车路协同中的人车协同。

另外就是在2017年的时候,ECCV一大堆算法的大佬坐在一起讨论,其中就涉及到了自动驾驶的。大家讨论说到底什么技术是现阶段最难的?这些大佬们经过一致讨论后得到的结论还是感知。前段时间特斯拉以及国内某造车新势力的事情,说到底就是感知的问题,所以我先讲讲人工智能在感知里面的应用。

在传统的视觉里面,给各位一个建议,所有做感知的同事不能上来就搞深度学习。现在大家越来越喜欢把深度学习和传统视觉做结合,比如说针对边缘检测,它在车道上的识别效果是非常好的。但实际上,在深度学习已经没法做得规模更少的时候,其实用一些传统的方法做约束是对深度学习非常好的优化方法。前天我看了2012年美国国防报告上的一个文档,它的结论是这个世界上不存在完全不需要人参与的非监督的系统,也就是说一定需要人的参与,监督系统是必然的,最多的时候是半监督,这是非常重要的。我们在深度学习里面放入一些传统的算法优化它是非常合理的一种做法。

基于数据驱动的感知和分类方法,这是现在大家做得非常多的,2012年大家开始使用各种各样的深度学习去做语音学习等等。

优势是什么呢?优势就是传统的方法是需要专家知识的,但是深度学习是比较暴力的,比如说我可以通过大量的标注数据就能训练出来一个相对不错的模型,特别是在比如说暗光、逆光的时候,在有些场景相对来说不能够精确描述的时候,它的效果还是非常不错的。

当我们通过公开数据集或者购买的数据,或者标注的数据,无论怎么样,你得到了这些数据。当然所谓的众包也是通过上传的方式得到了一些场景的数据,比如特斯拉的影子模式里面就会在云端上传一些特斯拉认为很难分类场景的数据去供工程师们学习和训练。然后把它放在深度学习网络里面,得到一个结果,这个结果可以对它进行客观的评价和测试。但问题在于,这个过程是不可解释的,同时基本上也是不可见的。整体来说,深度学习是个非常好用的系统,但是我们之所以不把它放在规划、决策和控制上,最大的原因在于它不可解释,我不知道它的边界在哪里。

在我们针对深度学习所做的多目标检测模型里面,我们认为地平线对于中国场景和中国道路交通参与者的认知会更好。

这个是针对深度学习模型的可行驶区域的分割,我们输入大量的数据,然后做标注,标注了之后再去告诉机器说什么地方是可以行驶的,最终我们会得到一个可行驶区域,这是大家经常用的方法。

我们之前做过一些尝试,还发布了一些论文,主要是针对如何对复杂的物体做区分,同时得到比较好的分割的结果。比如说交通标志的识别与分类,基本都是非常暴力的,你对你的模型只做了少量优化,大多数都是标数据、灌进去,然后建一个模型,可能是多层的神经网络,最后得到不错的结果,现在大家在做大模型,在自动驾驶里面用得比较少。

这是我们之前的尝试,比如说Robotaxi如何识别交警指挥,能够保证在红绿灯坏了的场景下依然正常行驶。右边是我们对于即将过马路行人的判断。

那么如何使用深度学习进行人及体态的识别,如何判断一个人即将过马路?中国的行人一般难以确定,他的离散度更大一些。

这是DMS,使用地平线的芯片就能够非常快速进行整合,深度学习的特征都已经在里面了。但是到现在为止,我们使用了如此多的深度学习,在大量使用过程中依然会遇到光照、遮挡等难点。

此外,我们做了一些尝试,比如说我们现在在做的小物体的识别。小物体指的是在高速公路上以非常快的速度或者地上20×20cm的一个小物体。这个东西很重要,尤其是在泊车场景下,比如说有遮挡的泊车位,包括快速行车时会有掉落的物体。这个小物体会对你的驾驶造成比较大的影响甚至是伤害,因此我们必须尽快去识别它,但它其实是很难被分类的。

怎么做呢?我们需要通过一些深度学习模型,通过大量的标注达到更好的训练,最终实现在L4级自动驾驶里面对于小物体的检测。为什么我们需要激光雷达的角分辨率,特别是要求它的横向和纵向角分辨率要一致,本质上来说就是为了识别小物体。但是有些激光雷达给你的横向的分辨率很小,纵向的很大,它会对你识别小物体造成非常大的影响,所以我们需要点距均匀的激光雷达。

这是我们在做的过程中发现还有一个特点,就是样本的不对称。一般我们在训练深度学习模型的时候什么方面最好呢?就是我能找到一堆正样本。而小物体的样本虽多,但基本上找不到非常好的数据库。这样的情况下,你很难找到一个分类的边界出来。

我们做了大量的测试,系统的输入,进行标注训练,然后再做系统的输出等等。这就是一个算法如何准备数据,如何进行上车的测试,怎样进行算法的模型开发,怎样做预处理,如何区别到小物体等等。

刚才讲了样本非常难,而且样本的不对称性很强,所有不对称性很强的样本都需要大量的收集工作。那么,样本怎么设计,实车测试怎么测,才能保证我的边界足够明确?

最终结果来说,我们能够把范围控制在94%,其实准确率已经可以了。但是针对小物体,还要给它一个更好的参考,这个是没有加激光雷达的,如果加激光雷达,横向、纵向的角分辨率在0.02度左右,那会是一个更好的数据结果。现在就是通过纯视觉的方案来做的,可以看到它能达到我们能查到文献里面的最好的结果。可以看到这个算力消耗差不多在3T左右,这依然是有非常大的优化空间的。

除了这个之外还有复杂行人监测,我们要判断人是不是要过马路,这是非常难的,我们需要基于时间规整算法,通过持续的方法来进行判断。

在决策里面我并不认同深度学习的做法,到现在为止我依然认为基于规则的决策才是真正有效的,因为不可解释就意味着基本上没有边界。

我们做了一些尝试,强化理解,可以理解为做对了给个糖吃,做错了打一巴掌,用这样的方式进行训练,基本上是弱监督的。

强化学习的一个非常典型的就是AlphoGo,到AlphaGo Zero的时候,它是基于强化学习和迁移学习来完成的。各位可以看一下,下面这个是前段时间百度的同事用大数据平台做的机器狗的优化,让机器狗过独木桥和上楼梯,什么也不告诉它,它通过强化学习就能够得到非常好的结果。

自动驾驶怎么做呢?自动驾驶依然是通过信号输入和反馈,形成一个更稳定、更具鲁棒性,能够覆盖更多场景的一种方式。本质上是非常复杂的。如何设定奖励机制,比如说避免碰撞,比如说用尽可能短的时间通过路口。当分数越高,说明你现在这样的做法的增益越大,通过反复训练,就会得到一个相对稳定的结果。

这是个虚拟仿真平台,我想展示的是自动驾驶的仿真能力,在这里面跑得相对平稳的路径规划和决策就是通过强化学习和迁移学习来完成的,它可以应对一些场景,能够保证在道路右侧相对好的行驶,同时能够躲避一些车辆,这就是我们初步训练的结果。

这是我们的阶段性成果。我们初步训练了一个驾驶行为模型,同时针对多车交互做了一些策略,比如说我们通过这些模型如何去预测,如何解决无保护左转,这是很难的。最上面的是我们的结果,中间那个是车路协同,下面是我们现有的没有加入深度学习的结果,可以看到还是有效的,但是我们现在并没有把它用在量产里面,原因是它需要大量的验证和测试。

自动驾驶的方法,端到端在自动驾驶使用中最大的阻碍就是不可解释和不可见。车辆把传感器的信息进去,直接给出来你要刹车、左右转,这是非常长的端到端,就是把感知、决策、控制全用一个链来完成了,这是学术的方法,但是这个方法对于我们来说非常危险,因为我们不知道人工智能到底怎么想的,这就是非常不符合我们对于安全的要求。

我们尝试使用单一变量对深度学习进行监测,比如说上面那个是有一个人,下面那个是没有人,它会不会采用不同的方法,如果是,说明这个策略是有效的。但这是一个黑盒的方式,这个方式效率非常低。

我们也开始做一些可视化的尝试,比如说对于感知模型的物体用热力去进行相关的标注,右边是得到可视化的结果,这个是通过感知区域中间的深度学习模型以及自动驾驶模型里面所关注的交通参与者对他进行了相关的分类。另外就是如何对于十字路口的行为预测,所有的参与者我们对他进行预测了之后,拿不同颜色的线标出来。怎么解释它,当这个车辆想要往前走的时候,为什么往前走,我们要回溯它的原因是什么?所以我们做了一套系统,这个系统能够自动对车辆的决策进行回溯。

通过这样方式的尝试,都是为了保证深度学习具有很好的可解释性,后续能够把深度学习使用在自动驾驶的决策、规控,甚至是更多的领域里面去。

我们现在立足于中国,在做一些针对海外OEM的自动驾驶解决方案的服务,我们也有一些量产项目,希望能把更多的技术搬回中国,希望中国成为我们自动驾驶解决方案量产应用的重镇。

最后,借着这个平台也跟大家说一下,我们需要更多的人才,如果你们对于算法感兴趣,无论是规划、决策、控制,还是其他相关的,很希望你们跟我联系,谢谢各位。