自动驾驶视觉感知的安全

作者:《Ansys Advantage》杂志编辑室

 

对于一辆部署的自动驾驶汽车(AV)而言,不能存在什么意外情况。无论是在路上还是空中,车辆的感知系统必须对它“看到”的每一个对象都了如指掌。如果要实现这一点,就必须对其软件模型进行适宜训练。如若不然,就无法检测到以前从未见过的对象,也无法对其进行正确分类。

例如,看到一个穿着戏服的人穿过街道时:

虽然人类驾驶员会感到惊讶,但是能立刻识别出这是一个穿着戏服的人并作出相应的反应。相比之下,感知系统或许在逻辑上无法实现这种关键的飞跃,甚至更糟的是,根本就无法检测到该对象。为了确保安全操作,研发人员不仅需要训练车辆基于AI的感知算法,而且也要确保车辆已经掌握其需要了解的事情。

Save PDF 订阅
safety in sight

解决所有这些以及其他与安全有关的AV问题是位于匹兹堡Edge Case Research (Edge Case)公司的神圣使命。Edge Case成立于2014年,由卡内基梅隆大学(CMU)的研究人员Michael Wagner(首席执行官)和Phil Koopman博士、教授(首席技术官)共同创建,旨在从根本上实现自动驾驶系统的安全性。该公司的软件产品和服务可帮助解决极为复杂的机器学习难题和嵌入式软件问题。Edge Case在全球范围内与整车制造商(OEM)、高级驾驶辅助系统(ADAS)供应商,L4级以上自动驾驶技术研发商,车辆操作人员以及保险公司开展广泛合作,帮助其客户将安全可靠的产品推向市场。

Wagner指出:“当我们看到自动驾驶技术走出大学研究实验室,出现在道路、天空和医院时,我们意识到这是一个让自动驾驶变得更安全、更值得我们信赖的绝佳机会。”

该公司的命名恰如其分地说明了其公司业务。在自动驾驶技术和机器人技术的安全领域中,边缘场景代表具有潜在危险的罕见场景,这也是Edge Case产品研发的重点。该公司的初始产品Switchboard通过应力测试来为软件缺陷的查找和修复实现自动化并对其进行加速。自Edge Case成立以来,Switchboard一直是美国陆军通过自动驾驶平台改善士兵安全和提高战术能力的重要组成部分,与Lockheed Martin等其他国防与自动驾驶技术公司不久也达成了合作关系。此外,Switchboard同样也是与匹兹堡的邻居和即将成为合作伙伴的Ansys进行洽谈的重要开场议题。

Edge Case的第二项创新产品Hologram是2018年构想的一种可靠性测试引擎,可检测感知系统中的弱点。而且根据2019年OEM厂商协议的约定,它还能为Ansys嵌入式软件产品系列的一部分⸺Ansys SCADE Vision提供技术支持。

scade

由Hologram提供技术支持的Ansys SCADE Vision可加速对AV嵌入式感知软件弱点的发现进程,这些弱点可能与边缘场景相关

scade vision

这四幅图中的拖车最初的识别是正确的,但是额外的分析表明或许检测发生了遗漏

神经网络中AV场景的背景资料

在自动驾驶汽车中,感知是诸如运动预测、计划与负责操作的控制等一系列相互关联系统中的一个。除了感知之外,研发人员已采用经充分理解并广受认可的方法来确保这些系统的安全性。

感知系统研发人员通常使用行驶-查找-修复的方法。检测缺陷需要查看感知算法的输出,并将其与标注的“真值”对象数据进行比较。例如,如果算法无法检测到行人,我们将会进行再训练,重新测试并且(可能)多次重复该过程。

“看到这种颠覆性的自动驾驶技术走出实验室,来到我们的身边,我们意识到这是一个让自动驾驶变得更安全、更值得公众信赖的绝佳机会。”
— Phil Koopman博士,Edge Case Research

这种方法足以进行研发,但不足以确保安全。首先,真值数据必须对每个视频帧中的每个对象进行手动标记。这不仅十分耗时,而且成本也极为高昂。其次,如果检测到差异,分析无法确定弱点的根源或其为何出现。SCADE Vision不仅能够解决这些问题,而且还提供了一款验证自动驾驶感知系统的工具。

感知系统的核心是一套传感器和一个卷积神经网络(CNN)。该网络可将排列在一系列连接层中的数以百计甚至数以千计基于软件的神经元(单个处理单元)连接在一起。在处理测试车辆的摄像头传感器数据时,输入层中的神经元将捕获并分配每个图像像素的数值。通过这种方式,CNN能够将图像“视为”一组像素数值阵列。

这些值流经多个过滤层,对每个像素进行一系列代数及矩阵运算处理。每一层的决策函数都能够高效地筛选不同对象的特征 — 直线或曲线边、颜色、纹理以及强度模式等。基于像素处理过程中做出的分类“决策”,输出层能够识别是否存在对象。它不仅能生成对象列表,而且还能在行人、停车标志和汽车等周围绘制相应的边界框。

与传统的软件系统不同,神经网络就像黑盒一样:我们很难甚至根本无法知道它是如何作出每个决策的。Edge Case正是出于这个原因创建了Hologram,实现感知系统的安全管理与验证基于规则的规划或控制系统截然不同。Wagner表示:“检测行人实在没什么规则可循,这也是解决感知系统的安全问题,与验证基于规则的规划或控制系统大不相同的原因所在。神经系统构建依赖于输入的训练数据。”

相关实例:对象检测系统能够沿着城市街道反复正确识别行人,但却无法检测建筑工地上的工人。这是为什么呢?这是因为其训练数据中没有工人霓虹黄色马甲的参照。但是非常讽刺的是,十分显眼的马甲却让工人从感知系统中消失。

ansys scade vision

由Hologram提供技术支持的Ansys SCADE Vision可及时回溯,以此识别实时监控无法检测到的边缘场景,从而可为神经网络的“黑盒”提供深度信息

对未标记的原始数据进行分析

在数百万英里的行驶里程中,测试车辆收集了数以拍字节甚至艾字节计的数据,而这些数据只有一小部分会用于对象检测训练,这就是需要先标记数据的原因。标注专家必须在视频的每一帧中画出边界框并标记每一个对象,这样CNN才能得知“这是一个行人,这是一辆车。”大约需要800个工时才能标记出一个小时的驾驶镜头,这不仅耗费资源,还容易出错。

由Hologram提供技术支持的SCADE Vision无需标记数据,就能识别神经网络中的薄弱点。一旦感知算法进行了“令人满意”的培训,SCADE Vision的自动化分析便从让神经网络(称为被测系统,或SUT)检测原始视频片段开始。随后它将对视频场景进行细微的修改。对图像进行模糊,或是锐化处理,但处理力度不会导致人类肉眼无法识别修改后的对象。然后,SCADE Vision让SUT再次检测调整后的视频,并将检测结果与基线结果进行逐帧对比。

Edge Case Research产品经理Eben Myers表示,SCADE Vision自动化分析的核心,在于两组对象检测结果的对比。这就是软件引擎能够检测边缘场景并能将数以拍字节计的未标记数据减少为明显缩小的视频帧子集(值得进一步研究)的原因。

尽管期望检测结果间的差别比较小,但较大的差别(弱检测)则预示着SUT中有潜在的错误(漏报),一方面,软件智能在竭力识别微弱的对象检测信号并做出最佳猜测决策;另一方面,漏报表明检测出现了遗漏,一种实际故障。

SCADE Vision会将这些结果输出为两种不同的显示。行程段图表(连续视频数据帧)将基线检测显示为灰色条,将弱检测显示为橙色条,并将漏报显示为红色条。而且在每一帧中,类似颜色(用于基线检测时为绿色)的边界框包围了SUT检测到或者漏检的对象。分析人员从SCADE Vision获取的信息远比实时分析所获得的信息多,因为它能够智能地显示过去及未来的对象检测。例如,一个边界框在变成绿色并保持绿色的前几帧以橙色闪烁,它是在提醒分析人员当对象进入场景时,SUT由于某些原因处于混乱状态。如果没有这一回溯,分析人员将无法得知绿色边框内的对象未能进行一致的检测。

此外,SCADE Vision还可发现与一次性错误相对应的系统错误。例如,当停车信号出现在多个场景中,出现一次弱检测,随后消失又重新出现,然后重复同一模式。这种检测错误可能是由一个或者多个触发条件引起的,其中包括环境和根源性因素,例如眩光、低对比度和嘈杂的背景(树上的树叶)等。SCADE Vision提供了用于识别这些触发条件的分析工具,与SUT中的弱点相结合,其可创建软件不安全行为的类型标示。

借助这些工具,分析人员可向对象数据添加描述性标签,以描述可疑的触发条件特征,并帮助显示检测缺陷模式。分析人员能利用标签流程的输出,执行预期功能安全(SOTIF)规定的定量分析,或者对未标记数据中“所关注的对象”进行额外的测试。通过“指向”这些对象,SCADE Vision可帮助分析人员执行场景测试,例如查看是否一致地检测到枝繁叶茂的绿树前的停车标志。该过程不仅可提供对可疑系统漏洞的更深入了解,而且还可推进算法的再训练。

data labeling by numbers

加快AV研发的进程

由Edge Case Research的Hologram提供技术支持的SCADE Vision,为客户研发自动驾驶技术以及与其它Ansys软件的集成提供了可扩展性。其可以与Ansys medini analyze进行完美匹配,发现并跟踪已识别的触发条件。并且,在与Ansys VRXPERIENCEAnsys optiSLang结合使用时,其可在大量的场景变化情况下自动对SUT进行可靠性测试。此外,SCADE Vision还将与Ansys Cloud和高性能计算(HPC)结合使用,加快对大规模边缘场景的检测。

Edge Case与Ansys在感知系统领域开展合作,正在不断加速全自动驾驶汽车的安全与广泛部署。

SCADE Vision的边缘场景检测功能在推进感知算法研发进程的同时,也将感知探索的速度提升了30倍(与手动数据分析相比)。而且,SCADE Vision还能扩展至除汽车领域之外的行业,例如采矿、航空航天与国防、工业机器人技术以及任何依赖基于AI的可视化及感知软件的应用。

与 ANSYS 取得联系

联系我们
联系我们