认知智能高端论坛系列报告—自动驾驶汽车安全性加速测试

 2023年4月27日上午，天地一体频谱认知实验室举办的认知智能高端论坛延续开展。本次论坛邀请了清华大学自动化系封硕教授,为我们做了题为“自动驾驶汽车安全性加速测试”的学术报告。报告主要围绕如何解决自动驾驶汽车安全性测试的低效率难题展开讨论，我室周福辉教授及相关课题组同学参与了交流。

 自动驾驶汽车安全性测试的低效率难题是阻碍其研发落地的重要瓶颈。针对该难题背后的“稀疏度灾难”(Curse of Rarity)问题，封教授在报告中介绍了智能等效加速测试理论与方法，在大规模自然驾驶数据集的基础上，利用智能技术生成测试交通环境，等效加速了测试过程多个数量级，显著提升了自动驾驶汽车的测试研发效率。此外，封教授针对这一方法常见的三个问题，即如何测试一个基于人工智能的驾驶系统、传统方法有怎样的问题、以及NADE与传统方法相比有何优势，作了详细解答。

一、如何测试一个基于人工智能的驾驶系统

 封硕教授在报告中介绍，对于如何测试和评估自动驾驶汽车，目前还没有达成共识或标准程序。基于人工智能的代理驾驶，对于外部用户来说通常是一个黑盒子，它限制了传统的基于逻辑的软件验证和验证技术的使用。现有的自动驾驶汽车测试使用的最先进的方法是代理-环境框架，采取软件模拟、封闭轨道测试和道路测试相结合的方式。

二、利用传统方法进行自动驾驶测试工作有何问题

 自动驾驶汽车的测试面临着维度困境与长尾困境两个挑战。

 理想情况下，我们可以用一个矩阵X，把自动驾驶汽车在整个自然驾驶环境中周围交互的，即所有的车辆以及其他的交通参与者，在不同时间的位置、速度、加速度、状态，角色，它的动作等等囊括起来进行描述。由于现实情况比较复杂具有高维性，所以尤其具有挑战性。

 对于自动驾驶汽车测试，需要以自动驾驶的事故率作为安全性能的平均指标。根据兰德公司的数据分析，由于对人类司机来说，事故率非常小，在95%的置信水平下，以不超过20%的相对估计误差构造总体比例的置信区间时，需要大约88亿英里才能遇到如此多的事故，即使在激进的测试假设下，也需要数百年的时间。

三、NADE与传统方法相比有何优势 

 为了解决以上两个挑战，封硕教授等引入了重要性采样建立一个新的抽样分布，其基本思想，就是把这个自动驾驶环境和对抗驾驶环境进行某种程度上的平衡与融合，形成既有自然性又有对抗性的环境，即NADE。理论上可以证明，在这样一个新的环境里，既能保证测试的无偏性，也能大幅提高测试效率。

 智能测试的关键在于定义了测试关键度评价指标，该指标由manual challenge与exposure frequency相乘得到。manual challenge代表给定场景下自动驾驶汽车发生事故的概率，exposure frequency代表给定场景在自然驾驶环境中的概率。NADE理论表示如果存在罕见事件关键变量的小子集，对变量的小子集采用重要抽样方法，对其余变量采用粗蒙特卡罗方法。那么方差将随着关键变量的维数而增加，而不是所有变量。

 为了解决高维度挑战，NADE利用代理模型生成既有对抗性又有自然性的测试场景库。以下为NADE总体流程图：

 报告结束后，在座的师生同封教授展开了热烈、深入的讨论，封教授对于如何写作及提炼科学问题等给予了宝贵的建议，双方均获得了较大的收获。此次学术交流将促进了双方今后的进一步合作，促进了我室在认知决策、智能应用等方向上的进一步发展。

报告人简介：

 封硕，博士，清华大学自动化系助理教授、特聘研究员、博士生导师，曾任美国密西根大学助理研究员，从事自动驾驶汽车智能等效加速测试理论与方法研究，以通讯作者或第一作者在《自然》(封面论文)、《自然·通讯》等高水平期刊发表论文，曾获IEEE智能交通系统学会“最佳博士学位论文奖”美国运筹与管理协会“2021年度智能交通系统最佳论文奖”