2022年4月21日下午，天地一体频谱认知实验室组办的认知决策机理与智能科学基础理论高端论坛，邀请了上海交通大学卢策吾教授为我们做了第三场基础研究的学术报告。该报告主题为“行为理解与具身智能”，主要围绕人工智能中的行为理解问题展开讨论。我校副校长、实验室主任吴启晖教授携周福辉教授、周博研究员、黄洋副教授以及相关课题组同学参与了交流。
行为认知是智能科学中的一个重要核心问题，理解世界本质上是理解实体与理解行为相融合的结果。在本次报告中，卢策吾教授围绕人工智能中的行为理解问题，从机器认知、神经认知、具身认知三个角度展开讨论。
首先，卢教授指出从机器认知的角度而言，需要解决如何让机器看懂行为这一问题。对此，卢教授提出了语噪比的概念，在图像识别领域中，语噪比定义为支撑语义判断区间与全图像区间的比值，语噪比越小，使用深度学习识别的难度越高，而行为识别相比于图像识别语噪比显著下降，因此，我们需要采取增加数据量以外的方法来帮助深度学习识别行为。对此，卢教授提出了一种新方法，即可以先感知语噪比高的部分，接着通过知识与推理的融合达成行为识别。在此基础上，卢教授团队通过原语知识库采集细粒度行为数据，通过该数据库学习行为识别方法，并进一步严格证明了“行为元语+规则搜索”的技术路线可以逼近行为识别人类性能。
紧接着，卢教授从神经认知角度阐述了机器认知语义与神经认知的内在关联，利用大规模视觉理解-神经信号闭环系统，对小鼠采集大脑中的神经活动。阐释了机器视觉行为理解与脑神经的内在关联，首次建立了其稳定映射模型，并通过大数据挖掘小鼠行为与区域神经活动的关联性,成功发现并解析了“小鼠社会等级”（Social Rank）行为的神经回路。
此外，卢教授还从具身认知角度阐述了如何将行为理解知识迁移到机器人系统，在介绍了具身智能（Embodied AI)的基础上，进一步提出了PIE方案：通过具身感知（Perception）、具身想象(Imagination)、具身执行(Execution)建立从物体知识库到通用物体抓取的实验方案，其中代表工作GraspNet 首次在未知物体抓取问题上达到人类水平。
最后，卢教授介绍了文章《Complex Sequential Understanding through the Awareness of Spatial and Temporal Concepts》中关于高维度视觉序列理解上的研究成果。神经科学领域的研究发现在人类的记忆形成过程中，时间信息与空间上下文信息是通过两个相对独立的信息通路到达海马体以形成完整的记忆。卢教授在这篇文章中提出了应用于高维度信息的半耦合结构模型（SCS）。SCS自主发掘时间-空间概念，并让他们耦合协作以理解序列信息。这种能力代表着机器学习模型自主掌握了时空的概念，这是一种更高层的智能。更进一步，时空信息概念的分离也让“概念编辑”成为了可能。其中“概念编辑”指通过编辑空间概念且保留时间概念，我们可以让一个原本用于预测狗的运动轨迹的模型做到预测猫的轨迹。这样将以比较小的代价实现模型的泛化，同时也扩宽模型的使用场景与部署难度。
报告结束后，在座的师生同卢策吾教授就频谱态势认知，具身智能等问题展开了热烈、深入的讨论，双方均获得了较大的收获。此次学术交流将促进双方今后的进一步合作，促进我室在认知决策、电磁频谱空间学习等方向上应用类脑机理的研究工作。
报告人简介：
卢策吾，上海交通大学教授，博士生导师，2016年获海外高层次青年引进人才，2018年被《麻省理工科技评论》评为35位35岁以下中国科技精英（MIT TR35），2019年获求是杰出青年学者奖，2020年获上海市科技进步特等奖（第三完成人），2021获中国高被引学者，2022年获上海交通大学校长奖（三位教工之一）。以通讯作者或第一作者在《自然》，《自然·机器智能》，TPAMI等高水平期刊和会议发表论文100多篇；担任《Science》等审稿人，CVPR，ICCV ，ECCV，IROS领域主席。研究兴趣包括计算机视觉，机器人学习 。