清华大学陶晓明教授与我室师生展开学术交流

2021年6月18日下午，应我室副主任董超教授邀请，清华大学陶晓明教授和时光老师莅临我室访问交流，陶晓明教授做了题为“脑启发的多媒体计算通信”的学术报告。副校长、我室主任吴启晖教授携董超教授、周福辉教授、王威研究员、黄洋副教授、李婕副研究员、戚楠老师和徐帆老师以及相关课题组同学参与了交流。

近年来，随着智能终端数量的快速增长与视频分辨率的不断提升，网络中所传输的视频数据量爆炸式增长，造成网络带宽供求矛盾日益尖锐。Cell子刊研究表明大脑传输带宽仅为8Mbps，却可瞬间完成复杂的视觉认知，并且人脑是一个带有反馈的自我演进的复杂系统。如果可以将人脑感知、认知、解码视觉信息的计算模式融入通信过程，将极大的提升多媒体通信的效率。在报告中，陶教授从分析人类感知与认知的本质特征入手，协同类脑计算与通信，以脑神经信号测定（Electroencephalogram， EEG）和深度学习为主要技术手段，研究脑启发的视觉QoE（Quality of experience）度量与计算方法，实现视频QoE的精准稳定评测；接着，基于EEG的视觉语义认知模型，探索人类视觉系统的认知模式；最后，基于EEG的视觉信息解码机制，分析从脑电信号到图像数据的解码方式，并将用户体验实时反馈至网络，进行动态优化、自我演进，为多媒体计算通信提供新的研究范式。

 

报告结束后，在座师生同陶晓明教授和时光老师就脑电波的测量、语义通信等相关学术问题展开了热烈、深入的讨论，双方均获得了较大的收获。今年，陶晓明教授和董超教授联合申报江苏省重点研发计划（产业前瞻）重点项目成功获得立项，此次学术交流将促进双方今后的进一步合作，有助于推动我室在频谱管控以及无人机协同目标识别等方向上应用类脑计算的研究工作。