此方向将重点研究多模态数据语义转化，利用智能媒体计算方法实现文字、语音、图像等多模态数据间的相互语义转化；研究多源数据感知融合，实现数字孪生重建，通过多模态融合算法对目标进行语义理解和定性分析；利用高性能计算、自动摘要等手段，实现数据高效多通道转化，提升信息服务实时性能力；集成人工智能、高精定位和人体工学等多学科技术研发智能感知计算，实现对视力障碍、肢体障碍等多类特殊人群服务的智能辅助系统。