方向二、多任务知识迁移

图 方向二研究内容

本方向重点围绕新型智能算法在视觉语义理解、自然语言处理和多模态协同融合等关键任务进行知识迁移过程中产生的各类科学问题开展研究工作，进一步提升计算机对图像、文本、语音等复杂异构数据的理解和分析能力，为新型智能算法在各类行业场景中落地应用奠定基础。

（一）本方向主要研究内容

（1）视觉语义理解

l 围绕通用二维图像分割问题，结合大规模预训练模型，研究不同条件下的知识迁移学习方法，确保图像语义分割算法的高精度和强泛化能力；

l 研究光照变化等复杂环境约束下的高精度目标识别算法，提高识别结果的鲁棒性；

l 研究高质量训练样本数量有限情况下的三维形状特征高效提取方法，增强三维形状分析算法的跨类别知识迁移能力，实现面向海量复杂三维形状的自动语义分析和理解。

（2）自然语言处理

l 研究语言模型和Prompt之间的高效交互，提升语言模型在多样性自然语言处理任务中的性能；

l 深入分析语言模型和Prompt设计在不同任务和样本情况下的表现，实现零样本和小样本任务泛化。

（3）多模态协同融合

l 研究多模态数据的高效表示、转换和对齐，实现数据的跨模态鲁棒关联；

l 研究多模态数据的一致性特征融合，确保跨模态异构数据间的有效互补；

l 研究多模态数据的共同学习，通过联合建模，形成多模态数据的统一处理框架，实现多任务和多模态条件下信息的同步共享和交互，提高智能算法的泛化能力。

（二）本方向负责人简介

舒振宇，教授，2010年博士毕业于浙江大学，2015年至2016年期间在美国犹他大学计算机学院从事访问研究工作。现为浙大宁波理工学院科研处副处长、数据工程与计算科学研究所所长、浙江大学硕士生导师、中国计算机学会计算机辅助设计与图形学专委会委员、中国工业与应用数学学会几何设计与计算专委会委员、中国图学学会图学大数据专委会委员、国家自然科学基金项目评审专家。入选浙江省“万人计划”青年拔尖人才、浙江省高校领军人才培养计划（“5246人才工程”）创新领军人才、宁波市“六争攻坚”百名创新人才、宁波市优秀留学人才、宁波市领军拔尖人才工程第一层次，担任中国计算机辅助设计与图形学会议程序委员会委员、全国几何设计与计算学术会议程序委员会委员、《IEEE Transactions on Visualization and Computer Graphics》、《IEEE Transactions on Multimedia》、《Computer Graphics Forum》、《Computer Aided Geometric Design》、《Computer Animation and Virtual Worlds》、《Computers & Graphics》、《The Visual Computer》、《IEEE Computer Graphics and Applications》、《软件学报》、《计算机辅助设计与图形学学报》等学术期刊审稿人。目前主要从事新型智能算法和数字孪生领域的研究工作，已在包括《ACM Transactions on Graphics》、《ACM CHI Conference on Human Factors in Computing Systems》、《ACM Transactions on Multimedia Computing, Communications, and Applications》、《IEEE Transactions on Visualization and Computer Graphics》、《IEEE Transactions on Multimedia》、《Computer-Aided Design》、《Computer Aided Geometric Design》等在内的各类学术期刊与会议发表论文50余篇，获得国家发明专利9项、软件著作权6项，先后主持国家自然科学基金3项、浙江省自然科学基金3项、宁波市自然科学基金6项、宁波市“科技创新2025”重大专项3项、国家重点实验室开放基金1项，宁波市领军拔尖人才工程择优资助项目1项，主参国家自然科学基金1项、国家社科基金1项、教育部基金项目1项，参与完成了4项国家自然科学基金的研究工作，以第一完成人获浙江省自然科学奖三等奖1项。