一、个人简介
宋启亚，工学博士，2023年毕业于湖南大学电气与信息工程学院/机器人视觉感知与控制技术国家工程研究中心（师从李树涛教授），2024年入职于澳门新莆京游戏网站。以第一/共一作者在IEEE TNNLS、ACM Multimedia等高水平国际期刊/会议发表论文多篇，论文发表获得到国内外同行的关注，申请/授权发明专利五项（其中一项已经完成成果转换）。
在国际顶级会议ACL、ACM以及全球最大竞赛平台kaggle上举办的国际竞赛获得冠军4项、亚军2项；获得国际“互联网+” 创新创业大赛全国银奖/铜奖等；作为研究骨干参与国家重点研发、JKW等国家级/省部级项目多项，与等国内外知名企业和技术企业保持良好合作关系。长期担任IEEE TNNLS、IEEE TALSP IEEE TMM等国内外期刊的审稿人以及多个专委会执行委员，先后获得湖南大学校长奖学金、湖南大学优秀研究生等荣誉称号。
联系方式(微信号)：QiyS_UNB （如有需求，请注明来意）
Email：sqyunb@hnu.edu.cn
二、研究方向
长期从事多模态信息融合、语音信号处理、视听觉融合、人工智能、深度学习技术等研究；主要如下：
1. 多模态融合的机器人自然交互：针对复杂场景下人机交互系统面临的智能化和情感化挑战，发展多模信息融合（语音、视觉、文本等）的理论方法，攻克智能人机交互技术；
2. 多模图像融合：多模图像融合能利用不同模态的优势，实现更全面、更清晰、更准确的感知，在军事侦察、遥感测绘、医疗诊断等领域发挥重要作用。
三、研究成果
近三年第一/共一作者代表性学术论文：
[1] （第一作者）Multi-modal Sparse Transformer Network for Audio-Visual Speech Recognition, IEEE Transactions on Neural Networks and Learning Systems, 2022, doi:10.1109/TNNLS.2022.3163771 （SCI中科院一区 TOP期刊 IF=14.25）
[2] (第一作者) Multi-scale Conformer Fusion Network for Multi-participant Behavior Analysis. Proceedings of the 31st ACM International Conference on Multimedia. 2023.（国际多媒体顶级会议 CCF_A类会议）
[3]（第一作者）Multi-modal Joint Learning framework with Modality Interaction Network for robust speech recognition, in Information Fusion，under review（SCI中科院一区 TOP期刊 IF=18.60）
[4] (共同一作) Continuing Pre-trained Model with Multiple Training Strategies for Emotional Classification，Proceedings of the 12th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis @ ACL. 2022（CCF_A workshop , EI ）
[5]（共同一作） Prompt-based Pre-trained Model for Personality and Interpersonal Reactivity Prediction，Proceedings of the 12th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis @ ACL. 2022 （CCF_A workshop , EI ）
代表性发明专利（已授权）：
[1] 李树涛，宋启亚，孙斌. 一种智能机器人的多模态融合自然交互方法、系统及介质，CN202210838251.1
[2] 李树涛，宋启亚，孙斌. 一种跨模态多特征融合的音视频语音识别方法及系统，CN 202011001648.2
[3] 李树涛，宋启亚，孙斌. 一种基于跨模态注意力增强的唇语识别方法及系统，CN202110986219.3
[4] 李树涛，宋启亚，李宾，孙斌. 一种基于混合注意力的人机对话生成方法、系统及介质，CN202210916763.5
学术竞赛获奖：
[1] 国际顶级会议ACM Multimedia 多模态多人交互说话人预测：冠军
[2] 国际顶级会议ACM Multimedia 多模态多人交互眼动交流检测：亚军
[3] 国际顶级学术会议ACL WASSA Track2—情感分类Emotion Classification ：冠军
[4] 国际顶级学术会议ACL WASSA Track3—个人性格预测Personality Prediction ：冠军
[5] 国际顶级学术会议ACL WASSA Track4—人际反应指数预测Interpersonal Reactivity Index Prediction ：冠军
[6] 全球最大科学竞赛平台Kaggle 上人工文本检测Artificial Text Detection (multi task) ：亚军
[7] 中国“互联网+”大学生创新创业大赛全国总决赛：银奖/铜奖
四、项目经历
[1] 国家重点研发计划项目（2018YFB1305200），多模态融合的机器人自然交互，2019.06-2022.05，主研
[2] 国防重点项目子课题，XXXXXXXXXX，2021.1-2023.12，主研
[3] 国家自然科学基金面上项目（62171183），服务机器人的多模态自然交互理解与反馈，2022.01-2025.12，主研
[4] 湖南省自然科学基金优秀青年项目（2022JJ20017），服务机器人的多模态融合识别与自然交互，2022.01-2024.12，主研
五、招生信息
课题组（隶属于肖林院长）招收研究生/本科生，欢迎对科研感兴趣、有志于读研/博深造以及进大厂的同学积极报名!课题组团队氛围融洽，注重科研创新，为同学们提供了一个良好的学习与实践平台，研究生/本科生均将进行系统的科研训练，得到对应的编程、阅读论文等多方面能力的培养，并提供对应的计算资源和硬件平台，确保每个学生有所获/有所得。
【招收要求】
（1）对科研有浓厚兴趣，有志于深造的研究生/本科生优先考虑；
（2）计算机科学、人工智能、电子工程等相关专业优先考虑；
（3）具有清晰的读研目标，明确为何读研，而不仅仅是为了获得学位;
（4）科研需要付出大量努力，需要具备自律、耐心和独立工作的能力，耐得住寂寞，方能守得住繁华；
（5）具备良好的英文读写能力和良好的编程能力，熟练使用Python等编程语言。
【培养方式】
（1）“一对一，手把手”：从阅读论文、总结分析论文、编程实验、结果分析到具体撰写论文，各个环节一对一、手把手带；
（2）“多方位驱动”：采用问题驱动、方法驱动、任务驱动的方式进行培养管理，学生定期汇报进度，探讨并进行学术交流；
（3）科学研究并不需要很高的智商和惊人的天赋，但需要你有兴趣、有毅力、有耐性（本人会手把手指导）；
（4）科学研究中涉及到大量的凝练思考：提高自身发现问题和解决问题的能力，对选择继续读研/博深造或进入国企、大厂的同学都有很重要的作用；
（5）科研生活劳逸结合：推崇健康快乐的学习方式和环境，定期组织健康有益的活动，比如羽毛球、篮球、爬山、跑步等活动（活动中产生的一切费用无需学生承担）；
（6）对有意继续深造的同学，建议尽早进入实验室学习。良好的科研基础训练是升学的敲门砖，课题组长期与各个高校的老师保持联系，科研优异者可以推荐到C9高校或者NTU/NUS等高校继续深造；
（7）对于科研优秀的同学会进行对应的科研奖励。
欢迎对科研充满热情、有志于探索人工智能领域的同学加入我们，共同开启科研之旅！
