2022年6月14日下午，suncitygroup太阳集团数字福建农林大数据研究所举办研究生学术交流会。本次交流会在下安实验楼B603-1会议室进行，线上腾讯会议结合进行，便于广泛交流和指导。此次交流会由2021级计算机科学与技术专业研究生周晗同学主持，2021级电子信息专业研究生徐宏韬和2021级计算机科学与技术专业研究生周晗同学汇报研究工作和内容，suncitygroup太阳集团部分研究生参加了交流会。

交流会现场

徐宏韬同学汇报了以《Green Hierarchical Vision Transformer for Masked Image Modeling》为主题的科研工作，他从研究工作的背景及意义、研究内容与实验分析和总结与展望进行了汇报，对于模型与方法中的研究重点和创新点进行了详细的分析与讲解。针对Swin Transformer在Masked Image Modeling中模型过大的问题，文中提出了基于滑动窗口和贪心算法的Group Window Attention来缩小模型，提高模型训练速度，并详细讨论了该方法的实现原理以及其优点。徐宏韬同学汇报结束后，各位同学踊跃提出了自己的问题和建议。李军同学对Group Window Attention的算法实现过程提出了问题，李文龙同学对于训练后模型准确率的计算方法提出了疑问，方万传同学针对模型的应用场景提出了建议。

周晗同学汇报了以《Training-free Transformer Architecture Search》为主题的科研工作，他从研究工作的背景及意义、实验方法与实验分析和总结与展望进行了汇报，对于方法中的研究重点和创新点进行了详细的分析与讲解。针对Transformer的空间搜索问题，文中提出了用MSA的突触多样性和MLP的突触显著性作为衡量指标，在不需要训练超网的情况下快速高效的找到最优子网，并讨论分析了现有的几种子网搜索方法的结果及性能。周晗同学汇报结束后，各位同学踊跃提出了自己的问题和建议。李军同学对剪枝与MLP突触显著性之间的关系提出了疑问，孙琪同学对于MSA突触多样性关于核范数计算的公式提出了问题，吕钟亮同学针对验证指标有效性的对比实验给出了建议。

     同学们都在探讨中获得了一定的提升。