报告题目:深度学习中随机动量算法的统一收敛性分析
报 告 人:徐东坡教授
报告摘要:随机动量算法(SGDM)在深度学习实践中的出色表现推动了其理论分析的发展。研究发现,现有结论大多依赖于较强假设(如有界性),而这些假设在实际应用中往往难以满足。如何在更贴合实际情况的背景下,研究SGDM的收敛行为值得进一步探索。本报告将介绍我们关于SGDM的一系列工作:(1)随机动量算法统一框架的建立;(2)有界性假设的移除;(3)最后一次迭代收敛与收敛速率的获得;(4)迭代复杂度的分析。
报告人简介:徐东坡,现任东北师范大学数学与统计学院教授、博士生导师。2004年本科毕业于哈尔滨工程大学数学与应用数学专业,2009 年博士毕业于大连理工大学计算数学专业。研究方向为:深度学习的优化理论及其应用。作为第一作者曾经在《IEEETrans.Neural Netw.Learn.Syst》、《IEEE Trans.Signal Process》、《Neural Networks》、《NeuralComputation》以及《Neurocomputing》等杂志发表多篇SCI 论文。2022 年获得吉林省科学技术奖自然科学奖二等奖,独立完成;2017年获得吉林省自然科学学术成果奖二等奖,排名第一。目前主持国家自然科学基金面上项目一项,作为课题骨干参加了两项国家重点研发计划项目,担任Frontiers in Artificial Intelligence和Frontiers in Big Data期刊的副主编。
报告时间:2023 年10月20日14:00-16:00
报告地点:腾讯会议:422-306-610
联 系 人:范业田