人工智能前沿系列讲座(第3场)——阿尔伯特大学客座教授姚恒帅学术报告

发布时间:2022-09-27 点击:

报告题目: Step-Size Planning(步长规划)

报告摘要:

针对病态问题和非凸优化问题,梯度下降法收敛缓慢。自适应步长是加速收敛的一种重要方法。本次报告中,首先会回顾近几十年关于自适应步长的相关工作,其中包括来自经典优化的Polyak 步长和IDBD方法,以及深度学习第一波神经网络浪潮引发的Adam、Hypergradient Desnce、L4和LossGrad方法,同时会介绍自适应步长和元学习的关联。 接下来,将会讨论步长的一种新形式,对角矩阵步长,它相对标量步长具有更强的投影能力,使优化具有更多可能,其次将会讨论对角矩阵步长的方向,并展示对于确定性梯度,允许某些维度负步长可以加快收敛。最后将讨论把Dyna-style规划应用于自适应步长,这个方法解决了著名的 Rosenbrock函数问题,可以在500 次以内的梯度评估中达到零误差,而梯度下降需要10000+次迭代才能达到1e-3的准确度。arxiv: https://arxiv.org/abs/2204.01705

个人简介:

姚恒帅,阿尔伯特大学担任客座教授,加拿大Edmonton市华为人工智能团队创始人。1999年- 2003年在山东理工大学数学院信息与计算科学专业学习,于2003年考入清华大学计算机系,师从著名自动控制专家孙增圻,代表清华大学参加世界足球机器人2004年大赛取得第四名,从2005年开始学习研究强化学习算法和理论,2007年至2008年在香港城市大学做访问,期间在机器学习年会(ICML)发表一篇文章。2008年开始在University of Alberta大学研究强化学习,师从现代强化学习之父 Rich Sutton和数学家Csaba Szepesvari,主要研究基于模型的强化学习。在人工智能的顶级学术会议 NIPS,ICML,AAAI发表文章多篇。目前的兴趣也包括深度学习的理解和优化算法。

报告时间:2022年10月2日(星期日)上午10:30-12:00

报告地点:腾讯会议:783-797-710