ICLR,全称为International Conference on Learning Representations,又称国际表征学习大会,该会议每年举办一次。ICLR是机器学习领域全球最高级别的学术会议之一,关注有关深度学习各个方面的前沿研究。ICLR'2024将于2024年5月7日-11日在奥地利维也纳举行。在本次会议中,乐博app在线登录师生共有7篇文章被接收。
论文题目:Efficient Sharpness-Aware Minimization for Molecular Graph Transformer Models
主要作者:王一立博士,王鑫副教授
收录会议:ICLR'2024
会议类别:清华大学推荐A类
论文概述:
锐度感知最小化(SAM)能有效消除训练轨迹中的锐利局部最小值,减轻泛化退化,因此在计算机视觉领域受到越来越多的关注。然而,SAM 需要在每一步优化过程中进行两次连续梯度计算:一次是获取扰动梯度,另一次是获取更新梯度。与基础优化器(如 Adam)相比,SAM 因额外的扰动梯度而增加了一倍的时间开销。
通过对 SAM 理论的剖析和对分子图变换器训练梯度的观察,我们提出了一种名为 GraphSAM 的新算法,它降低了 SAM 的训练成本,提高了图变换器模型的泛化性能。有两个关键因素促成了这一结果:(i)梯度近似:我们使用前一步的更新梯度来平滑地近似中间步骤的扰动梯度(提高效率);(ii)损失景观近似:我们从理论上证明了 GraphSAM 的损失景观被限制在以 SAM 的预期损失为中心的一个小范围内(保证泛化性能)。在六个不同任务的数据集上进行的大量实验证明了 GraphSAM 的优越性,尤其是在优化模型更新过程方面。