CVPR2023|清华大学提出GAM:神经网络“一阶平滑优化器”,显著提升模型“泛化能力”
2024-12-26 23:24
关注公众号,发现CV技术之美
近年来,神经网络收敛位置的平滑性(flatness)被证明与模型泛化能力有直接的联系,而现有对平滑性的定义仍局限于sharpness-aware minimization(SAM)及其变体的零阶平滑性(zeroth-order flatness),即收敛位置邻域域内最大损失值与当前损失值的差。清华大学崔鹏教授的CVPR2023 Highlight论文”Gradient norm aware minimization seeks first-order flatness and improves generalization”发现零阶平滑性有一定的局限性,所以提出了一阶平滑性的概念,并进一步提出了可以约束一阶平滑性的优化器GAM,大量实验证明GAM相比于现有优化器有更强的泛化能力。
- 论文:https://arxiv.org/abs/2303.03108
- 代码:https://github.com/xxgege/GAM
sharpness-aware minimization(SAM)[3]理论证明了平滑极值点在测试数据上的泛化误差低于尖锐极值点,并进一步提出了优化零阶平滑性,即收敛位置邻域半径(perturbation radius,
最新文章
江苏企业互联网营销新起点,百度优化推广实战教程
江苏百度优化推广教程,专为助力企业互联网营销新起点设计。本教程深入解析百度推广策略,涵盖关键词优化、广告创意、数据分析等关键环节,助您快速提升企业网络曝光度,精准触达潜在客户,实现营销目标。随着互联网的快速发展,越来越多的
如何在微信中高效转发聊天记录及注意事项总结
微信怎么转发聊天记录How to Forward Chat History on WeChat 在当今数字化时代,社交软件已经成为我们日常生活中不可或缺的一部分。微信作为中国最流行的通讯工具之一,不仅可以进行文字聊天、语音通话,还支持图片、视频、文件等多种
海外短视频软件,分享生活瞬间的热门应用
在这个数字化的时代,短视频已经成为了人们分享生活瞬间的热门方式。海外短视频软件更是让用户可以与全球的人分享自己的生活点滴,让生活变得更加有趣和有意义。如果你还没有尝试过使用海外短视频软件,那么介绍一些值得一试的应用,以及如
Root精灵
新买来的手机里总是充满了许多预装软件,这些软件普遍信价比不高,更有一些出名的无赖软件。想要删除这些软件也并不容易,需要手机的最高管理员权限,一顿操作后可能还不成功,这个时候就需要《Root精灵》这样的软件了,可以帮你迅速获得RO
谷歌SEO,如何给竞争关键词排名?
在数字营销领域,谷歌SEO无疑是获取流量和曝光度的关键。我深知,在这个日新月异的行业中,如何让自己的网站在谷歌搜索中脱颖而出,对于每一个SEO从业者来说都至关重要。今天,我将结合我的实战经验,分享一些关于如何给竞争关键词排名的实
微信清理大师
《微信清理大师》是一款简单实用的微信优化和清理的手机工具,这款软件操作方便,而且对于用户的隐私信息也有保护作用全方位扫描,为用户清理微信后台垃圾,释放手机空间,加速手机微信的运行的速度,让自己的微信更加的极速!感兴趣的小伙
排行榜:五款免费大头贴制作软件推荐
下面给大家推荐几款好用的免费的大头贴制作软件,有需要的小伙伴们来了解一下。美图拍拍是一款功能强大的摄像头自拍软件,兼容所有主流摄像头。它不仅能够轻松实现大头贴的拍摄,还支持视频录制和搞笑QQ表情制作等丰富功能。该软件拥有众多