深度学习损失函数地貌分析研究进展

Loss landscape analysis for deep learning: A survey

作者： 梁若冰 ^1,2 刘波 ¹ 孙越泓 ³
作者单位：

1. 中国科学院数学与系统科学研究院

2. 中国科学院大学

3. 南京师范大学数学科学学院
通讯作者： 刘波 Email:bliu@amss.ac.cn
提交时间：2021-11-29 16:06:28

摘要: 在机器学习和数学优化研究领域, 深度学习优化问题易优性的数学解释极具挑战性. 损失函数存在高维、非凸、不光滑等特质性, 然而也能通过梯度下降法搜索到全局最优值. 损失函数地貌分析成为揭示深度学习优化问题易优性本质的重要研究方向. 为促进可解释、可信的深度学习在更关键领域的应用, 本文回顾了损失函数地貌特征（局部极小点的数量和空间分布、最优点之间的连通性、临界点的最优性）、梯度下降法收敛性、以及损失函数地貌可视化等方面的研究进展和挑战.

深度学习损失函数地貌分析

来自： 梁若冰
分类： 数学 >> 控制和优化
引用： ChinaXiv:202112.00002 (或此版本 ChinaXiv:202112.00002V1)
DOI:10.12074/202112.00002V1
CSTR:32003.36.ChinaXiv.202112.00002.V1
推荐引用方式： 梁若冰,刘波,孙越泓.(2021).深度学习损失函数地貌分析研究进展.null.[ChinaXiv:202112.00002] (点此复制)

版本历史

[V1]

2021-11-29 16:06:28

ChinaXiv:202112.00002V1

下载全文

相关论文推荐

1. Copula熵：理论和应用	2024-04-11
2. Besov Estimates for Sub-elliptic Equations in the Heisenberg Group	2024-02-22
3. 一种基于拉格朗日反演的级数函数单调区间估计及非零实根的求解方法	2024-02-17
4. 最小妒忌公平性区位模型及案例分析	2023-05-13
5. 单个率Meta分析中率的不同转换方法应用现状	2023-04-19
6. 单个率Meta分析中率的不同转换方法的比较	2023-04-19
7. 单样本率比较（单组目标值法）的样本量计算确切概率法及R语言实现	2023-04-19
8. 两类低重二元线性码的重量分布和重量谱	2023-02-18
9. 变系数Volterra型积分微分方程的2种Legendre谱 Galerkin数值积分方法	2023-02-15
10. 不变流形生长公式及其在磁约束聚变中的应用	2022-12-27


公开评论匿名评论仅发给作者