深度学习经验损失函数地貌分析研究进展

作者：梁若冰; 刘波; 孙越泓

来源：系统工程理论与实践, 2022, 43(03): 813-823.

• 深度学习
• 经验损失函数
• 地貌分析

经验损失函数地貌分析是揭示深度学习优化问题易优性本质的有效途经,已成为机器学习及数学优化领域的重要研究方向.本文回顾了经验损失函数地貌分析的研究进展和挑战,主要包括局部极小点的数量与空间分布、最优点之间的连通性、临界点的最优性、梯度下降法收敛性、经验损失函数地貌可视化等.

• 单位
  中国科学院数学与系统科学研究院; 中国科学院大学; 南京师范大学