基于非单调线搜索的随机梯度下降算法  

Stochastic gradient descent algorithm based on nonmonotone line search

作　　者：吴江苗 周光明[1] WU Jiangmiao;ZHOU Guangming(School of Mathematics and Computational Science,Xiangtan University,Xiangtan 411105,China)

机构地区：[1]湘潭大学数学与计算科学学院,湖南湘潭411105

出　　处：《湘潭大学学报（自然科学版）》2023年第4期74-86,共13页Journal of Xiangtan University(Natural Science Edition)

基　　金：国家自然科学基金(11671342);湖南省教育厅重点项目(18A048)。

摘　　要：提出了一种用于解决大规模问题的基于非单调线搜索技术的随机优化算法,并给出了该算法在强凸条件下的收敛性分析.对两种学习模型分别在不同规模的数据集下进行了实验,数值结果表明该算法能很好地降低损失函数值,且比固定步长下的随机梯度下降算法以及几种自适应算法的收敛速度快.Propose a stochastic optimization algorithm based on nonmonotone line search technique for solving large-scale problems,and give its convergence under strong convexity.Choose two kinds of learning models to experiment under different scale data sets.The numerical results show that the algorithm can well reduce the value of loss function,and the algorithm converges faster than the stochastic gradient descent algorithm with fixed step size and several adaptive algorithms.

关 键 词：随机梯度下降 非单调线搜索方法 凸优化 

分 类 号：TP181[自动化与计算机技术—控制理论与控制工程]