检索规则说明:AND代表“并且”;OR代表“或者”;NOT代表“不包含”;(注意必须大写,运算符两边需空一格)
检 索 范 例 :范例一: (K=图书馆学 OR K=情报学) AND A=范并思 范例二:J=计算机应用与软件 AND (U=C++ OR U=Basic) NOT M=Visual
作 者:胡东旭 甘敏 HU Dong-xu;GAN Min(College of Computer Science&Technology,Qingdao University,Qingdao 266071,China)
机构地区:[1]青岛大学计算机科学技术学院,青岛266071
出 处:《青岛大学学报(自然科学版)》2023年第3期64-69,75,共7页Journal of Qingdao University(Natural Science Edition)
基 金:国家自然科学基金面上项目(批准号:62073082)资助。
摘 要:针对当前一阶优化算法收敛速度慢,对学习率依赖性强和二阶优化方法复杂度高等问题,利用神经网络固有的可分性,提出递归最小二乘与梯度下降的混合算法(Hybrid Recursive Least-Squares with Stochastic Gradient Descent, HRLSGD),将原本复杂的网络模型分解为更易解决的低维优化问题。实验结果表明,HRLSGD的收敛速度优于主流的一阶优化算法,对于学习率的鲁棒性更高。This approach addresses the strong dependence on learning rate and the slow convergence rate of current first-order optimization algorithms,as well as the high complexity of second-order optimization methods.The hybrid recursive least-squares with stochastic gradient descent(HRLSGD)was proposed,utilizing the inherent separability of neural networks.The original complex network model was decomposed into an easier-to-solve low-dimensional optimization problem.The experimental results show that the convergence speed of the proposed algorithm is better than that of the mainstream first-order optimization algorithms and the robustness of the learning rate is higher.
关 键 词:块坐标下降法 神经网络 递归最小二乘法 随机梯度下降法
分 类 号:TP391.4[自动化与计算机技术—计算机应用技术]
正在载入数据...
正在载入数据...
正在载入数据...
正在载入数据...
正在载入数据...
正在载入数据...
正在载入数据...
正在链接到云南高校图书馆文献保障联盟下载...
云南高校图书馆联盟文献共享服务平台 版权所有©
您的IP:216.73.216.179