一种非光滑强凸函数的随机次梯度镜面下降算法  

A Stochastic Sub-Gradient Mirror Descent Algorithm for Non-Smooth and Strongly Convex Functions

作　　者：周倩 罗贤兵 王鑫 

机构地区：[1]贵州大学数学与统计学院,贵州贵阳

出　　处：《理论数学》2018年第3期221-229,共9页Pure Mathematics

基　　金：国家自然科学基金(11461013);贵州省公共大数据重点实验开放课题项目(2017BDKFJJ012)。

摘　　要：镜面下降法(MD)在机器学习问题中已有些实际应用,针对大规模数据的处理和非光滑损失凸优化问题,本文将迭代平均与随机次梯度镜面下降方法相结合,得到了一种改进的方法,通过对问题域的特殊处理,利用它们的结构,提出一种加权平均的随机次梯度镜面下降算法。在这个加权平均过程中,平均迭代不用于构造算法,而是作为算法的副产品出现,其中平均权重由算法使用的步长确定。该算法有很好的收敛性。对于强凸函数,我们证明了该算法的最佳收敛速度达到? ?? ?? ?o 1k。

关 键 词：镜面下降法 非光滑损失凸优化 随机次梯度镜面下降法 迭代加权平均 

分 类 号：O1[理学—数学]