4076.
随机优化算法是机器学习中处理大规模数据和复杂模型的重要方法.其中,方差缩减方法(如STORM算法)因其在随机非凸优化问题中能够实现最优的O(T
-1/3)收敛速率而受到广泛关注.然而,传统的方差缩减方法通常需要依赖特定的问题参数(如光滑系数、噪声方差和梯度上界)来设置学习率和动量,使得它们在实际应用中难以直接使用.为了解决这一问题,提出了一种基于归一化的自适应方差缩减方法,该方法无需预先知道问题参数,仍然能够实现最优的收敛速率.与现有的自适应方差缩减方法相比,所提方法具有以下显著优势:(1)无需依赖额外假设,如梯度有界、函数值有界或极大的初始批量大小;(2)实现了最优的O(T
-1/3)收敛速率,不包含额外的O(logT)项;(3)证明过程简洁明了,便于推广到其他随机优化问题.最后,通过数值实验将该方法与其他方法进行了对比,验证了其优越性.… …
相似文献