学习率的重要性 如果把梯度下降算法比作机器学习中的一把 “神兵利器”,那么学习率就是梯度下降算法这把武器对应的 “内功心法”,只有调好学习率这个超参数,才能让梯度下降算法更好地运作,让模型产生更好的效果。 在《梯度下降算法总结》一文中,...
优化算法
学习率的重要性 如果把梯度下降算法比作机器学习中的一把 “神兵利器”,那么学习率就是梯度下降算法这把武器对应的 “内功心法”,只有调好学习率这个超参数,才能让梯度下降算法更好地运作,让模型产生更好的效果。 在《梯度下降算法总结》一文中,...
概述 梯度下降(Gradient Descent)是应用非常广泛的优化算法之一,其应用范围涵盖经典机器学习算法、神经网络、深度学习。机器学习问题很大程度上来说其实就是找到一个合适的目标函数,然后不断优化参数的最优化过程,而梯度下降正是最优...
概述 正则化是机器学习中非常重要的一个技术点,因为它能够简单有效的减少泛化误差,在机器学习的应用实践中出现频率很高,尤其在深度学习模型中,由于其模型参数非常多很容易产生过拟合,使用正则化技术是行之有效的方法,因此正则化技术的研究成为了机器...