熵 (entropy) 这一词最初来源于热力学。1948 年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，以此来解决对信息的量化度量问题。在机器学习中，“熵” 是一个非常重要的基础内容，在 Logistic 回归、决策树、自然语言处理等...

概述 正则化是机器学习中非常重要的一个技术点，因为它能够简单有效的减少泛化误差，在机器学习的应用实践中出现频率很高，尤其在深度学习模型中，由于其模型参数非常多很容易产生过拟合，使用正则化技术是行之有效的方法，因此正则化技术的研究成为了机器...