向量乘法和矩阵乘法是机器学习中的数学基础，但由于二者别名和表示符号众多，导致这些不同的算法极容易混淆，相关知识也变得混乱不堪。本文利用思维导图的方式，将这些知识点整理到一起，以一个清晰的脉络来看清楚这些概念之前的区别和差异。 注：图中的表示符号用的是 LaTex 表示方法，具体代码含义如下面表格所示，另外，有些作者使用符号并不严谨，偶尔会见到符号 “滥用”...

概念 正则化（Regularization）是机器学习中非常重要的一个技术点，因为它能够简单有效的减少泛化误差，在机器学习的应用实践中出现频率很高，尤其在深度学习模型中，由于其模型参数非常多很容易产生过拟合，使用正则化技术是一个行之有效的方法。 常规的正则化是通过在模型的损失函数中引入一个正则化项，来惩罚模型的复杂度。正则化项通常是模型参数的函数，它使得...