探索和利用（EE）问题 探索与利用（Exploration and Exploitation）问题简称 EE 问题，是计算广告和推荐系统里最常见的两大问题之一（另外一个是冷启动问题）。EE 问题中的利用（Exploitation），表示对用户比较确定的兴趣，要利用开采迎合；而探索（Exploration）则表示光对着用户已知的兴趣使用，用户很快会腻，所以要...

排序算法是《数据结构和算法》中非常基础的算法，但却占据着十分重要的位置，几乎可以说是我们在日常编程代码中使用最频繁的基础算法。本文对常见的十大经典排序算法进行了详细的知识点梳理，从排序思路、动图演示、代码实现、复杂度分析、算法优化等多个方面分别对不同的排序算法进行讲解，内容翔实，一篇文章几乎囊括了排序算法所有必会的知识点。 排序算法的分析和评价 时间复杂...

链表（LikedList）是线性表（Linear List）的一种，是一种非常常见数据结构，链表通过指针将一组零散的内存块串联在一起，通过不同的串联方式形成不同类型的链表结构，最常见有单链表、双链表和循环链表。 基础知识要点 链表的类型 单链表 双链表 从结构上来看，双向链表可以支持 O(1) 时间复杂度的情况下找到前驱...

循环神经网络（recurτent neural network ，RNN）的主要用途是处理和预测序列数据。它能够挖掘数据中的时序信息以及语义信息的深度表达能力被充分利用，并在语音识别、语言模型、机器翻译以及时序分析等方面实现了突破。 RNN 网络结构特点 全连接神经网络或卷积神经网络模型中，网络结构都是从输入层到隐含层再到输出层，层与层之间是全连接或部分...

CNN（Convolutional Neural Network，卷积神经网络）是一种主要用于图像处理和计算机视觉任务的深度学习模型。它通过卷积操作和池化操作来有效地对图像数据进行特征提取，并通过全连接层来进行分类或回归。 CNN 的关键特点是它利用了卷积操作来处理数据。卷积操作通过使用卷积核（也称为过滤器或滤波器）与输入数据的局部区域进行逐元素相乘，并将...

本文的代码整理自郑泽宇等著作的《TensorFlow 实战 Google 深度学习框架（第 2 版）》这本书，个人觉得这本书还是很不错的，除了 TensorFlow，还讲到了很多原理和深度学习的知识点，只是书中的对应的 TensorFlow 版本稍微有点旧了（1.4.0，这应该归咎于 TensorFlow 版本变化太快了，API 变动频繁），我测试使用的 T...

学习率的重要性 如果把梯度下降算法比作机器学习中的一把 “神兵利器”，那么学习率就是梯度下降算法这把武器对应的 “内功心法”，只有调好学习率这个超参数，才能让梯度下降算法更好地运作，让模型产生更好的效果。 在《梯度下降算法总结》一文中，我们已经谈到过在实际应用中梯度下降学习算法可能会遇到局部极小值和鞍点两大挑战。那么，什么样的梯度下降才算是 “合格” 的...

概述 梯度下降是应用非常广泛的优化算法，也是目前最常见的优化神经网络的方法之一。从简单的线性回归到当下火热的深度学习，处处可见梯度下降的身影，由此可见梯度下降的重要性。现在很多知名的深度学习库都已经包含了各种梯度下降优化算法的实现（如 Tensorflow，Cafe，Keras），但依然很有必要去了解梯度下降的底层逻辑，熟知梯度下降不同变种之间的区别，并能...

向量乘法和矩阵乘法是机器学习中的数学基础，但由于二者别名和表示符号众多，导致这些不同的算法极容易混淆，相关知识也变得混乱不堪。本文利用思维导图的方式，将这些知识点整理到一起，以一个清晰的脉络来看清楚这些概念之前的区别和差异。 注：图中的表示符号用的是 LaTex 表示方法，具体代码含义如下面表格所示，另外，有些作者使用符号并不严谨，偶尔会见到符号 “滥用”...

Basemap 是 Python 可视化库 Matplotlib 下的一个工具包，主要功能是绘制二维地图，对于空间数据的可视化非常重要。虽然现在 Python 很多常用的包都已经囊括在 Anaconda 中了，即便没有，也可以使用 PIP 命令直接快速安装，然而 Basemap 却是例外，它既不在 Anaconda 中，也无法用 PIP 直接安装，因此只能手...