机器学习、深度学习笔试题 面试题总结

整理看到的内容，以免忘记

里面添加参考的链接，感谢各位大佬

感受野如何计算？

参考链接：/a841454735/article/details/88558906

感受野指的是一个特定的 CNN 特征（特征图上的某个点）在输入空间所受影响的区域。

就是特征图上的一点对应输入特征图的区域

a)第一层卷积层的输出特征图像素的感受野的大小等于滤波器的大小；

b)深层卷积层的感受野大小和它之前所有层的滤波器大小和步长有关系；

c)计算感受野大小时，忽略了图像边缘的影响，即不考虑padding的大小。

计算公式

**方法1 **

从原始input出发，逐层迭代到最后输出：

其中 lk-1 为第 k-1 层对应的感受野大小，fk 为第k 层的卷积核大小，或者是池化层的池化尺寸大小。si为步长

top to down的方式

即从网络的最后向前推

感受野的大小是由kenel size和stride size 一起决定的

rfsize = f(out, stride, ksize) = (out - 1) * stride + ksize，

其中out是指上一层感受野的大小，stride是当前层stride

最后一层不带入公式，它的ksize是前一层的out

RPN

参考链接：RPN详解

参考链接2：一文读懂Faster RCNN

RPN全称是Region Proposal Network，Region Proposal的中文意思是“区域选取”，也就是“提取候选框”的意思，所以RPN就是用来提取候选框的网络

RPN第一次出现在世人眼中是在Faster RCNN这个结构中，专门用来提取候选框，在RCNN和Fast RCNN等物体检测架构中，用来提取候选框的方法通常是Selective Search，是比较传统的方法，而且比较耗时，在CPU上要2s一张图。所以作者提出RPN，专门用来提取候选框，一方面RPN耗时少，另一方面RPN可以很容易结合到Fast RCNN中，称为一个整体。

整体流程：

最后我们再把RPN整个流程走一遍，首先通过一系列卷积得到公共特征图，假设他的大小是N x 16 x 16，然后我们进入RPN阶段，首先经过一个3 x 3的卷积，得到一个256 x 16 x 16的特征图，也可以看作16 x 16个256维特征向量，然后经过两次1 x 1的卷积，分别得到一个18 x 16 x 16的特征图，和一个36 x 16 x 16的特征图，也就是16 x 16 x 9个结果，每个结果包含2个分数和4个坐标，再结合预先定义的Anchors，经过后处理，就得到候选框

AUC是什么？怎么计算

AUC就是ROC曲线与X轴所围成的面积

介绍可变形卷积

参考链接：[可变形卷积从概念到实现过程]

可变形卷积是指卷积核在每一个元素上额外增加了一个参数方向参数，这样卷积核就能在训练过程中扩展到很大的范围。

我们知道卷积核的目的是为了提取输入物的特征。我们传统的卷积核通常是固定尺寸、固定大小的（例如3x3，5x5，7x7.）。这种卷积核存在的最大问题就是，对于未知的变化适应性差，泛化能力不强。

卷积单元对输入的特征图在固定的位置进行采样；池化层不断减小着特征图的尺寸；RoI池化层产生空间位置受限的RoI。网络内部缺乏能够解决这个问题的模块，这会产生显著的问题，例如，同一CNN层的激活单元的感受野尺寸都相同，这对于编码位置信息的浅层神经网络并不可取，因为不同的位置可能对应有不同尺度或者不同形变的物体，这些层需要能够自动调整尺度或者感受野的方法。再比如，目标检测虽然效果很好但是都依赖于基于特征提取的边界框，这并不是最优的方法，尤其是对于非网格状的物体而言。

介绍Transformer公式

参考链接：深度学习attention机制中的Q,K,V分别是从哪来的

有哪些代表性的Attention？

之前写过注意力的博文

介绍常用的移动端/轻量化模型

CNN中可以不用池化么？为什么？

介绍目标检测全部流程（输入到输出）

手推 LR

参考链接：【here】

BN、LN、IN、GN介绍

参考链接：【BN、LN、IN、GN的简介】

参考链接：【Batch Normalization详解以及pytorch实验】

参考链接：【BN与LN的区别】

为什么归一化

通过该方法能够加速网络的收敛并提升准确

神经网络在训练过程中，随着深度加深，输入值分布会发生偏移，向取值区间上下两端靠近，如Sigmoid函数，就会导致反向传播时低层神经网络的梯度消失，这是深层网络收敛越来越慢的重要原因。

Batch Normalization通过一定的规范化手段，把每层神经网络输入值的分布强行拉回到均值为0方差为1的标准正态分布。（纠偏回正过程）

使得分布回到非线性函数对输入比较敏感的区域，使得损失函数能发生较大的变化（梯度变大），避免梯度消失问题。

同时梯度变大能加快模型收敛速度，提高训练速度。

我们在图像预处理过程中通常会对图像进行标准化处理，这样能够加速网络的收敛，对于Conv1来说输入的就是满足某一分布的特征矩阵，但对于Conv2而言输入的feature map就不一定满足某一分布规律了，因为经过conv1卷积之后数据发生了变化（注意这里所说满足某一分布规律并不是指某一个feature map的数据要满足分布规律，理论上是指整个训练样本集所对应feature map的数据要满足分布规律）。而我们Batch Normalization的目的就是使我们的feature map满足均值为0，方差为1的分布规律

神经网络中有各种归一化算法：Batch Normalization (BN)、Layer Normalization (LN)、Instance Normalization (IN)、Group Normalization (GN)。

在我们训练网络的过程中，我们是通过一个batch一个batch的数据进行训练的，但是我们在预测过程中通常都是输入一张图片进行预测，此时batch size为1，如果在通过上述方法计算均值和方差就没有意义了。所以我们在训练过程中要去不断的计算每个batch的均值和方差，并使用移动平均(moving average)的方法记录统计的均值和方差，在训练完后我们可以近似认为所统计的均值和方差就等于整个训练集的均值和方差。然后在我们验证以及预测过程中，就使用统计得到的均值和方差进行标准化处理。

Batch Normalization (BN)

Layer Normalization

Batch Normalization 的一个缺点是需要较大的 batchsize 才能合理估训练数据的均值和方差(横向计算)，这导致内存很可能不够用，同时它也很难应用在训练数据长度不同的 RNN 模型上。Layer Normalization (LN) 的一个优势是不需要批训练，在单条数据内部就能归一化。就是对每一个通道进行norm

LN 对每个样本的 C、H、W 维度上的数据求均值和标准差，保留 N 维度。

Group Normalization

Group Normalization (GN) 适用于占用显存比较大的任务，例如图像分割。对这类任务，可能 batchsize 只能是个位数，再大显存就不够用了。而当 batchsize 是个位数时，BN 的表现很差，因为没办法通过几个样本的数据量，来近似总体的均值和标准差。GN 也是独立于 batch 的，它是 LN 和 IN 的折中。

GN 计算均值和标准差时，把每一个样本 feature map 的 channel 分成 G 组，每组将有 C/G 个 channel，然后将这些 channel 中的元素求均值和标准差。各组 channel 用其对应的归一化参数独立地归一化

常用激活函数介绍及其作用

链接：【激活函数–Sigmoid,tanh,RELU,RELU6,Mish,Leaky ReLU等】

sigmoid

relu

tanh

介绍知识蒸馏原理

ReLU和ReLU6的区别

参考链接:【激活函数–Sigmoid,tanh,RELU,RELU6,Mish,Leaky ReLU等】

KNN 和 K-means介绍一下

这个比较简单

Bagging和Boosting的区别

参考链接1

参考链接2

bagging：bootstrap aggregating的缩写。让该学习算法训练多轮，每轮的训练集由从初始的训练集中随机取出的n个训练样本组成，某个初始训练样本在某轮训练集中可以出现多次或根本不出现，训练之后可得到一个预测函数序列h_1，⋯ ⋯h_n ，最终的预测函数H对分类问题采用投票方式，对回归问题采用简单平均方法对新示例进行判别。

训练R个分类器f_i，分类器之间其他相同就是参数不同。其中f_i是通过从训练集合中(N篇文档)随机取(取后放回)N次文档构成的训练集合训练得到的。对于新文档d，用这R个分类器去分类，得到的最多的那个类别作为d的最终类别。

boosting: 其中主要的是AdaBoost（Adaptive Boosting）。初始化时对每一个训练例赋相等的权重1／n，然后用该学算法对训练集训练t轮，每次训练后，对训练失败的训练例赋以较大的权重，也就是让学习算法在后续的学习中集中对比较难的训练例进行学习，从而得到一个预测函数序列h_1,⋯, h_m , 其中h_i也有一定的权重，预测效果好的预测函数权重较大，反之较小。最终的预测函数H对分类问题采用有权重的投票方式，对回归问题采用加权平均的方法对新示例进行判别。

（类似Bagging方法，但是训练是串行进行的，第k个分类器训练时关注对前k-1分类器中错分的文档，即不是随机取，而是加大取这些文档的概率。)

（pku， sewm，shinningmonster.）

Bagging与Boosting的区别：二者的主要区别是取样方式不同。Bagging采用均匀取样，而Boosting根据错误率来取样，因此Boosting的分类精度要优于Bagging。Bagging的训练集的选择是随机的，各轮训练集之间相互独立，而Boostlng的各轮训练集的选择与前面各轮的学习结果有关；Bagging的各个预测函数没有权重，而Boosting是有权重的；Bagging的各个预测函数可以并行生成，而Boosting的各个预测函数只能顺序生成。对于象神经网络这样极为耗时的学习方法。Bagging可通过并行训练节省大量时间开销。

bagging和boosting都可以有效地提高分类的准确性。在大多数数据集中，boosting的准确性比bagging高。在有些数据集中，boosting会引起退化— Overfit。

Boosting思想的一种改进型 AdaBoost方法在邮件过滤、文本分类方面都有很好的性能。

gradient boosting（又叫Mart, Treenet)：Boosting是一种思想，Gradient Boosting是一种实现Boosting的方法，它主要的思想是，每一次建立模型是在之前建立模型损失函数的梯度下降方向。损失函数(loss function)描述的是模型的不靠谱程度，损失函数越大，则说明模型越容易出错。如果我们的模型能够让损失函数持续的下降，则说明我们的模型在不停的改进，而最好的方式就是让损失函数在其梯度（Gradient)的方向上下降。

Rand forest： 随机森林，顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一类。 在建立每一棵决策树的过程中，有两点需要注意 - 采样与完全分裂。首先是两个随机采样的过程，random forest对输入的数据要进行行、列的采样。对于行采样，采用有放回的方式，也就是在采样得到的样本集合中，可能有重复的样本。假设输入样本为N个，那么采样的样本也为N个。这样使得在训练的时候，每一棵树的输入样本都不是全部的样本，使得相对不容易出现over-fitting。然后进行列采样，从M个feature中，选择m个(m << M)。之后就是对采样之后的数据使用完全分裂的方式建立出决策树，这样决策树的某一个叶子节点要么是无法继续分裂的，要么里面的所有样本的都是指向的同一个分类。一般很多的决策树算法都一个重要的步骤 - 剪枝，但是这里不这样干，由于之前的两个随机采样的过程保证了随机性，所以就算不剪枝，也不会出现over-fitting。 按这种算法得到的随机森林中的每一棵都是很弱的，但是大家组合起来就很厉害了。

可以这样比喻随机森林算法：每一棵决策树就是一个精通于某一个窄领域的专家（因为我们从M个feature中选择m让每一棵决策树进行学习），这样在随机森林中就有了很多个精通不同领域的专家，对一个新的问题（新的输入数据），可以用不同的角度去看待它，最终由各个专家，投票得到结果。

Rand forest与bagging的区别：1）. Rand forest是选与输入样本的数目相同多的次数（可能一个样本会被选取多次，同时也会造成一些样本不会被选取到），而bagging一般选取比输入样本的数目少的样本；2）. bagging是用全部特征来得到分类器，而rand forest是需要从全部特征中选取其中的一部分来训练得到分类器； 一般Rand forest效果比bagging效果好！

Bootstrap采样

参考链接：【Python | Bootstrap采样实现】

1 定义

即Bootstrap的定义是利用有限的样本经由多次重复抽样，建立起充足的样本，在机器学习中解决了样本不足的问题。

Bootstrap是非参数统计方法，其实质是对观测信息进行再抽样，进而对总体的分布特性进行统计推断。

2 Bootstrap步骤

它是一种有放回的抽样方法，它是非参数统计中一种重要的估计统计量方差进而进行区间估计的统计方法。其核心思想和基本步骤如下：

采用重抽样技术从原始样本中抽取一定数量（自己给定）的样本，此过程允许重复抽样

根据抽出的样本计算给定的统计量T。

重复上述N次（一般大于1000），得到N个统计量T。

计算上述N个统计量T的样本方差，得到统计量的方差。

同理，可以估计总体的均值等其余统计量

3 为什么要进行Bootstrap采样

数据集较小时是不错的选择。自助法在数据集较小、难以有效划分训练集和测试集时很有用；将多次随机抽样得到的样本作为训练集，将初始数据作为测试集。

对集成学习方法有帮助。此外，自助法能从初始数据集中产生多个不同的训练集，这对集成学习等方法有很大的好处。

稳健性和效率高。该方法充分利用了给定的观测信息，不需要模型其他的假设和增加新的观测，并且具有稳健性和效率高的特点

但会引入估计偏差。然而，自助法产生的数据集改变了初始数据集的分布，这会引入估计偏差。因此，在初始数据量足够时，留出法和交叉验证法更常用一些。

XGboost、GBDT算法

参考链接：【链接1】【链接2】 【链接3】

XGBoost与GBDT有什么不同

除了算法上与传统的GBDT有一些不同外，XGBoost还在工程实现上做了大量的优化。总的来说，两者之间的区别和联系可以总结成以下几个方面。

GBDT是机器学习算法，XGBoost是该算法的工程实现。在使用CART作为基分类器时，XGBoost显式地加入了正则项来控制模 型的复杂度，有利于防止过拟合，从而提高模型的泛化能力。GBDT在模型训练时只使用了代价函数的一阶导数信息，XGBoost对代 价函数进行二阶泰勒展开，可以同时使用一阶和二阶导数。传统的GBDT采用CART作为基分类器，XGBoost支持多种类型的基分类 器，比如线性分类器。传统的GBDT在每轮迭代时使用全部的数据，XGBoost则采用了与随机 森林相似的策略，支持对数据进行采样。传统的GBDT没有设计对缺失值进行处理，XGBoost能够自动学习出缺 失值的处理策略。

RF(随机森林)与GBDT之间的区别与联系

相同点：

都是由多棵树组成，最终的结果都是由多棵树一起决定。

RF和GBDT在使用CART树时，可以是分类树或者回归树。

不同点：

组成随机森林的树可以并行生成，而GBDT是串行生成

随机森林的结果是多数表决表决的，而GBDT则是多棵树累加之和

随机森林对异常值不敏感，而GBDT对异常值比较敏感

随机森林是减少模型的方差，而GBDT是减少模型的偏差

随机森林不需要进行特征归一化。而GBDT则需要进行特征归一化

小卷积核和大卷积核的应用场景

怎么处理长尾问题？从样本，模型的角度来看

以下是个人的回答：

样本方面：通过对样本量较少的类别进行过采样，利用一些图像增强的方法，生成图像，达到各类别均衡。缺点是容易过拟合

模型角度：1 对损失函数进行改进，给予小样本的更多权值。 2 针对梯度进行改进，（还不太熟悉）

常用的聚类算法

参考链接：link link2

1.K-means聚类：

算法步骤：

(1) 首先我们选择一些类/组，并随机初始化它们各自的中心点。中心点是与每个数据点向量长度相同的位置。这需要我们提前预知类的数量(即中心点的数量)。

(2) 计算每个数据点到中心点的距离，数据点距离哪个中心点最近就划分到哪一类中。

(3) 计算每一类中中心点作为新的中心点。

(4) 重复以上步骤，直到每一类中心在每次迭代后变化不大为止。也可以多次随机初始化中心点，然后选择运行结果最好的一个。

优点：

速度快，计算简便

缺点：

我们必须提前知道数据有多少类/组。

K-Medians是K-Means的一种变体，是用数据集的中位数而不是均值来计算数据的中心点。

K-Medians的优势是使用中位数来计算中心点不受异常值的影响；缺点是计算中位数时需要对数据集中的数据进行排序，速度相对于K-Means较慢。

2 均值漂移聚类

均值漂移聚类是基于滑动窗口的算法，来找到数据点的密集区域。这是一个基于质心的算法，通过将中心点的候选点更新为滑动窗口内点的均值来完成，来定位每个组/类的中心点。然后对这些候选窗口进行相似窗口进行去除，最终形成中心点集及相应的分组。

具体步骤：

确定滑动窗口半径r，以随机选取的中心点C半径为r的圆形滑动窗口开始滑动。均值漂移类似一种爬山算法，在每一次迭代中向密度更高的区域移动，直到收敛。

每一次滑动到新的区域，计算滑动窗口内的均值来作为中心点，滑动窗口内的点的数量为窗口内的密度。在每一次移动中，窗口会想密度更高的区域移动。

移动窗口，计算窗口内的中心点以及窗口内的密度，知道没有方向在窗口内可以容纳更多的点，即一直移动到圆内密度不再增加为止。

步骤一到三会产生很多个滑动窗口，当多个滑动窗口重叠时，保留包含最多点的窗口，然后根据数据点所在的滑动窗口进行聚类。

基于密度的聚类方法(DBSCAN)

与均值漂移聚类类似，DBSCAN也是基于密度的聚类算法。

具体步骤：

首先确定半径r和minPoints. 从一个没有被访问过的任意数据点开始，以这个点为中心，r为半径的圆内包含的点的数量是否大于或等于minPoints，如果大于或等于minPoints则改点被标记为central point,反之则会被标记为noise point。重复1的步骤，如果一个noise point存在于某个central point为半径的圆内，则这个点被标记为边缘点，反之仍为noise point。重复步骤1，知道所有的点都被访问过。

优点：不需要知道簇的数量

缺点：需要确定距离r和minPoints

用高斯混合模型（GMM）的最大期望（EM）聚类

K-Means的缺点在于对聚类中心均值的简单使用。下面的图中的两个圆如果使用K-Means则不能作出正确的类的判断。同样的，如果数据集中的点类似下图中曲线的情况也是不能正确分类的。

这里写图片描述

使用高斯混合模型（GMM）做聚类首先假设数据点是呈高斯分布的，相对应K-Means假设数据点是圆形的，高斯分布（椭圆形）给出了更多的可能性。我们有两个参数来描述簇的形状：均值和标准差。所以这些簇可以采取任何形状的椭圆形，因为在x，y方向上都有标准差。因此，每个高斯分布被分配给单个簇。

所以要做聚类首先应该找到数据集的均值和标准差，我们将采用一个叫做最大期望(EM)的优化算法。下图演示了使用GMMs进行最大期望的聚类过程。

深度学习

参考链接：

深度学习三十问！一位算法工程师经历30+场CV面试后总结的常见问题合集（含答案）

感谢大佬的博文

优化器

一阶方法:

一阶方法：随机梯度下降（SGD）、动量（Momentum）、牛顿动量法（Nesterov动量）、AdaGrad（自适应梯度）、RMSProp（均方差传播）、Adam、Nadam。

二阶方法：牛顿法、拟牛顿法、共轭梯度法（CG）、BFGS、L-BFGS。

自适应优化算法有哪些？（Adagrad（累积梯度平方）、RMSProp（累积梯度平方的滑动平均）、Adam（带动量的RMSProp，即同时使用梯度的一、二阶矩））。

梯度下降陷入局部最优有什么解决办法？

可以用BGD、SGD、MBGD、momentum，RMSprop，Adam等方法来避免陷入局部最优。

机器学习笔试题

bootstrap统计抽样方法：有放回地从总共N个样本中抽样n个样本。

基于bootstrap，有以下常用的机器学习方法

boostingbaggingrandom forest（RF, 随机森林）

问题

基于规则的排序方案 :依据规则质量的某种度量对规则进行排序。这种排序方案确保每一个测试记录都是由覆盖它的"最好的"规则来分类。

基于类的排序方案:属于同一个类的规则在规则集R中一起出现。然后，这些规则根据它们所属的类信息一起排序

机器学习中L1正则化和L2正则化的区别是？

答案：

使用L1可以得到稀疏的权值

使用L2可以得到平滑的权值

一些解析：

参考链接:【机器学习中的范数规则化之（一）L0、L1与L2范数】

机器学习中做特征选择时，可能用到的方法有？

卡方 信息增益 平均互信息 期望交叉熵

在文本分类中，首先要对数据进行特征提取，特征提取中又分为特征选择和特征抽取两大类，在特征选择算法中有互信息，文档频率，信息增益，卡方检验以及期望交叉熵。

期望交叉熵，以文本分类为例子，期望交叉熵用来度量一个词对于整体的重要程度。

在ID3决策树中，也使用信息增益作为特征选择的方法，在C4.5决策树中，使用信息增益比作为特征选择的方法，在CART中，使用基尼指数作为特征选择的方法

以下哪些方法不可以直接来对文本分类？

Kmeans 决策树 支持向量机 KNN

答案是Kmeans

不太懂

kmeans和knn之间的区别

参考链接：kmeans和knn相同点和不同点

区别1：聚类和分类最大的不同在于，分类的目标是事先已知的，而聚类则不一样，聚类事先不知道目标变量是什么，类别没有像分类那样被预先定义出来，所以，聚类有时也叫无监督学习。聚类分析试图将相似的对象归入同一簇，将不相似的对象归为不同簇

区别2：K-means算法虽然比较容易实现，但是其可能收敛到局部最优解，且在大规模数据集上收敛速度相对较慢。

下列哪个不属于CRF模型对于HMM和MEMM模型的优势（ ）

特征灵活

速度快 ✔

可容纳较多上下文信息

全局最优

——解析

CRF模型详解

下列方法中，可以用于特征降维的方法包括（）

主成分分析PCA ✔

线性判别分析LDA ✔

深度学习SparseAutoEncoder ✔

矩阵奇异值分解SVD ✔

最小二乘法LeastSquares

Nave Bayes是一种特殊的Bayes分类器,特征变量是X,类别标签是C,它的一个假定是:()

正确答案: C

各类别的先验概率P©是相等的

以0为均值，sqr(2)/2为标准差的正态分布

特征变量X的各个维度是类别条件独立随机变量

P(X|C)是高斯分布

以下哪个模型是生成式模型：

正确答案: A

贝叶斯模型

逻辑回归

SVM

条件随机场

————

生成模型，就是生成(数据的分布)的模型；

判别模型，就是判别(数据输出量)的模型。

生成式模型：

朴素贝叶斯混合高斯模型隐马尔科夫模型(HMM)贝叶斯网络Sigmoid Belief Networks马尔科夫随机场(Markov Random Fields)深度信念网络(DBN)

判别式模型：

K近邻(KNN)线性回归(Linear Regression)逻辑斯蒂回归(Logistic Regression)神经网络(NN)支持向量机(SVM)高斯过程(Gaussian Process)条件随机场(CRF)CART(Classification and Regression Tree)

以下关于正则化的描述正确的是（）

正确答案: A B C D

正则化可以防止过拟合

L1正则化能得到稀疏解

L2正则化约束了解空间

Dropout也是一种正则化方法

在统计模式识分类问题中，当先验概率未知时，可以使用（）

正确答案: B C

最小损失准则

N-P判决

最小最大损失准则

最小误判概率准则

以下()属于线性分类器最佳准则?

正确答案: A C D

感知准则函数

贝叶斯分类

支持向量机

Fisher准则

——————

线性分类器有三大类：感知器准则函数、SVM、Fisher准则，而贝叶斯分类器不是线性分类器。

感知器准则函数：代价函数J=-(W*X+w0)，分类的准则是最小化代价函数。感知器是神经网络（NN）的基础，网上有很多介绍。

SVM：支持向量机也是很经典的算法，优化目标是最大化间隔（margin），又称最大间隔分类器，是一种典型的线性分类器。（使用核函数可解决非线性问题）

Fisher准则：更广泛的称呼是线性判别分析（LDA），将所有样本投影到一条远点出发的直线，使得同类样本距离尽可能小，不同类样本距离尽可能大，具体为最大化“广义瑞利商”。

贝叶斯分类器：一种基于统计方法的分类器，要求先了解样本的分布特点（高斯、指数等），所以使用起来限制很多。在满足一些特定条件下，其优化目标与线性分类器有相同结构（同方差高斯分布等），其余条件下不是线性分类。

下列哪些方法可以用来对高维数据进行降维:

正确答案: A B C D E F

LASSO

主成分分析法

聚类分析

小波分析法

线性判别法

拉普拉斯特征映射

😊深度学习笔试题

ResNet-50 有多少个卷积层?

49个

49个卷积层+1个全连接层

Dropout不影响测试时间

下列哪些项所描述的相关技术是错误的？

正确答案: C

AdaGrad使用的是一阶差分(first order differentiation)

L-BFGS使用的是二阶差分(second order differentiation)

AdaGrad使用的是二阶差分

————

AdaGrad是梯度下降法，用的是一阶导数信息，L-BFGS是拟牛顿法，在牛顿法的基础上发展而来的，用到了二阶导数信息。

牛顿法、拟牛顿法、adam，rmsgrad用到了二阶导

momentum、adgrad用的是一阶导，adgrad的特点是历史梯度正则。

深度学习中的激活函数需要具有哪些属性？（）

正确答案: A B D

计算简单

非线性

具有饱和区

几乎处处可微

————

参考链接：【激活函数必要的属性】

非线性：

即导数不是常数。这个条件是多层神经网络的基础，保证多层网络不退化成单层线性网络。这也是激活函数的意义所在。几乎处处可微：

可微性保证了在优化中梯度的可计算性。传统的激活函数如sigmoid等满足处处可微。对于分段线性函数比如ReLU，只满足几乎处处可微（即仅在有限个点处不可微）。对于SGD算法来说，由于几乎不可能收敛到梯度接近零的位置，有限的不可微点对于优化结果不会有很大影响。计算简单：

非线性函数有很多。极端的说，一个多层神经网络也可以作为一个非线性函数，类似于Network In Network中把它当做卷积操作的做法。但激活函数在神经网络前向的计算次数与神经元的个数成正比，因此简单的非线性函数自然更适合用作激活函数。这也是ReLU之流比其它使用Exp等操作的激活函数更受欢迎的其中一个原因。非饱和性（saturation）：

饱和指的是在某些区间梯度接近于零（即梯度消失），使得参数无法继续更新的问题。最经典的例子是Sigmoid，它的导数在x为比较大的正值和比较小的负值时都会接近于0。更极端的例子是阶跃函数，由于它在几乎所有位置的梯度都为0，因此处处饱和，无法作为激活函数。ReLU在x>0时导数恒为1，因此对于再大的正值也不会饱和。但同时对于x<0，其梯度恒为0，这时候它也会出现饱和的现象（在这种情况下通常称为dying ReLU）。Leaky ReLU和PReLU的提出正是为了解决这一问题。单调性（monotonic）：

即导数符号不变。这个性质大部分激活函数都有，除了诸如sin、cos等。个人理解，单调性使得在激活函数处的梯度方向不会经常改变，从而让训练更容易收敛。输出范围有限：

有限的输出范围使得网络对于一些比较大的输入也会比较稳定，这也是为什么早期的激活函数都以此类函数为主，如Sigmoid、TanH。但这导致了前面提到的梯度消失问题，而且强行让每一层的输出限制到固定范围会限制其表达能力。因此现在这类函数仅用于某些需要特定输出范围的场合，比如概率输出（此时loss函数中的log操作能够抵消其梯度消失的影响）、LSTM里的gate函数。接近恒等变换（identity）：

即约等于x。这样的好处是使得输出的幅值不会随着深度的增加而发生显著的增加，从而使网络更为稳定，同时梯度也能够更容易地回传。这个与非线性是有点矛盾的，因此激活函数基本只是部分满足这个条件，比如TanH只在原点附近有线性区（在原点为0且在原点的导数为1），而ReLU只在x>0时为线性。这个性质也让初始化参数范围的推导更为简单。这种恒等变换的性质也被其他一些网络结构设计所借鉴，比如CNN中的ResNet和RNN中的LSTM。参数少：

大部分激活函数都是没有参数的。像PReLU带单个参数会略微增加网络的大小。还有一个例外是Maxout，尽管本身没有参数，但在同样输出通道数下k路Maxout需要的输入通道数是其它函数的k倍，这意味着神经元数目也需要变为k倍；但如果不考虑维持输出通道数的情况下，该激活函数又能将参数个数减少为原来的k倍。

归一化（normalization）：

这个是最近才出来的概念，对应的激活函数是SELU，主要思想是使样本分布自动归一化到零均值、单位方差的分布，从而稳定训练。在这之前，这种归一化的思想也被用于网络结构的设计，比如Batch Normalization。

python基础

lambda

参考链接：link

一、lambda函数也叫匿名函数，即，函数没有具体的名称。先来看一个最简单例子：

def f(x):

return x**2

print f(4)

Python中使用lambda的话，写成这样

g = lambda x : x**2

print g(4)

二、lambda和普通的函数相比，就是省去了函数名称而已，同时这样的匿名函数，又不能共享在别的地方调用。

其实说的没错，lambda在Python这种动态的语言中确实没有起到什么惊天动地的作用，因为有很多别的方法能够代替lambda。

使用Python写一些执行脚本时，使用lambda可以省去定义函数的过程，让代码更加精简。

对于一些抽象的，不会别的地方再复用的函数，有时候给函数起个名字也是个难题，使用lambda不需要考虑命名的问题。

使用lambda在某些时候让代码更容易理解。

lambda基础

lambda语句中，冒号前是参数，可以有多个，用逗号隔开，冒号右边的返回值。lambda语句构建的其实是一个函数对象，见证一下：

foo = [2, 18, 9, 22, 17, 24, 8, 12, 27]

print filter(lambda x: x % 3 == 0, foo)

[18, 9, 24, 12, 27]

print map(lambda x: x * 2 + 10, foo)

[14, 46, 28, 54, 44, 58, 26, 34, 64]

print reduce(lambda x, y: x + y, foo)

139