菊花场机器学习面试记录

Feb 21, 2018

背景

面试官负责的业务: 计算机视觉相关

应聘职位：机器学习，计算机视觉方向

流程

首先自我介绍，介绍项目背景、贡献和成果。然后具体讨论技术，面试时间约45分钟。

问题及回答

深度学习

Q1. 为什么做预训练+精调，用于无监督的样本有没有直接尝试做标记以后进行有监督训练？两个数据集有什么区别？样本的筛选有标准吗？

因为有标签的样本数量不足, 无标签的样本数量可观; 预训练可以利用海量的样本进行特征学习，精调可以有针对性的强化特征中适合分类的特征。
没有尝试做有监督学习，是因为此类样本的标注需要专家和公开发表。且我们认为做无监督学习是有意义的。
两个数据集的区别：1. 样本的质量，2. 样本的类别模糊性，3. 各个类别的样本分布不同。
筛选有标准：例如图像质量、样本能适用于分类器的输入要求。

Q2. 有没有尝试过引入其他类别的图像，做类似于迁移学习的工作？

有尝试做迁移学习，但从结果上看，只应用在已有样本集上的效果更优。
迁移学习的网络参数规模还是比较大的，对训练设备要求较高。我们尝试提出层数较低的网络，能有助于其被应用。

Q3. 既然尝试了生成网络，VAE和GAN的相同点和区别在哪里？既然说GAN不好训练，为什么呢？

VAE和GAN的相同之处: 1. 二者都是由两个子网络组成，2. 目的都是通过估计参数的分布，以从该分布中采样，生成新的样本。
VAE和GAN的区别之处: 1. GAN是从一个随机噪声中产生样本，VAE是从一个特定的低维高斯分布映射到高维的样本空间，后者的约束更强。2. 普通的GAN在训练时不容易收敛，面试官建议从KL散度的角度来分析不收敛的原因。
近期如WGAN等对GAN的优化，使得输入和输出的分布不一定要强相关，能够帮助网络的收敛。(面试官)

Q4. 生成网络怎么衡量效果好呢？ (云核心也有问过)

比较生成样本的分布与原分布的相似程度;
将生成的样本交给专家判断，交叉验证计算机器和专家的结论。

Q5. 深度学习中，常用的避免过拟合的tricks有哪些？

常用的tricks有dropout, regularization, batch normalization, residual。难度逐渐增加，方法也越新。

Q6. 正则化，L1和L2的区别是什么？

L1是曼哈顿距离，L2是欧氏距离，参考这篇文章 http://www.chioka.in/differences-between-the-l1-norm-and-the-l2-norm-least-absolute-deviations-and-least-squares/
我理解的是，二者既然是正则项，便是用于参数复杂度约束的，也能有效避免过拟合。所以应用场景会决定应用效果。。。 (面试官表示不置可否)

Q7. 激活函数的作用？可以用线性的激活函数吗？

激活函数有两个作用，1. 使分类器能够求解非线性问题，2. 对输出进行约束，避免BP时的梯度爆炸。
线性的激活函数是不可用的，因为NN本身就是为了解决各种非线性的问题，线性激活函数不适用这种问题。(面试官)
我的理解是线性激活函数，如果你真想用，也是可以的。。。

传统机器学习

Q1. 你涉及过的传统机器学习模型有哪些？

不要给自己挖坑，说你真正推导过，理解原理的。我的回答是， SVM, ANN, DF, AdaBoost，HMM.

Q2. SVM的核技术是什么？怎么约束核函数的？

SVM用核方法的目的是解决非线性分类超平面的求解问题，通过核技巧将本特征空间的非线性分类转化为另一个空间的线性分类问题。
SVM核的选择参考Mercer定理，要求该函数是半正定的，且计算一对特征向量的核函数等价于在变换后的空间中计算这对向量的点积。(还是没太懂。。。)

Q3. HMM的两个假设是什么？
参考《统计学习方法》

齐次马尔可夫性假设，即任意时刻t的状态只依赖于t-1时刻的状态，与t-1之间的状态和观测无关, $P(i_t | i_{t-1}, o_{t-1}, ..., i_1, o_1) = P(i_t | i_{t-1})$
观测独立性假设: 即任意时刻的观测只依赖于该时刻的马尔可夫链的状态，与其他状态和观测无关， $P(o_t | i_t, o_{t-1}, i_{t-1}, ..., o_1, i_1) = P(o_t | i_t)$

Q4. EM算法还有其他的类似的模型和应用吗？

常用的有两个，KNN的求解类似于EM，以及Monte Carlo模拟的求解思路类似。

Q5. AdaBoost，为什么有效果，原理是什么？
AdaBoost是用弱分类器的线性加权来代替强分类器。这里的强和弱指“可学习”性，即分类器通过学习以后，学习准确率相对于随机猜测的距离。AdaBoost通过迭代减少分类器在数据集上的分类误差率，从而体现出有效性。或者说Boost通过弱分类降低了整体估计的误差，或者说方差，使得置信区间更小。还有一种理解是，Boost方法提高了模型的泛化能力，从而提升了分类准确率。

图像处理问题

Q1. 既然做过分类，那么传统图像处理中有哪些特征？
同样的，不要给自己挖坑。。。用过哪些就说，比如我说的是GLCM, Gabor。HoG和SIFT这种很常见，也需要巩固的。

Q2. 为什么用Gabor的效果就好呢？
我的回答是效果好。。。其实我理解的是特征提取的目的就是找到可分性高的特征。所以要考虑怎么衡量可分性。

Any questions?

如果可以进来，我需要准备什么？
部门有哪些业务？Base在哪里？

Comment and share