复习 ¶

1. 定义合适的谓词（1.5 分）

定义如下谓词 :
\(GC(x)\): x 是一位伟大的厨师
\(I(x)\): x 是意大利人
\(EF(x)\): x 享用美食

2. 使用定义的谓词表述上述语句（2.0 分）

谓词逻辑表达：
1) \((\forall x)(GC(x) \Rightarrow I(x))\)
2) \((\forall x)(I(x) \Rightarrow EF(x))\)
3) \(GC(\text{Michael}) \lor GC(\text{Louis})\)
4) \(\neg GC(\text{Michael})\)
因此: 5) \(EF(\text{Louis})\)

3. 将谓词语句转换为标准子句（2.5 分）

转换为子句（量词实例化和蕴含消除）:
1) \(\neg GC(x) \lor I(x)\)
2) \(\neg I(y) \lor EF(y)\)
3) \(GC(\text{Michael}) \lor GC(\text{Louis})\)
4) \(\neg GC(\text{Michael})\)

4. 应用归结方法证明结论⑤，画出归结过程并标注出合适的合一（4 分）

否定结论 :
5) ~EF(Louis)

1. 神经网络中的权重调整是通过以下哪种算法实现的 ?

A. 梯度下降 B. 牛顿法 C. 拟牛顿法 D. 共轭梯度法
答案：A。神经网络训练过程中主要使用梯度下降及其变体来优化权重。

2. 在神经网络中，反向传播算法主要用于以下哪种目的 ?

A. 优化权重 B. 计算损失函数 C. 更新输入层 D. 确定输出层
答案：A。

反向传播算法的主要目的是计算梯度并优化网络权重。

3. 在多层感知器中，激活函数的作用是 ?

A. 引入非线性 B. 确定神经元的输出 C. 计算损失函数 D. 控制神经元的输入
答案：A。
激活函数引入非线性变换，使网络能够学习复杂的非线性映射关系。

4. 在卷积神经网络中，卷积层的作用是 ?

A. 对输入数据进行局部感知 B. 实现数据的高维表示
C. 对数据进行全局感知 D. 实现数据的降维表示
答案：A。
卷积层通过局部感受野对输入特征进行局部特征提取。

5. 在深度神经网络中，当数据维度很高时，通常采用哪种策略来处理 ?

A. 数据降维 B. 数据增强 C. 数据归一化 D. 数据标准化
答案：A。
高维数据通常需要通过降维来减少计算复杂度并避免维度灾难。

请简述在神经网络学习模型训练过程中，过拟合和欠拟合的概念及其产生原因。

过拟合 (Overfitting)：
- 概念：模型在训练集上表现很好，但在测试集上表现差
- 原因：
1. 模型过于复杂，参数过多
2. 训练数据量不足
3. 训练时间过长

欠拟合 (Underfitting)：
- 概念：模型在训练集和测试集上都表现不好
- 原因：
1. 模型过于简单，无法捕捉数据特征
2. 特征选择不当
3. 训练不充分

11. 下列属于无监督学习的是（）

A. k-means
B. SVM
C. 最大熵
D. CRF (条件随机场,一种判别式概率无向图模型,常用于序列标注任务)
答案：A。k-means是一种典型的无监督聚类算法。

12. " 过拟合 " 只在监督学习中出现，在非监督学习中，没有 " 过拟合 "，这是（）

A. 对的

B. 错的
答案：B。过拟合现象在无监督学习中同样存在。

13. 在下面哪种情况下，一阶梯度下降不一定正确工作（可能会卡住）？

A.

B.
C.
D. 以上都不正确
答案：B。在局部最小值点处，梯度为0，一阶梯度下降可能会停止。

14. 下列哪个函数不可以做激活函数？

A. y = tanh(x)

B. y = sin(x)

C. y = max(x,0)

D. y = 2x
答案：D。线性函数不能作为激活函数，因为无法引入非线性变换。

15. 我们想在大数据集上训练决策树，为了使用较少时间，我们可以（）

A. 增加树的深度
B. 增加学习率 (learning rate)
C. 减少树的深度
D. 减少树的数量
答案：C。减少树的深度可以降低计算复杂度。

增加树的深度 , 会导致所有节点不断分裂 , 直到叶子节点是纯的为止 . 所以 , 增加深度 , 会延长训练时间 .
决策树没有学习率参数可以调. (不像集成学习和其它有步长的学习方法)
决策树只有一棵树, 不是随机森林。

16. 一监狱人脸识别准入系统用来识别待进入人员的身份，此系统一共包括识别 4 种不同的人员：狱警，小偷，送餐员，其他。下面哪种学习方法最适合此种应用需求：

A. 二分类问题
B. 多分类问题
C. 层次聚类问题
D. k-中心点聚类问题
E. 回归问题
F. 结构分析问题
答案：B。这是一个典型的多分类问题。

17. Naive Bayes 是一种特殊的 Bayes 分类器，特征变量是 X，类别标签是 C，它的一个假定是（）

A. 各类别的先验概率 P(C) 是相等的
B. 以0为均值，sqr(2)/2为标准差的正态分布
C. 特征变量X的各个维度是类别条件独立随机变量
D. P(X|C)是高斯分布
答案：C。朴素贝叶斯的核心假设是特征条件独立性即iid假设

18. 对于 k 折交叉验证，以下对 k 的说法正确的是（）

A. k 越大 , 不一定越好 , 选择大的 k 会加大评估时间
B. 选择更大的k, 就会有更小的bias (因为训练集更加接近总数据集)
C. 在选择k时, 要最小化数据集之间的方差
D. 以上所有
答案：D。这些都是关于k折交叉验证的正确描述。
k越大，就要训练k个模型，计算量越大，所以时间更多；k越大，每次选取的训练集越接近总数据集，所以bias越小；

19. 训练决策树模型，属性节点的分裂，具有最大信息增益的图是哪一个（）

A. Outlook
B. Humidity
C. Windy
D. Temperature
答案：A。根据图中信息增益的计算，Outlook具有最大的信息增益。

20. 假定某同学使用 Naive Bayesian（NB）分类模型时，不小心将训练数据的两个维度搞重复了，那么关于 NB 的说法中正确的是（）

A. 这个被重复的特征在模型中的决定作用会被加强
B. 模型效果相比无重复特征的情况下精确度会降低
C. 如果所有特征都被重复一遍，得到的模型预测结果相对于不重复的情况下的模型预测结果一样
D. 当两列特征高度相关时，无法用两列特征相同时所得到的结论来分析问题
E. NB可以用来做最小二乘回归
F. 以上说法都不正确

答案：BD 假定某同学使用 Naive Bayesian（NB）分类模型时 __ 牛客网
A. 看D就知道，如果两个维度比较相似，那么这两个维度可能高度相关，那么就需要转到D。
B. 当维度重复时，习得的联合概率分布有误，所以精确度会降低。
C. 多出一个维度的特征，其训练出的模型就会有所不同。这与把两个维度的值重复的情况是不同的。
D.两列特征高度相关时（也就是有可能是因为重复了），那就无法用这种疑似重复的特征来分析问题了。
E.最小二乘回归是用在判别式的机器学习方法中，比如SVM,logtic等。它是寻找几何误差最小的预测模型。而贝叶斯是生成式模型。

1. 混淆矩阵的召回率（Recall）公式为？

A. TP/(TP+FN)
B. FN/(TP+FN)
C. TN/(TN+FP)
D. FP/(FP+TN)
答案：A
我记忆的方式是：Precision是以P开头的，所以公式中都有P；Recall是对应的

2. 在构建决策树时，需要计算每个用来划分数据特征的得分，选择分数最高的特征，以下可以作为得分的是？

A. 信息熵
B. 基尼系数（Gini）
C. 训练误差
D. 以上都是
答案：D

3. 下列描述无监督学习错误的是？

A. 无标签
B. 多用于聚类
C. 多用于分类
D. 多用于降维
答案：C

4. 强化学习算法可以分为有模型学习（model-based）算法和免模型（model-free）学习算法，以下属于有模型学习算法的是？

A. Policy Gradient
B. Deep Deterministic Policy Gradient (DDPG)
C. Deep Q Network (DQN)
D. AlphaZero
答案：D

5. 感知器可以解决一下那些问题？

A. 逻辑 " 与 "
B. 逻辑"或"
C. 逻辑"与非"
D. 逻辑"或非"
答案：ABCD
都是线性可分的 与非（NAND）真值表： | \(A\) | \(B\) | \(\overline{A \cdot B}\) | |-----|-----|----------------------| | 0 | 0 | 1 | | 0 | 1 | 1 | | 1 | 0 | 1 | | 1 | 1 | 0 |

或非（NOR）真值表： | \(A\) | \(B\) | \(\overline{A + B}\) | |-----|-----|-------------------| | 0 | 0 | 1 | | 0 | 1 | 0 | | 1 | 0 | 0 | | 1 | 1 | 0 |

6. 如果一个 " 线性回归 " 模型完美地拟合了训练样本，也就是训练样本误差为零，则下面哪个说法是正确的？

A. 测试样本误差始终为零
B. 测试样本误差不可能为零
C. 以上答案都不对
答案：C

7. 在一个线性回归问题中，我们使用 R 平方（R-Squared）来判断拟合度。此时，如果增加一个特征，模型不变，则下面说法正确的是？

A. 如果 R-Squared 增加，则这个特征有意义
B. 如果R-Squared 减小，则这个特征没有意义
C. 仅看 R-Squared 单一变量，无法确定这个特征是否有意义
D. 以上说法都不对
答案：C

8. 下列哪些假设是我们推导线性回归参数时遵循的？

A. X 与 Y 有线性关系（多项式关系）
B. 模型误差在统计学上是独立的
C. 误差一般服从 0 均值和固定标准差的正态分布
D. X 是非随机且测量没有误差的
答案：ABCD

9. 一般来说，下列哪种方法常用来预测连续输出变量？

A. 线性回归
B. 逻辑回顾
C. 线性回归和逻辑回归都行
D. 以上说法都不对
答案：A

10. 下面三张图展示了对同一训练样本，使用不同的模型拟合的效果（蓝色曲线）。那么，我们可以得出哪些结论？

A. 第 1 个模型的训练误差大于第 2 个、第 3 个模型
B. 最好的模型是第 3 个，因为它的训练误差最小
C. 第 2 个模型最为"健壮"，因为它对未知样本的拟合效果最好
D. 第 3 个模型发生了过拟合
E. 所有模型的表现都一样，因为我们并没有看到测试数据
答案：ACD

11. 两个变量相关，它们的相关系数 r 可能为 0。这句话是否正确？

A. 正确
B. 错误
答案：A
一般来说，相关系数 r=0 是两变量相互独立的必要不充分条件。也就是说，如果两个变量相互独立，那么相关系数 r 一定为 0，如果相关系数 r=0，则不一定相互独立。相关系数 r=0 只能说明两个变量之间不存在线性关系，仍然可能存在非线性关系。

12. 逻辑回归将输出概率限定在 [0,1] 之间。下列哪个函数起到这样的作用？

A. Sigmoid 函数
B. tanh 函数
C. ReLU 函数
D. Leaky ReLU 函数
答案：A

13. 关于 k 折交叉验证，下列说法正确的是？

A. k 值并不是越大越好，k 值过大，会降低运算速度
B. 选择更大的 k 值，会让偏差更小，因为 k 值越大，训练集越接近整个训练样本
C. 选择合适的 k 值，能减小验方差
D. 以上说法都正确
答案：D

14. 我们知道二元分类的输出是概率值。一般设定输出概率大于或等于 0.5，则预测为正类；若输出概率小于 0.5，则预测为负类。那么，如果将阈值 0.5 提高，例如 0.6，大于或等于 0.6 的才预测为正类。则准确率（Precision）和召回率（Recall）会发生什么变化？

A. 准确率（Precision）增加或者不变
B. 准确率（Precision）减小
C. 召回率（Recall）减小或者不变
D. 召回率（Recall）增大
答案：AC

提高阈值意味着只有更高的概率值（大于或等于 0.6）的样本才会被预测为正类。这会带来以下影响：

1. 样本预测变化：

   • 减少被预测为正类的样本数量
   • 原本预测为正类（概率在 0.5-0.6 之间）的样本会被改为负类

2. 对准确率（Precision）的影响：

   • 随着阈值提高，一些误判为正类的样本（FP）被排除
   • TP + FP 减少，且 FP 减少比例可能大于 TP 减少比例
   • 因此准确率会增加或保持不变（A）

3. 对召回率（Recall）的影响：

   • 随着阈值提高，一些实际为正类的样本（TP）被预测为负类
   • TP 减少，而 TP + FN 保持不变
   • 因此召回率会减小或保持不变（C）

15. 关于神经网络，下列说法正确的是？

A. 增加网络层数，可能会增加测试集分类错误率
B. 增加网络层数，一定会增加训练集分类错误率
C. 减少网络层数，可能会减少测试集分类错误率
D. 减少网络层数，一定会减少训练集分类错误率
答案：AC

16. 下面哪句话是正确的？

A. 机器学习模型的精准度越高，则模型的性能越好
B. 增加模型的复杂度，总能减小测试样本误差
C. 增加模型的复杂度，总能减小训练样本误差
D. 以上说法都不对
答案：C

17. 如果一个经过训练的机器学习模型在测试集上达到 100% 的准确率，这是否意味着该模型将在另外一个新的测试集上也能得到 100% 的准确率呢？

A. 是的，因为这个模型泛化能力已经很好了，可以应用于任何数据
B. 不行，因为还有一些模型不确定的东西，例如噪声
答案：B

18. 下面有关分类算法的准确率，召回率，F1 值的描述，错误的是？

A. 准确率是检索出相关文档数与检索出的文档总数的比率，衡量的是检索系统的查准率
B. 召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率
C. 正确率、召回率和 F 值取值都在 0 和 1 之间，数值越接近 0，查准率或查全率就越高
D. 为了解决准确率和召回率冲突问题，引入了F1分数
答案：C

仅依赖 Precision 或 Recall 可能导致模型无法全面评估，尤其在类别不平衡的情况下。调和平均 比算术平均更倾向于较小的值，因此能够捕捉 Precision 和 Recall 之间的平衡。

19. " 增加卷积核的尺寸，一定能提高卷积神经网络的性能。" 这句话是否正确？

A. 正确
B. 错误
答案：B

20. 假如现在有个神经网络，激活函数是 ReLU，若使用线性激活函数代替 ReLU，那么该神经网络还能表征异或（XNOR）函数吗？

A. 可以
B. 不可以
答案：B

21. 下列哪种方法可以用来减小过拟合？

A. 更多的训练数据
B. L1 正则化
C. L2 正则化
D. 减小模型的复杂度
答案：ABCD

22. 下列说法错误的是？

A. 当目标函数是凸函数时，梯度下降算法的解一般就是全局最优解
B. 进行 PCA 降维时，需要计算协方差矩阵
C. 沿负梯度的方向一定是最优的方向
D. 利用拉格朗日函数能解带约束的优化问题
答案：C

23. 关于 L1、L2 正则化下列说法正确的是？

A. L2 正则化能防止过拟合，提升模型的泛化能力，但 L1 做不到这点
B. L2 正则化技术又称为 Lasso Regularization
C. L1 正则化得到的解更加稀疏
D. L2 正则化得到的解更加稀疏
答案：C
L2 叫岭回归，L1 叫 Lasso 回归；L2 倾向于参数平滑都很小，L1 倾向于参数稀疏。

24. 假定你在神经网络中的隐藏层中使用激活函数 X。在特定神经元给定任意输入，你会得到输出 -0.01。X 可能是以下哪一个激活函数？

A. ReLU
B. tanh
C. Sigmoid
D. 以上都有可能
答案：B

25. 以下哪些方法不可以直接来对文本分类？

A. K-Means
B. 决策树
C. 支持向量机
D. kNN
答案：A

关于机器学习算法评估，分别阐述适用于回归算法和分类算法的评估指标有哪些？并阐述各种评估指标的优缺点。

参考答案：
回归算法评估指标：
a) 平均绝对误差（Mean Absolute Error）
b) 均方误差（Mean Squared Error）
c) 均方根误差（Root Mean Squared Error）
d) 决定系数（Coefficient of determination）

分类算法评估指标：
a) 精度 Accuracy
b) 混淆矩阵 Confusion Matrix
c) 准确率（查准率）Precision
d) 召回率（查全率）Recall
e) Fβ Score
f) AUC Area Under Curve
g) KS Kolmogorov-Smirnov

回归算法评估指标的优缺点举例：
a) MAE虽能较好衡量回归模型的好坏，但是绝对值的存在导致函数不光滑，在某些点上不能求导，可以考虑将绝对值改为残差的平方；
b) MSE与目标变量的量纲不一致；
c) RMSE可以保证量纲一致性；
d) 以上基于误差的均值对进行评估的指标，均值对异常点（outliers）较敏感，如果样本中有一些异常值出现，会对以上指标的值有较大影响。

分类算法评估指标的优缺点举例：
a) 对于有倾向性的问题，往往不能用精度指标来衡量。
b) 对于样本类别数量严重不均衡的情况，也不能用精度指标来衡量。
c) AUC是一种模型分类指标，且仅仅是二分类模型的评价指标。
d) AUC对样本类别是否均衡并不敏感；

21. 模型的高 bias 是什么意思 , 我们如何降低它？

A. 在特征空间中减少特征
B. 在特征空间中增加特征
C. 增加数据点
D. B和C
E. 以上所有
答案：B。bias太高说明模型太简单了, 数据维数不够, 无法准确预测数据, 所以, 升维吧!

22. 对于信息增益 , 决策树分裂节点 , 下面说法正确的是（）

1. 纯度高的节点需要更多的信息去区分
   
2. 信息增益可以用 "1 比特 - 熵 " 获得
   
3. 如果选择一个属性具有许多归类值 , 那么这个信息增益是有偏差的
   

A. 1
B. 2
C. 2和3
D. 所有以上
正确答案是：C

23. 以下哪些算法可以用神经网络去构造？

A. KNN 和线性回归
B. 线性回归和对数几率回归
C. KNN、线性回归和对数几率回归
D. 以上都不是

答案：B
解析：
- KNN算法不需要训练参数，而所有神经网络都需要训练参数，因此神经网络帮不上忙
- 最简单的神经网络感知器，其实就是线性回归的训练
- 我们可以用一层的神经网络构造对数几率回归

24. 位势函数法的积累势函数 K(x) 的作用相当于 Bayes 判决中的（）

A. 后验概率
B. 先验概率
C. 类概率密度
D. 类概率密度与先验概率的乘积

答案：A、D

25. 下列关于决策树的说法正确的是（）

A. ID3 决策树是根据信息增益来划分属性
B. C4.5决策树是根据增益率来划分属性
C. CART决策树是根据基尼指数来划分属性
D. 基尼指数反映了从样本集D中随机抽取两个样本，其类别标记不一致的概率，因此越小越好

答案：A、B、C、D

26. 以下可以有效解决过拟合的方法是（）

A. 增加样本数量
B. 通过特征选择减少特征数量
C. 训练更多的迭代次数
D. 采用正则化方法

答案：A、B、D，增加训练迭代次数不会防止过拟合

27. 在机器学习中需要划分数据集，常用的划分测试集和训练集的划分方法有哪些（ ）

A. 留出法 (leave one out)
B. 交叉验证法
C. 自助法
D. 评分法

正确答案 : A B C

28. 现在假设负样本量 : 正样本量 =100:1，下列哪些方法可以处理这种极不平衡的情况？（）

A. 直接训练模型，预测的时候调节阈值
B. 复制正样本，以增加正样本数量
C. 随机降采样负样本
D. 训练过程中，增加负样本的权重

正确答案 : B C

解析：解决类别不平衡书中提出三种方法：
1. 下采样
2. 过采样
3. 阈值偏移

深度学习调参一般有哪些参数

1. 学习率：常用策略
   

   • 学习率衰减
     
   • 使用自适应学习率优化器，如 Adam 和 Adagrad
     

2. mini batch：
   

   • 小的 mini batch size 可能因为收敛的抖动比较厉害反而不容易卡在局部最低点
     
   • 但是 mini batch 也不能太大，反而准确率下降
     

3. epoch：
   

   • 用早停法选择合适的 Epoch
     
   • 观察 validation error 上升时就 early stop
     
   • 但是别一看到上升就停，再观察一下，因为有可能只是暂时的现象，这时候停止反而训练会不充分
     

4. 损失函数：
   

   • 分类一般是 softmax
     
   • 回归一般是 L2 loss
     

5. 激活函数：对于梯度消失现象
   

   • Sigmoid 会发生梯度消失的情况，所以激活函数一般不用，收敛不了
     
   • Tanh(x) 没解决梯度消失的问题
     
   • ReLu(Max(0,x)) 比较好，代表 Max 门单元，解决了梯度消失的问题，而且起到了降维
     

6. 梯度问题：
   

   • 梯度消失：当数值接近于正向∞，求导之后就更小，约等于 0，偏导为 0
     
   • 梯度爆炸：数值无限大
     

7. 层数：
   

   • 层数越多越灵敏收敛越好，但是容易过拟合
     
   • 可以用 Drop-out 删除一些无效的节点
     

8. 过拟合解决方案：
   

   • drop-out
     
   • BN (batch normalization，归一化 )
     

9. 其他模型参数：
   

   • 隐藏层单元数 (units)
     
   • 时间序列模型的步长
     
   • RNN 的 CELL 类型 (LSTM/GRU)