15. 机器学习基石 - Summary - Power of Three

Summary - Power of Three

Summary - Power of Three

1. Three Related Fields

1) Machine Learning V.S. Data Mining

2) Machine Learning V.S. Artificial Intelligence

3) Machine Learning V.S. Statistic

2. Three Theoretical Bounds

3. Three Linear Models

4. Three Key Tools

5. Three Learning Principles

6. Three Future Directions

Summary

Reference

总结整个课程，发现很多内容数量刚好都是三。

1. Three Related Fields

对比三个相关的领域:

- Data Mining

- Artificial Intelligence

- Statistic

机器学习是学习问题，而不是优化问题，也就是说，机器学习不仅要求数据在训练集上求得一个较小的误差，而且在测试集上也要表现的好（因为模型最终是要部署在实际的场景中，数据也是没有训练过的），即机器学习既要低误差，又要很好地泛化能力，以保证实际的误差与训练误差相差不大。

1) Machine Learning V.S. Data Mining

机器学习与数据挖掘都叫知识发现（KDD Knowledge Discovery in Dataset）。

- 两者是一致的：能够找出的有用信息就是我们要求得的近似目标函数的假设。

- 两者是互助的：ML需要大数据的支持才能保持能“学到东西”。

- 数据挖掘更关注于从大量的数据中的计算问题。

总的来时，两者密不可分。

2) Machine Learning V.S. Artificial Intelligence

AI是通过特定的方法让机器能做出Intelligent的行为，ML属于AI的一个分支，是AI实现的一种方式

3) Machine Learning V.S. Statistic

统计是通过对已知数据的处理，从而推断出未知的事件的属性

所以统计学是实现ML的一种方法，统计学里面有许多实用的工具可以用于证明ML。

2. Three Theoretical Bounds

三个理论基础是保证了机器在满足数据量足够大，且有合适的算法的情况下，可以实现机器学习。

三个理论基础如下：

- Hoeffding Inequity（单一假设确认时使用）

- Multi-Bin Hoffding Inequity（有限多个假设验证时使用）

- VC Bound（无限多个假设训练时使用）

3. Three Linear Models

前面我们讨论的Linear Model 有:

- Linear Classification (PLA, Pocket)

- Linear Regression

- Logistic Regression

具体如图一所示



图一 Three Linear Models [1]

4. Three Key Tools

3个重要的工具如：

- Feature Transform - 遇到太复杂的模型，可以映射到线性的空间去做处理 (Nonlinear Transform)

- Regularization - 通过加入惩罚项，来降低模型的复杂度 (Ridge Regression)

- Validation - 通过拿出部分数据来作为验证集，用于评估模型，方法（Leave-One-Out Cross Validation, V-Fold Cross Validation

具体如图二所示



图二 Three Key Tools [1]

5. Three Learning Principles

Occam’s Razor - 越简单而有效的模型越好！

Sampling Bias的坏处 - 我们在训练时要保证数据的来源，最好是相互独立的

Data Snooping坏处 - 尽量先选择模型，然后在去查看数据，然后在训练的过程要保持怀疑的态度

6. Three Future Directions

未来机器学习的方向也分为三种：

- More Transform - 转换也能使得模型更加简单

- More Regularization - 尽可能降低模型的复杂度

- Less Label - 更少的Feature，那么模型将更好

具体如图三所示



图三 Three Future Directions [1]

Summary

总结整个课程

至此，Machine Learning Foundation （机器学习基石）的笔记总结完毕，有部分内容后续补充

Reference

[1] 机器学习基石(台湾大学-林轩田)\16\16 - 4 - Power of Three (08-49)