机器学习–课程笔记–01

Introduction

推荐书目

Tom. M. Mitchell -- Machine Learning

Mitchell是machine learning的开创者

全书偏向理论，基本的方法。

Bishop -- Pattern Recognition and Machine Learning

基于贝叶斯理论，统计学

Trevor Hastie -- The elements of statistical learning: Data Ming,inference and prediction

频率主义，统计学

Russell -- Aritificial Intelligence : A Modern Approach

从AI的侧面介绍一小部分ML

Aplaydin -- Introduction to Machine Learning

内容简单精炼，观点正确丰富

坑爹呢，下了看了看400多页，这居然是最简单的书

李航 -- 统计学方法

Mohri -- Foundations of Machine Learning

偏向理论，可以知道所以然

学科概述

什么可以成为学科？

可以成为体系的东西，具有一系列:

方法

理论

工具

机器学习的缘起

是AI和计算科学的分支

比较好的期刊

Machine Learning

Journal of Machine Learning Research

This is free!

定义

机器学习是研究智能体的:

增长知识

提高性能

学习学习

的一般原理和计算模型的学科。

使用计算模型来表示机器学习的方法和结果

什么叫学习

学习是一种递归的概念，是一种广泛存在于自然界的现象，普遍，普通。

学无止境

Meta-learning 元学习，学习学习的方法

理论创新 -- 滴水穿石都可以是学习


增长知识

知道了原来所不知道的东西。

回归问题拟合

例如给出离散的数列对f[x]，其中x∈{x0,x1,...,x
n},将这个f[x]拟合成函数f^(x)，那么对于一个新的x∉{x0,x1,...,xn}，这个新的f^(x)就是新的知识，这就达到了增长知识的目的。

提高性能





如上图所示，为一个产生式系统。对于一种特征，某一种结果r发生的概率是p，那对于存储知识库的硬件来说，将概率越大的结果放到更容易访问的空间，便可以更快速的访问，达到提高性能的作用。

学习学习

还是和上图中的产生式系统一样，其推断引擎最为复杂，那么可以使用一个新的产生式系统实现这个产生式系统的推理引擎。

学习元规则的过程，mata-learning

机器学习的一般结构

机器学习和CS的关系

改变了计算机交互的范型paradigm,从之前的Human
--> Computer, 到Human --> ML --> Computer

机器学习和人工智能的关系

有关系，但是究竟是ML⊂AI还是AI⊂ML目前没有定论

ML的分类方式

知识表示

应用领域

学习策略

映射类型





反馈类型

Supervised

unsupervised

reinforcement

semi-supervised

机器学习的基本问题

可学习型

用命题逻辑表示数域里的问题，是不可能的

必须有多项式复杂度

可行性

可计算的

有效的

可靠的不能不可控

适用性

是否一定要机器学习？

灵活稳健ML和可靠有效Non−ML的抉择

是否存在通用的学习器

任何问题都存在最优的学习器，任何学习器有最优的问题。所以，看论文的时候，实验数据往往是给定了的。：）

三个ML的教训

Rashomon好模型的多样性

Occam简单性和精确性的冲突

Bellman维数灾难

欠拟合和过拟合的问题。

训练的多了容易把样本中不是特征的东西也学习过来

ML的理论基础

数学

统计学

信息论

计算理论

---------------------

欢迎关注我的新浪微博@TJUReyoung, 欢迎访问我的博客。