【机器学习笔记一】

【摘要】 一、统计学习简单理解：统计学习就是机器学习研究对象：数据目的：对数据预测与分析（尤其是新数据）方法：基于数据构建概率模型分类：监督学习、无监督学习、半监督学习、强化学习二、统计学习分类基本分类1）监督学习（需要大量数据）定义：从标注数据中学习预测模型的机器学习问题。输入空间：输入所有可能取值的集合。输出空间：输出所有可能取值的集合。（上述两者可以是有限元素的集合，也可以是整个欧氏空间）监督学…

一、统计学习

简单理解：统计学习就是机器学习

研究对象：数据

目的：对数据预测与分析（尤其是新数据）

方法：基于数据构建概率模型

分类：监督学习、无监督学习、半监督学习、强化学习
二、统计学习分类
基本分类

1）监督学习（需要大量数据）
定义：从标注数据中学习预测模型的机器学习问题。

输入空间：输入所有可能取值的集合。

输出空间：输出所有可能取值的集合。
（上述两者可以是有限元素的集合，也可以是整个欧氏空间）

监督学习的目的就是学习一个输入到输出的映射，用一个模型表示。若该模型属于由输入空间到输出空间的映射的集合，该集合就是假设空间。

独立同分布→相互独立的

2）无监督学习
定义：从无标注数据中学习预测模型的机器学习问题。

3）强化学习
定义：智能系统在与环境的连续互动中学习最优行为策略的机器学习问题。

4）半监督学习（不需要很多数据）
定义：利用标注数据和未标注数据学习预测模型的机器学习问题。

5）主动学习
定义：机器不断主动给出实例让教师进行标注，然后利用标注数据学习预测模型的机器学习问题。
按模型分类

1）概率&非概率模型
概率模型→条件概率 P(y|x)
非概率模型→函数形式 y=f(x)

2）线性&非线性模型

3）参数化&非参数化模型
按算法分类

分为在线学习和批量学习。
按技巧分类

P(B|A)也是似然函数。

先验概率：是指根据以往经验和分析得到的概率，如全概率公式，它往往作为”由因求果”问题中的“因”出现的概率。

贝叶斯公式很重要，它可以看作完全概率公式的变形。

条件概率：知道原因推结果
贝叶斯公式：执果索因

2）核方法
定义：使用核函数表示和学习非线性模型的一种机器学习方法，适用于监督学习&无监督学习。

外积→点乘（数量积），得到结果是一个数

内积→叉乘，得到结果是一个向量
三、统计学习方法三要素

精髓：方法=模型+策略+算法！
模型

模型的假设空间包含所有可能的条件概率或决策函数。
策略

监督学习两个基本策略：经验风险最小化&结构风险最小化。

当样本容量很大时，经验风险最小化有优势。当模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化 <=> 极大似然估计。

当样本容量很小时，经验风险最小化就劣势了，会过拟合。
结构风险最小化就是为了防止过拟合而提出的 <=> 正则化。

指示函数：指示函数是定义在某集合X上的函数，表示其中有哪些元素属于某一子集A。
在这里插入图片描述

符号函数：数学上的Sgn 函数返回一个整型变量，指出参数的正负号。语法Sgn(number)， number 参数是任何有效的数值表达式。返回值如果 number 大于0，则Sgn 返回1；等于0，返回0；小于0，则返回-1。number 参数的符号决定了Sgn 函数的返回值。
四、模型评估&选择