常见的模型介绍 – 线性回归模型

线性回归模型

两个/多个变量之间的相互依赖的定量关系
y=w’x+e【w’参数行列式，e随机误差，服从期望为0的正态分布】

1. 在线性回归模型中对随机误差做出的假设有哪些？     
随机误差：
    1. 期望/平均值为0的随机变量    
    1. 解释变量的所有观测值 - 随机误差有相同的方差     
    1. 随机误差彼此**不相关 **   
    1. 解释变量是确定性变量，不是随机变量 - 与随机误差彼此**相互独立**    
    1. 随机误差服从**正态分布**     
    
1. 线性回归模型有哪些常用的提升效果的方法？    
    1. 引入高次项      
    某些因变量与自变量本身不存在线性关系 - 但与其二次项或高次项存在线性关系     
    在引入某自变量的高次项后，需要保留相应的低次项      
    1. 引入交互项     
    交互关系：一个**预测变量**对模型**结果**的影响，在其他**预测变量**有不同值时是不同的
    方式：两个预测变量相乘放入模型中作为交互项 - 极大地改善所有相关系数的**可解释性**
    引入交互项后，要**保留**组成交互项的自变量   
1. 简述线性回归模型的优缺点      
快速 - 处理数据量不很大的情况 - 具有很强的可解释性 - 有效指导业务部门进行**决策 **    
提前对目标函数进行假设 - 数据量增加，问题复杂时，需其他更复杂的模型
复制代码

逻辑回归模型

1. 逻辑回归模型与线性回归模型的区别是什么？    
在对最终结果y的处理上：   
    1. 逻辑回归模型中：将此前**线性回归模型**中的y通过sigmoid函数【逻辑回归函数】映射到[0,1]区间 - 解决二分类问题，非预测问题 - 避免过拟合，引入正则化方法[L1与L2方法]  
    1. sigmoid函数 S(x) = 1/(1+e^-x)
1. 在逻辑回归模型中常用的L1与L2方法的区别在哪？    
引入**惩罚项** - 逻辑回归模型中各个**变量的系数**得以收缩 - **避免过拟合**的发生    
    1. lasso方法【L1方法】 - 惩罚系数的绝对值 - 惩罚后有的系数直接变成0，其他系数**绝对值**收缩  
    1. ridge方法【L2方法】 - 惩罚系数的平方 - 惩罚后**每个**系数的**绝对值**收缩 
    
    1. L1相比于L2 - 可以筛选变量 - 变量较多时，从中选择较为重要的变量
1. 简述逻辑回归模型的优缺点    
优：
    解决二分类问题、可解释性强   
    多分类问题 - softmax函数替代sigmoid函数     
    softmax函数：针对各个分类输出**概率值** - 概率值之和为1    
 缺：
    数据量增加 - 欠拟合，需非参数模型进行训练    
    
复制代码