特征工程总结（三）特征相关性分析
一、变量间的关系分析
变量之间的关系可分为两类：
1. 存在完全确定的关系——称为函数关系
2. 不存在完全确定的关系——虽然变量间有着十分密切的关系，但是不能由一个或多各变量值精确地求出另一个变量的值，称为相关关系，存在相关关系的变量称为相关变量
相关变量的关系也可分为两种：
1. 两个及以上变量间相互影响——平行关系
2. 一个变量变化受另一个变量的影响——依存关系它们对应的分析方法：相关分析是研究呈平行关系的相关变量之间的关系回归分析是研究呈依存关系的相关变量之间的关系
二、简单相关分析
相关分析：就是通过对大量数字资料的观察，消除偶然因素的影响，探求现象之间相关关系的密切程度和表现形式
主要研究内容：现象之间是否相关、相关的方向、密切程度等，不区分自变量与因变量，也不关心各变量的构成形式
主要分析方法：绘制相关图、计算相关系数、检验相关系数
三、相关性分析方法：
（一）线性相关性分析 研究两个变量间的线性关系的程度
用相关系数r来描述，关于r的解读：
1. 正相关：如果x,y变化的方向一致，如登陆次数和商机用户的关系，r>0；一般地，
·|r|>0.95 存在显著性相关；
·|r|≥0.8 高度相关；
·0.5≤|r|<0.8 中度相关；
·0.3≤|r|<0.5 低度相关；
·|r|<0.3 关系极弱，认为不相关
2. 负相关：如果x,y变化的方向相反，如吸烟与肺功能的关系，r<0；
3. 无线性相关：r=0。
r的计算有三种
Pearson相关系数：对定距连续变量的数据进行计算。是介于-1和1之间的值，用于描述两组线性的数据一同变化移动的趋势
（
当两个变量的线性关系增强时，相关系数趋于1或-1；
当其中一个变量增大时，另一个变量也跟着增大，则两个变量正相关 ，相关系数大于0；
当其中一个变量增大时，另一个变量却跟着减小，则两个变量负相关，则相关系数小于0；
当两个变量的相关系数等于0时，则表明两个变量之间不存在线性相关关系）
Spearman秩相关系数：是度量两个变量之间的统计相关性的指标，用来评估当前单调函数来描述俩个变量之间的关系有多好。
（
在没有重复数据的情况下，如果一个变量是另一个变量的严格单调函数，按摩二者之间的spearman秩相关系数就是1或+1 ，称为完全soearman相关
如果其中一个变量增大时，另一个变量也跟着增大时，则spearman秩相关系数时正的
如果其中一个变量增大时，另一个变量却跟着减少时，则spearman秩相关系数时负的
如果其中一个变量变化时候，另一个变量没有变化，spearman秩相关系为0
随着两个变量越来越接近严格单调函数时，spearman秩相关系数在数值上越来越大。
）
Kendall（肯德尔等级）相关系数：肯德尔相关系数是一个用来测量两个随机变量相关性的统计值。
（
一个肯德尔检验是一个无参数假设检验，它使用计算而得的相关系数去检验两个随机变量的统计依赖性。
肯德尔相关系数的取值范围在-1到1之间，
当τ为1时，表示两个随机变量拥有一致的等级相关性；当τ为-1时，表示两个随机变量拥有完全相反的等级相关性；
当τ为0时，表示两个随机变量是相互独立的。
）
（二） 相关计算的其他系数
1 对于有序变量，最常用的还有Gamma统计量，取值介于1到-1之间，取值为零时候，代表完全不相关。其实，对于任何相关系数，一个万能公式就是，如果越接近零，代表越不相关，越接近1，代表越相关。
2、偏相关分析：研究两个变量之间的线性相关关系时，控制可能对其产生影响的变量。如控制年龄和工作经验的影响，估计工资收入与受教育水平之间的相关关系。
3、距离分析：是对观测量之间或变量之间相似或不相似程度的一种测度，是一种广义的距离。分为观测量之间距离分析和变量之间距离分析。
（1）不相似性测度：
对等间隔(定距)数据的不相似性（距离）测度：Euclid欧氏距离、欧氏距离平方等。
计数数据：卡方。
对二值（只有两种取值）数据：使用欧氏距离、欧氏距离平方、尺寸差异、模式差异、方差等。
（2）相似性测度：
等间隔数据使用统计量Pearson相关或余弦。
（三） 相关关系/复相关/偏相关/定序变量的概念和区别
1.相关关系：
相关分析与回归分析在实际应用中有密切关系。然而在回归分析中，所关心的是一个随机变量Y对另一个（或一组）随机变量X的依赖关系的函数形式。而在相关分析中 ，所讨论的变量的地位一样，分析侧重于随机变量之间的种种相关特征。例如，以X、Y分别记小学生的数学与语文成绩，感兴趣的是二者的关系如何，而不在于由X去预测Y。
2.复相关
研究一个变量 x0与另一组变量 (x1,x2,…，xn)之间的相关程度。例如,职业声望同时受到一系列因素（收入、文化、权力……）的影响，那么这一系列因素的总和与职业声望之间的关系，就是复相关。复相关系数R0.12…n的测定，可先求出 x0对一组变量x1，x2，…，xn的回归直线，再计算x0与用回归直线估计值悯之间的简单直线回归。复相关系数为R0.12…n的取值范围为0≤R0.12…n≤1。复相关系数值愈大，变量间的关系愈密切。
3.偏相关
研究在多变量的情况下，当控制其他变量影响后，两个变量间的直线相关程度。又称净相关或部分相关。例如，偏相关系数r13.2表示控制变量x2的影响之后，变量 x1和变量x3之间的直线相关。偏相关系数较简单直线相关系数更能真实反映两变量间的联系。
（四）Pearson，Kendall Spearman三种相关分析异同
1.两个连续变量间呈线性相关时，使用Pearson积差相关系数，
2. 不满足积差相关分析的适用条件时，使用Spearman秩相关系数来描述.
3.Kendall’s tau-b等级相关系数：用于反映分类变量相关性的指标，适用于两个分类变量均为有序分类的情况。对相关的有序变量进行非参数相关检验；取值范围在-1-1之间，此检验适合于正方形表格；
4.计算积距pearson相关系数，连续性变量才可采用;
5. 计算Spearman秩相关系数，适合于定序变量或不满足正态分布假设的等间隔数据;
6.计算Kendall秩相关系数，适合于定序变量或不满足正态分布假设的等间隔数据。
7. 计算相关系数：当资料不服从双变量正态分布或总体分布未知，或原始数据用等级表示时，宜用 spearman或kendall相关
8.Pearson 相关复选项 积差相关计算连续变量或是等间距测度的变量间的相关分析
9. Kendall 复选项 等级相关 计算分类变量间的秩相关，适用于合并等级资料
10.Spearman 复选项 等级相关计算斯皮尔曼相关，适用于连续等级资料
未完待续………….