PCA(主成分分析)和FA(因子分析)的详解新手必看

1.原理不同

主成分分析基本原理：利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个不相关的综合指标（主成分),即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的。

因子分析基本原理：利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量表示成少数的公共因子和仅对某一个变量有作用的特殊因子线性组合而成。就是要从数据中提取对变量起解释作用的少数公共因子（因子分析是主成分的推广，相对于主成分分析，更倾向于描述原始变量之间的相关关系）

2.线性表示方向不同?

主成分分析中则是把主成分表示成各变量的线性组合。

因子分析是把变量表示成各公因子的线性组合

3.假设条件不同?

主成分分析：不需要有假设(assumptions)。

因子分析：需要一些假设。因子分析的假设包括：各个共同因子之间不相关，特殊因子（specificfactor）之间也不相关，共同因子和特殊因子之间也不相关。

4.求解方法不同?

求解主成分的方法：从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R已知），采用的方法只有主成分法。

求解因子载荷的方法：主成分法，主轴因子法，极大似然法，最小二乘法，a因子提取法。

5.主成分和因子的变化不同?

主成分分析：当给定的协方差矩阵或者相关矩阵的特征值唯一时，主成分一般是固定的独特的。

因子分析：因子不是固定的，可以旋转得到不同的因子。

6.因子数量与主成分的数量

主成分分析：主成分的数量是一定的，一般有几个变量就有几个主成分（只是主成分所解释的信息量不等），实际应用时会根据碎石图提取前几个主要的主成分。

因子分析：因子个数需要分析者指定（SPSS和sas根据一定的条件自动设定，只要是特征值大于1的因子主可进入分析），指定的因子数量不同而结果也不同。

7.解释重点不同：

主成分分析：重点在于解释个变量的总方差。

因子分析：则把重点放在解释各变量之间的协方差。

8.算法上的不同

主成分分析：协方差矩阵的对角元素是变量的方差。

因子分析：所采用的协方差矩阵的对角元素不在是变量的方差，而是和变量对应的共同度（变量方差中被各因子所解释的部分）

9.优点不同

主成分分析

第一：如果仅仅想把现有的变量变成少数几个新的变量（新的变量几乎带有原来所有变量的信息）来进入后续的分析，则可以使用主成分分析，不过一般情况下也可以使用因子分析。

第二：通过计算综合主成分函数得分，对客观经济现象进行科学评价。

第三：它在应用上侧重于信息贡献影响力综合评价。

第四：应用范围广，主成分分析不要求数据来自正态分布总体，其技术来源是矩阵运算的技术以及矩阵对角化和矩阵的谱分解技术，因而凡是涉及多维度问题，都可以应用主成分降维； 

因子分析：对于因子分析，可以使用旋转技术，使得因子更好的得到解释，因此在解释主成分方面因子分析更占优势；其次因子分析不是对原有变量的取舍，而是根据原始变量的信息进行重新组合，找出影响变量的共同因子，化简数据。

10.应用场景不同： 几个常用组合

主成分分析：

主成分分析+判别分析，适用于变量多而记录数不多的情况。

主成分分析+多元回归分析，主成分分析可以帮助判断是否存在共线性，并用于处理共线性问题。

主成分分析+聚类分析，不过这种组合因子分析可以更好的发挥优势。

因子分析

首先，因子分析+多元回归分析，可以利用因子分析解决共线性问题。

其次，可以利用因子分析，寻找变量之间的潜在结构。

再次，因子分析+聚类分析，可以通过因子分析寻找聚类变量，从而简化聚类变量。

此外，因子分析还可以用于内在结构证实。