PCA主成分分析（入门计算+深入解析）(一)

PCA主成分分析（入门+深入）+最大方差理论+几何意义

Principal components analysis

转载请注明：云南省高校数据化运营管理工程研究中心博客http://blog.csdn.net/m0_37788308/article/details/78115209

  我们在作数据分析处理时，数据往往包含多个变量，而较多的变量会带来分析问题的复杂性。主成分分析（Principal components analysis，以下简称PCA）是一种通过降维技术把多个变量化为少数几个主成分的统计方法，是最重要的降维方法之一。它可以对高维数据进行降维减少预测变量的个数，同时经过降维除去噪声，其最直接的应用就是压缩数据，具体的应用有：信号处理中降噪，数据降维后可视化等。
  PCA把原先的n个特征用数目更少的m个特征取代，新的m个特征一要保证最大化样本方差，二保证相互独立的。新特征是旧特征的线性组合，提供一个新的框架来解释结果。接下来分四部分来展开PCA的理论与实践：

• 什么时候用PCA，即数据特点；

• 什么是主成分分析、主成分计算；

• 主成分分析为什可以，即主成分理论基础；

• python如何快速实现PCA；

一、数据特点

1.维度灾难

  维度灾难，简单来说就是变量的个数多。如果变量个数增加，随之需要估计的参数个数也在增加，在训练集保持不变的情况下待估参数的方差也会随之增加，导致参数估计质量下降。

2.变量关系不一般。

  变量关系不一般，指的是变量彼此之间常常存在一定程度的、有时甚至是相当高的相关性，这说明数据是有冗余的，或者说观测数据中的信息是有重叠的，这是我们利用主成分进行降维的前提条件，也可以说这使得变量降维成为可能（观察变量的相关系数矩阵，一般来说相关系数矩阵中多数元素绝对值大于0.5，非常适合做主成分分析，但也不是说小于的就不可以用这种方法）。
  在变量个数多，相互的相关性比较大的时候，我们会不会去寻找变量中的“精华”呢？，寻找个数相对较少的综合变量呢？这是我们利用主成分降维的动机。

  可参考被博文广传的例子：

•比如拿到一个汽车的样本，里面既有以“千米/每小时”度量的最大速度特征，也有“英里/小时”的最大速度特征，显然这两个特征有一个多余。

• 拿到一个数学系的本科生期末考试成绩单，里面有三列，一列是对数学的兴趣程度，一列是复习时间，还有一列是考试成绩。我们知道要学好数学，需要有浓厚的兴趣，所以第二项与第一项强相关，第三项和第二项也是强相关。那是不是可以合并第一项和第二项呢？

（为保证公式的显示规范，方便讨论，建议至原博客网页进行查看呦http://blog.csdn.net/m0_37788308/article/details/78115209）

二、什么是主成分分析

1.由来：

  主成分分析（principal component analysis）由皮尔逊（Pearson，1901）首先引入，后来被霍特林（Hotelling，1933）发展了。

2. 描述；

  主成分分析是一种通过降维技术把多个变量化为少数几个主成分（综合变量）的统计分析方法。这些主成分能够反映原始变量的绝大部分信息，它们通常表示为原始变量的某种线性组合。
  那为了主成分的为了是这些主成分所含的信息不互相重叠，应要求他们之间互不相关。
主成分的目的：
（1）变量的降维
（2）主成分的解释（在主成分有意义的情况下）

3.计算步骤

例子：我们简单粗暴直接上例子，我们带着问题看例子，一步一步来。（例子来自《应用多元统计》，王学民老师著）

  在制定服装标准的过程中，对128名成年男子的身材进行了测量，每人测得的指标中含有这样六项：身高（x1）、坐高（x2） 、胸围（x3） 、手臂长（x4） 、肋围（x5）和腰围（x6） 。

第一步，对原始数据标准化（减去对应变量的均值，再除以其方差），并计算相关矩阵（或协方差矩阵）:

第二步，计算相关矩阵的特征值及特征向量。

  特征值从大到小排列，特征向量和特征值对应从大到小排列。前三个主成分分别为:

第三步，根据累计贡献率(一般要求累积贡献率达到85%)可考虑取前面两个或三个主成分。

第四步，解释主成分。观察系数发现第一主成分系数多为正数，且变量都与身材大小有关系，称第一主成分为（身材）大小成分；类似分析，称第二主成分为形状成分（或胖瘦成分），称第三主成分为臂长成分。

（结合一定的经验和猜想，解释主成分，不是所有的主成分都能被合理的解释）

  称第一主成分为（身材）大小成分，称第二主成分为形状成分（或胖瘦成分），称第三主成分为臂长成分。

可考虑取前两个主成分。

由于 λ6 非常小，所以存在共线性关系：