首先我们须要更好地理解为什么须要在机器学习中利用PCA：

去除噪声数据：有时在一个数据集中，有太多的数据须要剖析，我们是否须要包括或删除它，以提高算法的性能。
然而，利用PCA，它会过滤掉噪声数据，只留下突出的数据；提高性能：通过从数据集中去除大量不干系的特色，将自动大大减少机器学习中的演习韶光；简化可视化：太多的特色迫使我们剖析太多的图形，这些图形有时看起来很混乱，无论是对我们还是对客户来说，都是为了消化数据。
通过去掉那些没有影响的特色，我们将能够大略地将数据可视化，并使其更易于理解；减少过拟合：有许多发生过拟合仅仅是由于太多的特色。
PCA显然有助于缓解这一问题。
实现

在本文中，我们通过***的Kaggle数据集实现PCA（https://www.kaggle.com/tomk23/hr-dataset/download）。
通过pandas的head函数，我们可以看到数据集的特色和数据如下：

数据清理

如我们所见，原始数据集由10个特色组成，还有一些离散数据。
机器学习算法不能消化离散数据，我们须要将它们转换为有序数据。

对付PCA，同样的情形下，须要将发卖和薪资特色转换为有序数据，如下所示：

data['salary']=data['salary'].map({'low':1,'medium':2,'high':3}).astype(int)data['sales']=data['sales'].map({'accounting':1,'hr':2,'IT':3,'management':4,'marketing':5,'product_mng':6,'RandD':7,'sales':8,'support':9,'technical':10}).astype(int)

这将为我们供应一个没有任何离散数据的新数据集，如下所示：

如我们所见，left 特色是一个标签，因此，在接下来的几个步骤中，可以更方便地将其设置在数据列的最左侧，以便进行数据拆分。
首先，我们须要将特色转换为列表，以便能够重新排列列。

columns=data.columns.tolist()

然后将left特色放到第一列。

columns.insert(0,columns.pop(columns.index('left')))

然后再次从列脸色势转换为列。

data=data.reindex(columns=columns)

干系性矩阵

随后，我们可以通过干系性矩阵剖析每个特色之间的干系性，干系矩阵可以通过以下seaborn库构建：

correlation=data.corr()plt.figure(figsize=(10,10))sns.heatmap(correlation,vmax=1,square=True,annot=True,cmap='viridis')plt.title('Correlationbetweenfeatures')

数据划分

由于left特色是一个标签，我们可以对数据集随机化，然后将数据拆分为X和Y，如下X为演习数据，y为标签数据：

X=data.iloc[:,1:10].valuesy=data.iloc[:,0].valuesX

演习数据如下：

现在我们有9个演习数据的特色：

数据标准化

现在我们已经进入了PCA的第一步，这是数据标准化，这是实行PCA之前的必要步骤。
基本上，数据标准化的目的是通过利用均匀值和标准差来均衡所有数据。

例如，1-A班的安迪在数学考试中得了80分，满分为100分，标准差为6分，而1-B班的海伦在数学考试中得了320分，由于她的老师用的是450分，标准差为68分。
因此，为了理解谁的分数更高，我们用百分最近标准化分数，例如，安迪得到80%，海伦得到71%。
这样，我们知道安迪的分数比海伦高。

在Python中，我们可以利用sklearn的StandardScaler函数对数据进行标准化，如下所示：

fromsklearn.preprocessingimportStandardScalerX_std=StandardScaler().fit_transform(X)

Sklearn的StandardScaler的事理是用均匀值减去值，再除以标准差：

z： 标准化数据x： 原始数据µ：均匀值σ： 标准差值

均匀值：

N： 数据数量

标准差：

现在，我们的数据集已经通过利用sklearn函数实现了标准化，输出如下：

协方差矩阵

在标准化之后，我们想再次找出每个特色之间的干系性。
这可以通过利用以下公式来实现：

或者可以用如下Python代码：

mean_vec=np.mean(X_std)cov_mat=(X_std-mean_vec).T.dot((X_std-mean_vec))/(X_std.shape[0]-1)print('Covariancematrix',cov_mat)

或者大略地利用Numpy的协方差函数：

print('NumPycovariancematrix:',np.cov(X_std.T))

如果两个代码将供应相同的输出：

求主分量的特色向量和特色值

既然我们通过协方差矩阵理解了每个特色之间的关系，就可以通过打算特色向量和特色值来确定它的主身分。

从上图理解，协方差矩阵被视为A，因此，可以利用下面的Numpy函数来确定特色向量和特色值：

eig_vals,eig_vecs=np.linalg.eig(cov_mat)print('Eigenvectors',eig_vecs)print('\nEigenvalues',eig_vals)

这两个矩阵都显示为：

特色值排序

既然已经找到了特色值和特色向量，我们须要对特色值进行排序，以确定哪个特色向量在数据集中最干系。
首先，我们须要将每个特色值和特色向量组合成一列特色对：

eig_pairs=[(np.abs(eig_vals[i]),eig_vecs[:,i])foriinrange(len(eig_vals))]

之后，可以将特色对从最高值到最低值进行排序：

eig_pairs.sort(key=lambdax:x[0],reverse=True)

我们可以得到如下所示的有序特色值：

print('SortedEigenvalues:')foriineig_pairs:print(i[0])

确定主身分

现在我们可以从排序后的特色值中得到主身分。
主身分的值，这是所谓的阐明方差，表明如何突出一个特色。
我们目前有9个不同的主身分，因此我们将产生9个不同的百分比方差。

阐明方差可通过以下公式确定：

tot=sum(eig_vals)var_exp=[(i/tot)100foriinsorted(eig_vals,reverse=True)]

然后我们可以利用Matplotlib绘制出每个主身分的值：

withplt.style.context('bmh'):plt.figure(figsize=(6,4))plt.bar(range(9),var_exp,alpha=0.5,align='center')plt.ylabel('ExplainedVariance')plt.xlabel('Principalcomponents')plt.tight_layout()

通过上面的图表，我们可以确定最大方差在20.5%旁边。
末了两个特色与其他特色比较影响比较小，由于它们的方差小于7.5%。
因此，我们可以放弃这两个特色。

布局新矩阵

既然决定去掉末了两个特色，我们就可以布局只包含前7个特色的新矩阵。

PCA_matrix=np.hstack((eig_pairs[0][1].reshape(9,1),eig_pairs[1][1].reshape(9,1),eig_pairs[2][1].reshape(9,1),eig_pairs[3][1].reshape(9,1),eig_pairs[4][1].reshape(9,1),eig_pairs[5][1].reshape(9,1),eig_pairs[6][1].reshape(9,1),))

然后利用点积法，利用Y=X•W建立新的特色空间。

Y=X_std.dot(PCA_matrix)

然后我们可以创建一个新的数据集，个中包含每个主身分的数据，包括如下标签：

principalDf=pd.DataFrame(data=Y,columns=['principalcomponent1','principalcomponent2','principalcomponent3','principalcomponent4','principalcomponent5','principalcomponent6','principalcomponent7'])finalDf=pd.concat([principalDf,pd.DataFrame(y,columns=['left'])],axis=1)

这将为我们供应一个新的数据集，该数据集已通过PCA处理为：

结论

关于放弃多少特色，我们有很多选择，无论是放弃2个还是3个，乃至只留下2个特色。
我们已经明白，至少第一个特色是最突出的一个。
因此，通过机器学习算法，如线性回归、随机森林等，处理这类数据的速率要比处理全体数据集快得多。

希望这篇文章能帮助你更多的理解PCA，感激阅读。