我正在做无监督分类。为此，我有 8 个特征（绿色方差、绿色标准差、红色平均值、红色方差、红色标准差、色调平均值、色调方差、色调标准差）用于分类每个图像，我想使用 PCA 选择 3 个最重要的特征。我编写了以下代码用于特征选择 （其中特征尺寸为：179X8）：
for c=1:size(feature,1)
feature(c,:)=feature(c,:)-mean(feature)
end
DataCov=cov(feature); % covariance matrix
[PC,variance,explained] = pcacov(DataCov)
这给了我：
PC =
0.0038 -0.0114 0.0517 0.0593 0.0039 0.3998 0.9085 -0.0922
0.0755 -0.1275 0.6339 0.6824 -0.3241 -0.0377 -0.0641 0.0052
0.7008 0.7113 -0.0040 0.0496 -0.0207 0.0042 0.0012 0.0002
0.0007 -0.0012 0.0051 0.0101 0.0272 0.0288 0.0873 0.9953
0.0320 -0.0236 0.1521 0.2947 0.9416 -0.0142 -0.0289 -0.0266
0.7065 -0.6907 -0.1282 -0.0851 0.0060 0.0003 0.0010 -0.0001
0.0026 -0.0037 0.0632 -0.0446 0.0053 0.9125 -0.4015 0.0088
0.0543 -0.0006 0.7429 -0.6574 0.0838 -0.0705 0.0311 -0.0001
方差=
0.0179
0.0008
0.0001
0.0000
0.0000
0.0000
0.0000
0.0000
解释=
94.9471
4.1346
0.6616
0.2358
0.0204
0.0003
0.0002
0.0000
这意味着第一主成分解释了 94.9% 的方差，依此类推……但这些是按显着性从高到低的顺序排列的。 根据以上信息我如何知道要选择哪些特征（从1到8）。
您的问题与 Mahoney 和 Drineas 中讨论的 COLUMNSELECT 问题相同“用于改进数据分析的 CUR 矩阵分解”.
他们首先计算每个维度的杠杆分数，然后使用杠杆分数作为权重随机选择其中的 3 个维度。或者，您可以选择最大的。这是解决您问题的脚本：
我首先从网上获得了一张真实的自然图像，并将其调整为您要求的尺寸。图片如下：
%# Example data from real image of size 179x8
%# You can skip it for your own data
features = im2double(rgb2gray(imread('img.png')));
%# m samples, n dimensions
[m,n] = size(features);
然后，计算集中数据：
%# Remove the mean
features = features - repmat(mean(features,2), 1, size(features,2));
我使用 SVD 来计算 PCA，因为它可以提供主成分和系数。如果样本位于列中，则U持有主要成分。检查第二页这张纸为了关系。
%# Compute the SVD
[U,S,V] = svd(features);
这里的关键思想是我们想要获得具有大部分变化的维度。一个假设是数据中存在一些噪音。我们只选择主要特征向量，例如代表了95%的数据。
%# Compute the number of eigenvectors representing
%# the 95% of the variation
coverage = cumsum(diag(S));
coverage = coverage ./ max(coverage);
[~, nEig] = max(coverage > 0.95);
然后使用以下公式计算杠杆分数nEig的主要成分。也就是说，我们取范数nEig系数。
%# Compute the norms of each vector in the new space
norms = zeros(n,1);
for i = 1:n
norms(i) = norm(V(i,1:nEig))^2;
end
然后，我们可以对杠杆分数进行排序：
%# Get the largest 3
[~, idx] = sort(norms);
idx(1:3)'
并获取具有最大杠杆分数的向量的索引：
ans =
6 8 5
您可以查看论文以了解更多详细信息。
但是，请记住，如果您有很多维度，基于 PCA 的技术会很好。就您而言，搜索空间非常小。我的建议是在空间中进行详尽的搜索，并按照 @amit 的建议获得最佳选择。