按行号和列号对文件进行子集化

我们想要按行和列对文本文件进行子集化，其中行数和列数是从文件中读取的。不包括标题（第 1 行）和行名称（第 1 列）。

输入文件.txt制表符分隔的文本文件

header  62  9   3   54  6   1
25  1   2   3   4   5   6
96  1   1   1   1   0   1
72  3   3   3   3   3   3
18  0   1   0   1   1   0
82  1   0   0   0   0   1
77  1   0   1   0   1   1
15  7   7   7   7   7   7
82  0   0   1   1   1   0
37  0   1   0   0   1   0
18  0   1   0   0   1   0
53  0   0   1   0   0   0
57  1   1   1   1   1   1

子集列.txt逗号分隔，无空格，一行，数字有序。在实际数据中，我们有 500K 列，需要子集约 10K。

1,4,6

子集行.txt逗号分隔，无空格，一行，数字有序。在实际数据中，我们有 20K 行，需要大约 300 行子集。

1,3,7

当前解决方案使用cut and awk loop (相关文章：使用 awk 选择行 https://stackoverflow.com/q/27509898):

# define vars
fileInput=inputFile.txt
fileRows=subsetRows.txt
fileCols=subsetCols.txt
fileOutput=result.txt

# cut columns and awk rows
cut -f2- $fileInput | cut -f`cat $fileCols` | sed '1d' | awk -v s=`cat $fileRows` 'BEGIN{split(s, a, ","); for (i in a) b[a[i]]} NR in b' > $fileOutput

输出文件：结果.txt

1   4   6
3   3   3
7   7   7

问题：
该解决方案适用于小文件，对于 50K 行和 200K 列的较大文件，它花费的时间太长，超过 15 分钟，仍在运行。我认为cut选择列工作正常，选择行则较慢。

还有更好的办法吗？

真实输入文件信息：

# $fileInput:
#        Rows = 20127
#        Cols = 533633
#        Size = 31 GB
# $fileCols: 12000 comma separated col numbers
# $fileRows: 300 comma separated row numbers

有关该文件的更多信息：文件包含GWAS https://en.wikipedia.org/wiki/Genome-wide_association_study基因型数据。每行代表样本（个体），每列代表SNP https://en.wikipedia.org/wiki/Single-nucleotide_polymorphism。为了进一步基于区域的分析，我们需要对样本（行）和 SNP（列）进行子集化，以使数据更易于管理（小），作为其他统计软件的输入，例如r /questions/tagged/r.

System:

$ uname -a
Linux nYYY-XXXX ZZZ Tue Dec 18 17:22:54 CST 2012 x86_64 x86_64 x86_64 GNU/Linux

Update:下面提供的解决方案@詹姆斯布朗 https://stackoverflow.com/a/40844004在我的系统中混合列的顺序，因为我使用不同版本的 awk，我的版本是：GNU Awk 3.1.7

尽管在如果编程语言是国家，那么每种语言代表哪个国家？ https://www.quora.com/If-programming-languages-were-countries-which-country-would-each-language-represent/answer/John-Purcell-4他们说...

阿克：朝鲜。顽固地抵制变革，其用户似乎不自然地喜欢它，原因我们只能推测。

...每当您看到自己使用管道 sed、cut、grep、awk 等时，请停下来对自己说：awk 可以单独完成！

因此，在这种情况下，需要提取行和列（调整它们以排除标题和第一列），然后缓冲输出以最终打印它。

awk -v cols="1 4 6" -v rows="1 3 7" '
    BEGIN{
       split(cols,c); for (i in c) col[c[i]]  # extract cols to print
       split(rows,r); for (i in r) row[r[i]]  # extract rows to print
    }
    (NR-1 in row){
       for (i=2;i<=NF;i++) 
              (i-1) in col && line=(line ? line OFS $i : $i); # pick columns
              print line; line=""                             # print them
    }' file

使用您的示例文件：

$ awk -v cols="1 4 6" -v rows="1 3 7" 'BEGIN{split(cols,c); for (i in c) col[c[i]]; split(rows,r); for (i in r) row[r[i]]} (NR-1 in row){for (i=2;i<=NF;i++) (i-1) in col && line=(line ? line OFS $i : $i); print line; line=""}' file
1 4 6
3 3 3
7 7 7

使用示例文件和输入作为变量，以逗号分隔：

awk -v cols="$(<$fileCols)" -v rows="$(<$fileRows)" 'BEGIN{split(cols,c, /,/); for (i in c) col[c[i]]; split(rows,r, /,/); for (i in r) row[r[i]]} (NR-1 in row){for (i=2;i<=NF;i++) (i-1) in col && line=(line ? line OFS $i : $i); print line; line=""}' $fileInput

我很确定这会更快。例如，您可以检查根据第二个文本文件从文本文件中删除重复项 https://stackoverflow.com/q/30820894/1983854对于一些比较性能的基准awk over grep和别的。