---

---

该系列是基于牛客Shell题库，针对具体题目进行查漏补缺，学习相应的命令。

刷题链接：牛客题霸-Shell篇。

该系列文章都放到专栏下，专栏链接为：《专栏：Linux》。欢迎关注专栏~

本文知识预告：

• 首先学习了对文件内容进行排序的sort命令和去除文件中重复内容的uniq命令；
• 然后结合相关知识给出了三种题目的解决方案。

---

---

题目：SHELL9 统计每个单词出现的个数

写一个bash脚本以统计一个文本文件nowcoder.txt 中每个单词出现的个数。

为了简单起见，你可以假设：nowcoder.txt只包括小写字母和空格，每个单词只由小写字母组成，单词间由一个或多个空格字符分隔。

假设 nowcoder.txt 内容如下：

welcome nowcoder
welcome to nowcoder
nowcoder

说明：不要担心个数相同的单词的排序问题，每个单词出现的个数都是唯一的。

相关命令学习

sort：对文件内容进行排序

sort命令的功能是对文件内容进行排序。有时文本中的内容顺序不正确，一行行地手动修改实在太麻烦了。此时使用sort命令就再合适不过了，它能够对文本内容进行再次排序。

语法格式：sort [参数] 文件

常用参数：

-b	忽略每行前面开始出的空格字符
-c	检查文件是否已经按照顺序排序
-d	除字母、数字及空格字符外，忽略其他字符
-f	将小写字母视为大写字母
-i	除040至176之间的ASCII字符外，忽略其他字符
-m	将几个排序号的文件进行合并
-M	将前面3个字母依照月份的缩写进行排序
-n	依照数值的大小排序
-o <输出文件>	将排序后的结果存入制定的文件
-r	以相反的顺序来排序
-t <分隔字符>	指定排序时所用的栏位分隔字符
-k	指定需要排序的栏位

参考实例

1. 对指定的文件内容按照字母顺序进行排序：

lucky@DESKTOP-VQ8KID4:~$ cat fruits.txt
watermelon
apple
blackberry
fig
kiwi
lemon
grapefruit
pineapple
banana
orange
lucky@DESKTOP-VQ8KID4:~$ sort fruits.txt
apple
banana
blackberry
fig
grapefruit
kiwi
lemon
orange
pineapple
watermelon

1. 对指定的文件内容按照数字大小进行排序：

lucky@DESKTOP-VQ8KID4:~$ cat num.txt
32
2
56
321
33
22
1
45
lucky@DESKTOP-VQ8KID4:~$ sort -n num.txt
1
2
22
32
33
45
56
321

1. 以冒号:为间隔符，对指定的文件内容按照数字大小对第3列进行排序：

lucky@DESKTOP-VQ8KID4:~$ cat /etc/passwd | sort -t : -k 3 -n
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin
...
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin

uniq：去除文件中的重复内容行

uniq命令来自于英文单词unique的缩写，中文译为独特的、唯一的，其功能是用于去除文件中的重复内容行。uniq命令能够去除掉文件中相邻的重复内容行，如果两端相同内容中间夹杂了其他文本行，则需要先使用sort命令进行排序后再去重复，这样保留下来的内容就都是唯一的了。

划重点：去除相邻重复内容行！

语法格式：uniq [参数] 文件

常用参数：

-c	打印每行在文本中重复出现的次数
-d	每个重复纪录只出现一次
-u	只显示没有重复的纪录

参考实例

1. 对指定的文件进行去重操作：

lucky@DESKTOP-VQ8KID4:~$ cat test.txt
nowcoder
nowcoder
nowcoder
to
welcome
welcome
lucky@DESKTOP-VQ8KID4:~$ uniq test.txt
nowcoder
to
welcome

1. 统计相同内容行在文件中重复出现的次数：

lucky@DESKTOP-VQ8KID4:~$ uniq -c test.txt
      3 nowcoder
      1 to
      2 welcome

1. 仅显示指定文件中存在一模一样内容行的信息：

lucky@DESKTOP-VQ8KID4:~$ uniq -d test.txt
nowcoder
welcome

1. 仅显示指定文件中没有存在一摸一样内容行的信息：

lucky@DESKTOP-VQ8KID4:~$ uniq -u test.txt
to

awk：文本和数据进行处理的编程语言

awk命令来自于三位创始人”Alfred Aho，Peter Weinberger, Brian Kernighan “的姓氏缩写，其功能是用于对文本和数据进行处理的编程语言。使用awk命令可以让用户自定义函数或正则表达式对文本内容进行高效管理，与sed、grep并称为Linux系统中的文本三剑客。

语法格式：awk 参数 文件

常用参数：

参数	功能
-F	指定输入时用到的字段分隔符
-v	自定义变量
-f	从脚本中读取awk命令
-m	对val值设置内在限制

常用的awk内置变量：

awk语法由一系列条件和动作组成，在花括号内可以有多个动作，多个动作之间用分号分隔，在多个条件和动作之间可以有若干空格，也可以没有。

变量名称	说明
FILENAME	当前输入文档的文件名
FNR	当前输入文档的当前行号，尤其当多个输入文档时有用
FS	设置字段分隔符，默认为空格或制表符
NF	当前记录（行）的字段（列）个数
NR	输入数据流的当前记录数（行号）
OFS	输出字段分隔符，默认为空格
ORS	输出记录分隔符，默认为换行符
RS	输入记录分隔符，默认为换行符

awk是一种处理文本文件的编程语言，文件的每行数据都被称为记录，默认以空格或制表符为分隔符，每条记录被分成若干字段（列），awk每次从文件中读取一条记录。

例子：

1. 仅显示指定文件中第1、2列的内容（默认以空格为间隔符）：

lucky@DESKTOP-VQ8KID4:~/shell$ awk '{print $1,$2}' nowcoder.txt
#include <iostream>
using namespace
int main()
{
int a
int b
cout <<
return 0;
}

1. 以冒号为间隔符，仅显示指定文件中第1列的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $1,$2}' /etc/passwd
root x
daemon x
bin x
...
tcpdump x
sshd x
landscape x
pollinate x
lucky x

/etc/passwd文件中的内容由:分隔开。

1. 以冒号为间隔符，显示系统中所有UID号码大于500的用户信息（第3列）：

lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '$3>=500' /etc/passwd
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash

1. 仅显示指定文件中含有指定关键词main的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ awk '/main/{print}' nowcoder.txt
int main()

1. 以冒号为间隔符，仅显示指定文件中最后一个字段的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $NF}' /etc/passwd
/bin/bash
/usr/sbin/nologin
/usr/sbin/nologin
...
/usr/sbin/nologin
/bin/false
/bin/bash

1. 输出行号，NR将所有文件的数据视为一个数据流，而FNR则是将多个文件的数据视为独立的若干个数据流，遇到新文件时行号从1开始重新递增。

lucky@DESKTOP-VQ8KID4:~$ awk '{print NR}' first.txt three.sh
1
2
3
lucky@DESKTOP-VQ8KID4:~$ awk '{print FNR}' first.txt three.sh
1
1
2

tr：字符转换工具

tr命令来自于英文单词transform的缩写，中文译为转换，其功能是用于字符转换。tr命令是一款批量字符转换、压缩、删除的文本工具，但仅能从标准输入中读取文本内容，需要与管道符或输入重定向操作符搭配使用。

语法格式：tr [参数] 字符串1 字符串2

常用参数：

-c	反选字符串1的补集（取反）
-d	删除字符串1中出现的所有字符
-s	删除所有重复出现的字符序列

将指定文件中的小写字母转换成大写字母后输出内容到终端界面：

lucky@DESKTOP-VQ8KID4:~$ tr [a-z] [A-Z] < hello.py
ABC
567
AAA
BBB
CCC

删除指定文件中所有的数字后输出内容到终端界面：

lucky@DESKTOP-VQ8KID4:~$ tr -d [0-9] < hello.py
abc

aaa
bbb
ccc

将指定文件中的多个相邻空行去重后输出内容到终端界面：

lucky@DESKTOP-VQ8KID4:~$ tr -s "[\n]" < nowcoder.txt
abc
567
aaa
bbb
ccc

xargs：给其他命令传参数的过滤器

xargs命令来自于英文词组” extended arguments“的缩写，其功能是用于给其他命令传参数的过滤器。xargs命令能够处理从标准输入或管道符输入的数据，并将其转换成命令参数，也可以将单行或多行输入的文本转换成其他格式。

xargs命令默认接收的信息中，空格是默认定界符，所以可以接收包含换行和空白的内容。

语法格式： xargs [参数]

常用参数：

-n	多行输出
-d	自定义一个定界符
-I	指定一个替换字符串{}
-t	打印出xargs执行的命令
-p	执行每一个命令时弹出确认

参考实例

1. 默认以空格为定界符，以多行形式输出文件内容，每行显示一三段内容值：

lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt | xargs -n 1
how
they
are
implemented
and
applied
in
computer

1. 指定字符X为定界符，默认以单行的形式输出字符串内容：

lucky@DESKTOP-VQ8KID4:~$ echo "FirstXSecondXThirdXFourthXFifth" | xargs -dX
First Second Third Fourth Fifth

1. 定字符X为定界符，以多行形式输出文本内容，每行显示两段内容值：

lucky@DESKTOP-VQ8KID4:~$ echo "FirstXSecondXThirdXFourthXFifth" | xargs -dX -n 2
First Second
Third Fourth
Fifth

1. 设定每一次输出信息时，都需要用户手动确认后再显示到终端界面：

lucky@DESKTOP-VQ8KID4:~$ echo "FirstXSecondXThirdXFourthXFifth" | xargs -dX -n 2 -p
echo First Second ?...y
First Second
echo Third Fourth ?...y
Third Fourth
echo 'Fifth'$'\n' ?...n

题目解决方案

方法一：xargs+sort+uniq+awk统计频率

lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt | xargs -n 1 | sort | uniq -c | sort -n
| awk '{print $2, $1}'
to 1
welcome 2
nowcoder 3

下面拆分一下步骤：

1. cat查看内容

lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt
welcome nowcoder
welcome to nowcoder
nowcoder

1. xargs转为单行输出

lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt  | xargs -n 1
welcome
nowcoder
welcome
to
nowcoder
nowcoder

1. sort将结果按照字符大小排序

lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt  | xargs -n 1 | sort
nowcoder
nowcoder
nowcoder
to
welcome
welcome

1. uniq统计重复行

lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt  | xargs -n 1 | sort | uniq -c
      3 nowcoder
      1 to
      2 welcome

1. sort对第1列统计结果排序

lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt  | xargs -n 1 | sort | uniq -c | sort
      1 to
      2 welcome
      3 nowcoder

1. awk换行输出

lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt  | xargs -n 1 | sort | uniq -c | sort | awk '{print $2,$1}'
to 1
welcome 2
nowcoder 3

方法二：tr+sort+uniq+awk统计频率

tr -s "空格"替换为“换行”可以将所有单词列成1列

lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt | tr -s ' ' '\n' | sort | uniq -c | sor
t | awk '{print $2, $1}'
to 1
welcome 2
nowcoder 3

方法三：awk命令搭配for循环

lucky@DESKTOP-VQ8KID4:~$ awk '{for(i=1;i<=NF;i++) a[$i]+=1}END{for(x in a) print x,a[x]}' nowcoder.txt | sort -k 2
to 1
welcome 2
nowcoder 3