该系列是基于牛客Shell题库，针对具体题目进行查漏补缺，学习相应的命令。
刷题链接：牛客题霸-Shell篇。
该系列文章都放到专栏下，专栏链接为：《专栏：Linux》。欢迎关注专栏~
本文知识预告：
- 首先学习了反向列示文件内容的命令：
tac，这个命令与cat功能相反；
- 然后结合之前所学习的命令，给出了四种题目的解决方案。
编写一个shell脚本，将文件nowcoder.txt中每一行的字段逆序输出，其中字段之间使用英文冒号:相分隔。
假设nowcoder.txt内容如下：
body:*:-2:-2:Unprivileged User:/var/empty:/usr/bin/false
root:*:0:0:System Administrator:/var/root:/bin/sh
你的脚本应当输出
/usr/bin/false:/var/empty:Unprivileged User:-2:-2:*:nobody
/bin/sh:/var/root:System Administrator:0:0:*:root
相关命令学习
awk：文本和数据进行处理的编程语言
awk命令来自于三位创始人”Alfred Aho，Peter Weinberger, Brian Kernighan “的姓氏缩写，其功能是用于对文本和数据进行处理的编程语言。使用awk命令可以让用户自定义函数或正则表达式对文本内容进行高效管理，与sed、grep并称为Linux系统中的文本三剑客。
语法格式：awk 参数 文件
常用参数：
| 参数 |
功能 |
-F |
指定输入时用到的字段分隔符 |
-v |
自定义变量 |
-f |
从脚本中读取awk命令 |
-m |
对val值设置内在限制 |
常用的awk内置变量：
awk语法由一系列条件和动作组成，在花括号内可以有多个动作，多个动作之间用分号分隔，在多个条件和动作之间可以有若干空格，也可以没有。
| 变量名称 |
说明 |
FILENAME |
当前输入文档的文件名 |
FNR |
当前输入文档的当前行号，尤其当多个输入文档时有用 |
FS |
设置字段分隔符，默认为空格或制表符 |
NF |
当前记录（行）的字段（列）个数 |
NR |
输入数据流的当前记录数（行号） |
OFS |
输出字段分隔符，默认为空格 |
ORS |
输出记录分隔符，默认为换行符 |
RS |
输入记录分隔符，默认为换行符 |
awk是一种处理文本文件的编程语言，文件的每行数据都被称为记录，默认以空格或制表符为分隔符，每条记录被分成若干字段（列），awk每次从文件中读取一条记录。
例子：
- 仅显示指定文件中第1、2列的内容（默认以空格为间隔符）：
lucky@DESKTOP-VQ8KID4:~/shell$ awk '{print $1,$2}' nowcoder.txt
#include <iostream>
using namespace
int main()
{
int a
int b
cout <<
return 0;
}
- 以冒号为间隔符，仅显示指定文件中第1列的内容：
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $1,$2}' /etc/passwd
root x
daemon x
bin x
...
tcpdump x
sshd x
landscape x
pollinate x
lucky x
/etc/passwd文件中的内容由:分隔开。
- 以冒号为间隔符，显示系统中所有UID号码大于500的用户信息（第3列）：
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '$3>=500' /etc/passwd
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
- 仅显示指定文件中含有指定关键词
main的内容：
lucky@DESKTOP-VQ8KID4:~/shell$ awk '/main/{print}' nowcoder.txt
int main()
- 以冒号为间隔符，仅显示指定文件中最后一个字段的内容：
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $NF}' /etc/passwd
/bin/bash
/usr/sbin/nologin
/usr/sbin/nologin
...
/usr/sbin/nologin
/bin/false
/bin/bash
- 输出行号，
NR将所有文件的数据视为一个数据流，而FNR则是将多个文件的数据视为独立的若干个数据流，遇到新文件时行号从1开始重新递增。
lucky@DESKTOP-VQ8KID4:~$ awk '{print NR}' first.txt three.sh
1
2
3
lucky@DESKTOP-VQ8KID4:~$ awk '{print FNR}' first.txt three.sh
1
1
2
sed：批量编辑文本文件
sed命令来自于英文词组“stream editor”的缩写，其功能是用于利用语法/脚本对文本文件进行批量的编辑操作。sed命令最初由贝尔实验室开发，后被众多Linux系统接纳集成，能够通过正则表达式对文件进行批量编辑，让需要重复的工作不再浪费时间。
sed是非交互式的编辑器。它不会修改文件，除非使用shell重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件（或输入），并将结果发送到屏幕。
sed命令行格式为：
sed [-nefri] ‘command’ 输入文本
常用选项：
-
-n：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-
-e：直接在指令列模式上进行 sed 的动作编辑；
-
-f：直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的sed 动作；
-
-r：sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
-
-i：直接修改读取的档案内容，而不是由萤幕输出。
常用命令：
-
a：新增， a 的后面可以接字串，而这些字串会在新的一行出现；
-
c：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行；
-
d：删除，因为是删除，所以 d 后面通常不接任何字符；
-
i：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
-
p：列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作；
-
s：取代，可以直接进行取代的工作！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g！
-
g：是行内进行全局替换
常用参数：
| 参数 |
功能 |
-e |
以指定的脚本来处理输入的文本文件 |
-f<script文件> |
以指定的脚本文件来处理输入的文本文件 |
-h |
显示帮助 |
-n |
仅显示script处理后的结果 |
-V |
显示版本信息 |
参考实例
- 查找指定文件中带有某个关键词的行：
lucky@DESKTOP-VQ8KID4:~/shell$ sed -n '/main/p' nowcoder.txt
int main()
- 替换指定文件中某个关键词成大写形式：
lucky@DESKTOP-VQ8KID4:~/shell$ sed 's/int/INT/g' nowcoder.txt
#include <iostream>
using namespace std;
INT main()
{
INT a = 10;
INT b = 100;
cout << "a + b:" << a + b << endl;
return 0;
}
有点巧，这和前面学的Vim里面的替换基本一样。
- 读取指定文件，删除所有带有某个关键词的行：
lucky@DESKTOP-VQ8KID4:~/shell$ sed '/int/d' nowcoder.txt
#include <iostream>
using namespace std;
{
cout << "a + b:" << a + b << endl;
return 0;
}
- 读取指定文件，在第4行后插入一行新内容：
lucky@DESKTOP-VQ8KID4:~/shell$ sed -e '4a\ cout << "hello world" << end;' nowcoder.
txt
#include <iostream>
using namespace std;
int main()
{
cout << "hello world" << end;
int a = 10;
int b = 100;
cout << "a + b:" << a + b << endl;
return 0;
}
- 读取指定文件，在第4行后插入多行新内容：
lucky@DESKTOP-VQ8KID4:~/shell$ cat nowcoder.txt | sed -e '4a\ cout << "hello world"
<< endl; \n cout << "hello aha" << endl;'
#include <iostream>
using namespace std;
int main()
{
cout << "hello world" << endl;
cout << "hello aha" << endl;
int a = 10;
int b = 100;
cout << "a + b:" << a + b << endl;
return 0;
}
- 读取指定文件，删除第2-5行的内容：
lucky@DESKTOP-VQ8KID4:~/shell$ cat -n nowcoder.txt | sed '2,5d'
1 #include <iostream>
6 int b = 100;
7 cout << "a + b:" << a + b << endl;
8 return 0;
9 }
- 读取指定文件，替换第2-5行的内容：
lucky@DESKTOP-VQ8KID4:~/shell$ sed '2,5c cout << "gaga" << endl;' nowcoder.txt
#include <iostream>
cout << "gaga" << endl;
int b = 100;
cout << "a + b:" << a + b << endl;
return 0;
}
- 指定读取某个文件的第3-7行：
lucky@DESKTOP-VQ8KID4:~/shell$ sed -n '3,7p' nowcoder.txt
int main()
{
int a = 10;
int b = 100;
cout << "a + b:" << a + b << endl;
tr：字符转换工具
tr命令来自于英文单词transform的缩写，中文译为转换，其功能是用于字符转换。tr命令是一款批量字符转换、压缩、删除的文本工具，但仅能从标准输入中读取文本内容，需要与管道符或输入重定向操作符搭配使用。
语法格式：tr [参数] 字符串1 字符串2
常用参数：
-c |
反选字符串1的补集（取反） |
-d |
删除字符串1中出现的所有字符 |
-s |
删除所有重复出现的字符序列 |
将指定文件中的小写字母转换成大写字母后输出内容到终端界面：
lucky@DESKTOP-VQ8KID4:~$ tr [a-z] [A-Z] < hello.py
ABC
567
AAA
BBB
CCC
删除指定文件中所有的数字后输出内容到终端界面：
lucky@DESKTOP-VQ8KID4:~$ tr -d [0-9] < hello.py
abc
aaa
bbb
ccc
将指定文件中的多个相邻空行去重后输出内容到终端界面：
lucky@DESKTOP-VQ8KID4:~$ tr -s "[\n]" < nowcoder.txt
abc
567
aaa
bbb
ccc
tac：反向列示文件内容
tac命令就是将文件反向输出，刚好和cat输出相反。
语法格式：tac [参数] [文件]
常用参数：
-b |
在行前而非行尾添加分隔标志 |
-r |
将分隔标志视作正则表达式来解析 |
-s |
使用指定字符串代替换行作为分隔标志 |
参考实例：
- 反向列出
nowcoder.txt文件的内容：
lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt
nobody:*:-2:-2:Unprivileged User:/var/empty:/usr/bin/false
root:*:0:0:System Administrator:/var/root:/bin/sh
lucky@DESKTOP-VQ8KID4:~$ tac nowcoder.txt
root:*:0:0:System Administrator:/var/root:/bin/sh
nobody:*:-2:-2:Unprivileged User:/var/empty:/usr/bin/false
题目解决方案
方法一：awk命令
awk -F":" '{
for(i=NF;i>=1;i--){
if(i==1){
printf("%s\n", $i)
}else{
printf("%s:", $i)
}
}
}' nowcoder.txt
方法二：方法一的简单版
awk -F ':' '{
for (i = NF; i >= 2; i--) {
printf("%s:", $i)
}
print($1)
}'
方法三：awk命令的数组使用
awk -F ":" '{
a[NR]=$NF
for (i=NF-1;i>0;i--){
a[NR]=a[NR]":"$i
}
}END{
for(k in a)
print a[k]
}' nowcoder.txt
方法四：while+tac+tr+sed
while read line; do
a=`echo $line | tr ':' '\n' | tac | tr '\n' ':' | sed 's/:$/\n/'`
done <nowcoder.txt
本地能通过，但牛客无法通过。
