---

---

该系列是基于牛客Shell题库，针对具体题目进行查漏补缺，学习相应的命令。

刷题链接：牛客题霸-Shell篇。

该系列文章都放到专栏下，专栏链接为：《专栏：Linux》。欢迎关注专栏~

本文知识预告：

• 首先学习了批量字符转换、压缩、删除的文本工具tr命令相关的知识；
• 然后结合之前学习的命令给出六种题目的解决方案。

---

---

题目：SHELL6 去掉空行

写一个 bash脚本以去掉一个文本文件nowcoder.txt中的空行。假设nowcoder.txt 内容如下：

abc

567


aaa
bbb



ccc

相关命令学习

sed：批量编辑文本文件

sed命令来自于英文词组“stream editor”的缩写，其功能是用于利用语法/脚本对文本文件进行批量的编辑操作。sed命令最初由贝尔实验室开发，后被众多Linux系统接纳集成，能够通过正则表达式对文件进行批量编辑，让需要重复的工作不再浪费时间。

sed是非交互式的编辑器。它不会修改文件，除非使用shell重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件（或输入），并将结果发送到屏幕。

sed命令行格式为：

sed [-nefri] ‘command’ 输入文本    

常用选项：

• -n：使用安静(silent)模式。在一般 sed的用法中，所有来自STDIN的资料一般都会被列出到萤幕上。但如果加上-n 参数后，则只有经过sed特殊处理的那一行(或者动作)才会被列出来。
• -e：直接在指令列模式上进行 sed 的动作编辑；
• -f：直接将 sed 的动作写在一个档案内， -f filename则可以执行 filename 内的sed 动作；
• -r：sed的动作支援的是延伸型正规表示法的语法。（预设是基础正规表示法语法）
• -i：直接修改读取的档案内容，而不是由萤幕输出。

常用命令：

• a：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
• c：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
• d：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
• i：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
• p：列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n一起运作～
• s：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g！
• g：是行内进行全局替换

常用参数：

参数	功能
-e	以指定的脚本来处理输入的文本文件
-f<script文件>	以指定的脚本文件来处理输入的文本文件
-h	显示帮助
-n	仅显示script处理后的结果
-V	显示版本信息

参考实例

1. 查找指定文件中带有某个关键词的行：

lucky@DESKTOP-VQ8KID4:~/shell$ sed -n '/main/p' nowcoder.txt
int main()

1. 替换指定文件中某个关键词成大写形式：

lucky@DESKTOP-VQ8KID4:~/shell$ sed 's/int/INT/g' nowcoder.txt
#include <iostream>
using namespace std;
INT main()
{
    INT a = 10;
    INT b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}

有点巧，这和前面学的Vim里面的替换基本一样。

1. 读取指定文件，删除所有带有某个关键词的行：

lucky@DESKTOP-VQ8KID4:~/shell$ sed '/int/d' nowcoder.txt
#include <iostream>
using namespace std;
{
    cout << "a + b:" << a + b << endl;
    return 0;
}

1. 读取指定文件，在第4行后插入一行新内容：

lucky@DESKTOP-VQ8KID4:~/shell$ sed -e '4a\    cout << "hello world" << end;' nowcoder.
txt
#include <iostream>
using namespace std;
int main()
{
    cout << "hello world" << end;
    int a = 10;
    int b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}

1. 读取指定文件，在第4行后插入多行新内容：

lucky@DESKTOP-VQ8KID4:~/shell$ cat nowcoder.txt | sed -e '4a\    cout << "hello world"
 << endl; \n    cout << "hello aha" << endl;'
#include <iostream>
using namespace std;
int main()
{
    cout << "hello world" << endl;
    cout << "hello aha" << endl;
    int a = 10;
    int b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}

1. 读取指定文件，删除第2-5行的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ cat -n nowcoder.txt | sed '2,5d'
     1  #include <iostream>
     6      int b = 100;
     7      cout << "a + b:" << a + b << endl;
     8      return 0;
     9  }

1. 读取指定文件，替换第2-5行的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ sed '2,5c cout << "gaga" << endl;' nowcoder.txt
#include <iostream>
cout << "gaga" << endl;
    int b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}

1. 指定读取某个文件的第3-7行：

lucky@DESKTOP-VQ8KID4:~/shell$ sed -n '3,7p' nowcoder.txt
int main()
{
    int a = 10;
    int b = 100;
    cout << "a + b:" << a + b << endl;

awk：文本和数据进行处理的编程语言

awk命令来自于三位创始人”Alfred Aho，Peter Weinberger, Brian Kernighan “的姓氏缩写，其功能是用于对文本和数据进行处理的编程语言。使用awk命令可以让用户自定义函数或正则表达式对文本内容进行高效管理，与sed、grep并称为Linux系统中的文本三剑客。

语法格式：awk 参数 文件

常用参数：

参数	功能
-F	指定输入时用到的字段分隔符
-v	自定义变量
-f	从脚本中读取awk命令
-m	对val值设置内在限制

常用的awk内置变量：

awk语法由一系列条件和动作组成，在花括号内可以有多个动作，多个动作之间用分号分隔，在多个条件和动作之间可以有若干空格，也可以没有。

变量名称	说明
FILENAME	当前输入文档的文件名
FNR	当前输入文档的当前行号，尤其当多个输入文档时有用
FS	设置字段分隔符，默认为空格或制表符
NF	当前记录（行）的字段（列）个数
NR	输入数据流的当前记录数（行号）
OFS	输出字段分隔符，默认为空格
ORS	输出记录分隔符，默认为换行符
RS	输入记录分隔符，默认为换行符

awk是一种处理文本文件的编程语言，文件的每行数据都被称为记录，默认以空格或制表符为分隔符，每条记录被分成若干字段（列），awk每次从文件中读取一条记录。

例子：

1. 仅显示指定文件中第1、2列的内容（默认以空格为间隔符）：

lucky@DESKTOP-VQ8KID4:~/shell$ awk '{print $1,$2}' nowcoder.txt
#include <iostream>
using namespace
int main()
{
int a
int b
cout <<
return 0;
}

1. 以冒号为间隔符，仅显示指定文件中第1列的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $1,$2}' /etc/passwd
root x
daemon x
bin x
...
tcpdump x
sshd x
landscape x
pollinate x
lucky x

/etc/passwd文件中的内容由:分隔开。

1. 以冒号为间隔符，显示系统中所有UID号码大于500的用户信息（第3列）：

lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '$3>=500' /etc/passwd
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash

1. 仅显示指定文件中含有指定关键词main的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ awk '/main/{print}' nowcoder.txt
int main()

1. 以冒号为间隔符，仅显示指定文件中最后一个字段的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $NF}' /etc/passwd
/bin/bash
/usr/sbin/nologin
/usr/sbin/nologin
...
/usr/sbin/nologin
/bin/false
/bin/bash

1. 输出行号，NR将所有文件的数据视为一个数据流，而FNR则是将多个文件的数据视为独立的若干个数据流，遇到新文件时行号从1开始重新递增。

lucky@DESKTOP-VQ8KID4:~$ awk '{print NR}' first.txt three.sh
1
2
3
lucky@DESKTOP-VQ8KID4:~$ awk '{print FNR}' first.txt three.sh
1
1
2

grep：强大的文本搜索工具

grep来自于英文词组“global search regular expression and print out the line”的缩写，意思是用于全面搜索的正则表达式，并将结果输出。人们通常会将grep命令与正则表达式搭配使用，参数作为搜索过程中的补充或对输出结果的筛选，命令模式十分灵活。
与之容易混淆的是egrep命令和fgrep命令。如果把grep命令当作是标准搜索命令，那么egrep则是扩展搜索命令，等价于“grep -E”命令，支持扩展的正则表达式。而fgrep则是快速搜索命令，等价于“grep -F”命令，不支持正则表达式，直接按照字符串内容进行匹配。

语法格式： grep [参数] 文件

常用参数：

参数	功能
-i	忽略大小写
-c	只输出匹配行的数量
-l	只列出符合匹配的文件名，不列出具体的匹配行
-n	列出所有的匹配行，显示行号
-h	查询多文件时不显示文件名
-s	不显示不存在、没有匹配文本的错误信息
-v	显示不包含匹配文本的所有行
-w	匹配整词
-x	匹配整行
-r	递归搜索
-q	禁止输出任何结果，已退出状态表示搜索是否成功
-b	打印匹配行距文件头部的偏移量，以字节为单位
-o	与-b结合使用，打印匹配的词据文件头部的偏移量，以字节为单位
-F	匹配固定字符串的内容
-E	支持扩展的正则表达式

1. 搜索某个文件中，包含某个关键词的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ grep root /etc/passwd
root:x:0:0:root:/root:/bin/bash

1. 搜索某个文件中，以某个关键词开头的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ grep ^root /etc/passwd
root:x:0:0:root:/root:/bin/bash

1. 搜索多个文件中，包含某个关键词的内容：

root@DESKTOP-VQ8KID4:~# grep lucky /etc/passwd /etc/shadow
/etc/passwd:lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
/etc/shadow:lucky:$6$SBxuPYFLSnBcfbHN$OkFFnnJCpf2P4OLOnnaWXMq.xbmgL3H5aRy4nkEkk/.8VHABaKDS6MdYm3UR3TpHZplAl5HVyffI8nbLlAAoh1:19256:0:99999:7:::

1. 搜索多个文件中，包含某个关键词的内容，不显示文件名称：

root@DESKTOP-VQ8KID4:~# grep -h lucky /etc/passwd /etc/shadow
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
lucky:$6$SBxuPYFLSnBcfbHN$OkFFnnJCpf2P4OLOnnaWXMq.xbmgL3H5aRy4nkEkk/.8VHABaKDS6MdYm3UR3TpHZplAl5HVyffI8nbLlAAoh1:19256:0:99999:7:::

1. 输出在某个文件中，包含某个关键词行的数量：

root@DESKTOP-VQ8KID4:~# grep -c root /etc/passwd /etc/shadow
/etc/passwd:1
/etc/shadow:1

1. 搜索某个文件中，包含某个关键词位置的行号及内容：

lucky@DESKTOP-VQ8KID4:~/shell$ grep -n int nowcoder.txt
3:int main()
5:    int a = 10;
6:    int b = 100;

1. 搜索某个文件中，不包含某个关键词的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ grep -v int nowcoder.txt
#include <iostream>
using namespace std;
{
    cout << "a + b:" << a + b << endl;
    return 0;
}

1. 搜索当前工作目录中，包含某个关键词内容的文件，未找到则提示：

root@DESKTOP-VQ8KID4:/# grep -l root *
grep: bin: Is a directory
grep: boot: Is a directory
grep: dev: Is a directory
grep: etc: Is a directory
grep: home: Is a directory
init
grep: lib: Is a directory
grep: lib32: Is a directory
...
grep: tmp: Is a directory
grep: usr: Is a directory
grep: var: Is a directory

1. 搜索当前工作目录中，包含某个关键词内容的文件，未找到不提示：

lucky@DESKTOP-VQ8KID4:~/shell$ grep -sl main *
nowcoder.txt

1. 递归搜索，不仅搜索指定目录，还搜索其内子目录内是否有关键词文件：

root@DESKTOP-VQ8KID4:/# grep -srl root /etc
/etc/services
/etc/ltrace.conf
/etc/systemd/logind.conf
/etc/crontab
/etc/newt/palette.ubuntu
/etc/xattr.conf
/etc/apparmor.d/tunables/home
...

1. 搜索某个文件中，精准匹配到某个关键词的内容（搜索词应与整行内容完全一样才会显示，有别于一般搜索）：

lucky@DESKTOP-VQ8KID4:~/shell$ grep -x "return 0;" nowcoder.txt
lucky@DESKTOP-VQ8KID4:~/shell$ grep -x "    return 0;" nowcoder.txt
    return 0;

1. 判断某个文件中，是否包含某个关键词，通过返回状态值输出结果（0为包含，1为不包含），方便在Shell脚本中判断和调用：

lucky@DESKTOP-VQ8KID4:~/shell$ grep -q return nowcoder.txt
lucky@DESKTOP-VQ8KID4:~/shell$ echo $?  # 包含
0

lucky@DESKTOP-VQ8KID4:~/shell$ grep -q returns nowcoder.txt
lucky@DESKTOP-VQ8KID4:~/shell$ echo $?  # 不包含
1

1. 搜索某个文件中，空行的数量：

lucky@DESKTOP-VQ8KID4:~/shell$ grep -c ^$ nowcoder.txt
0

tr：字符转换工具

tr命令来自于英文单词transform的缩写，中文译为转换，其功能是用于字符转换。tr命令是一款批量字符转换、压缩、删除的文本工具，但仅能从标准输入中读取文本内容，需要与管道符或输入重定向操作符搭配使用。

语法格式：tr [参数] 字符串1 字符串2

常用参数：

-c	反选字符串1的补集（取反）
-d	删除字符串1中出现的所有字符
-s	删除所有重复出现的字符序列

将指定文件中的小写字母转换成大写字母后输出内容到终端界面：

lucky@DESKTOP-VQ8KID4:~$ tr [a-z] [A-Z] < hello.py
ABC
567
AAA
BBB
CCC

删除指定文件中所有的数字后输出内容到终端界面：

lucky@DESKTOP-VQ8KID4:~$ tr -d [0-9] < hello.py
abc

aaa
bbb
ccc

将指定文件中的多个相邻空行去重后输出内容到终端界面：

lucky@DESKTOP-VQ8KID4:~$ tr -s "[\n]" < nowcoder.txt
abc
567
aaa
bbb
ccc

正则语法学习

正则表达式为高级的文本模式匹配、抽取、与/或文本形式的搜索和替换功能提供了基础。简单地说，正则表达式是一些由字符和特殊符号组成的字符串，它们描述了模式的重复或者表述多个字符，于是正则表达式能按照某种模式匹配一系列有相似特征的字符串。

把标准字母表用于通用文本，我们展示了一些简单的正则表达式以及这些模式所表述的字符串。下面所介绍的正则表达式都是最基本、最普通的。它们仅仅用一个简单的字符串构造成一个匹配字符串的模式：该字符串由正则表达式定义。

正则表达式模式	匹配的字符串
foo	foo
abc123	abc123
Python	Python

上面的第一个正则表达式模式是“foo”。该模式没有使用任何特殊符号去匹配其他符号，而只匹配所描述的内容，所以，能够匹配这个模式的只有包含“foo”的字符串。同理，对于字符串“Python”和“abc123”也一样。

正则表达式的强大之处在于引入特殊字符来定义字符集、匹配子组和重复模式。正是由于这些特殊符号，使得正则表达式可以匹配字符串集合，而不仅仅只是某单个字符串。下面列出最常见的符号和字符。
符号：

表示法	描述	正则表达式示例
literal	匹配文本字符串的字面值literal	foo
re1\\|re2	匹配正则表达式re1 或者 re2	foo|bar
.	匹配任何字符(除了\\n之外)	b.b
^	匹配字符串起始部分	^Dear
$	匹配字符串终止部分	/bin/*sh$
*	匹配 0 次或者多次前面出现的正则表达式	[A-Za-z0-9]*
+	匹配 1 次或者多次前面出现的正则表达式	[a-z]+.com
?	匹配 0 次或者 1 次前面出现的正则表达式	goo?
{N}	匹配 N 次前面出现的正则表达式	[0-9]{3}
{M,N}	匹配 M～N 次前面出现的正则表达式	[0-9]{5,9}
[…]	匹配来自字符集的任意单一字符	[aeiou]
[..x−y..]	匹配 x～y 范围中的任意单一字符	[0-9], [A-Za-z]
[^…]	不匹配此字符集中出现的任何一个字符，包括某一范围的字符	[^aeiou], [^A-Za-z0-9]

特殊字符

表示法	描述	正则表达式示例
\\d	匹配任何十进制数字，与[0-9]一致（\\D与\\d相反，不匹配任何非数值型的数字）	data\d+.txt
\\w	匹配任何字母数字字符，与[A-Za-z0-9_]相同 （\\W与之相反）	[A-Za-z_]\w+
\\s	匹配任何空格字符，与[\\n\\t\\r\\v\\f]相同（\\S与之相反）	of\sthe
\\b	匹配任何单词边界（\\B与之相反）\\bThe\\b\\N
匹配已保存的子组N	price:\16
\\c	逐字匹配任何特殊字符c（即仅按照字面意义匹配，不匹配特殊含义）	.,\,*
\\A(\\Z)	匹配字符串的起始（结束）	\ADear

【举例】匹配空行，如下两个正则表达式匹配空行：

• “^$”：表示空行
• “^[ ]*$”：表示空行以及全是空格的行

题目解决方案

方法一：grep搭配正则使用

排除文件中符合表达式的行，并显示其他行

lucky@DESKTOP-VQ8KID4:~$ grep -v '^$' nowcoder.txt
abc
567
aaa
bbb
ccc

或者搭配管道符一起使用：

lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt | grep -v '^$'
abc
567
aaa
bbb
ccc

方法二：sed正则删除

lucky@DESKTOP-VQ8KID4:~$ sed '/^$/d' nowcoder.txt
abc
567
aaa
bbb
ccc

d是删除指令。

方法三：awk正则过滤

lucky@DESKTOP-VQ8KID4:~$ awk '!/^$/{print $NF}' nowcoder.txt
abc
567
aaa
bbb
ccc

方法四：awk条件

lucky@DESKTOP-VQ8KID4:~$ awk '{if(!/^$/) print $0}' nowcoder.txt
abc
567
aaa
bbb
ccc

或者搭配管道符一起使用

lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt | awk '{if(!/^$/) print $0}'
abc
567
aaa
bbb
ccc

• !表示否定
• $0表示输出行间所有内容

直接判断$0也可以：

lucky@DESKTOP-VQ8KID4:~$ awk '{if($0 != "") print $0}' nowcoder.txt
abc
567
aaa
bbb
ccc

方法五：while循环

while read line
do
        if [[ ! -z $line ]]
        then
                echo $line
        fi
done < nowcoder.txt

方法六：tr命令

lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt | tr -s "\n"
abc
567
aaa
bbb
ccc

或者

lucky@DESKTOP-VQ8KID4:~$ tr -s "[\n]" < nowcoder.txt
abc
567
aaa
bbb
ccc