该系列是基于牛客Shell题库,针对具体题目进行查漏补缺,学习相应的命令。
刷题链接:牛客题霸-Shell篇。
该系列文章都放到专栏下,专栏链接为:《专栏:Shell》。欢迎关注专栏~
本文知识预告:
- 本文首先复习了
grep
、awk
、sed
、cut
等命令的相关用法;
- 然后,给出了五种题目的解决方案。
假设nginx的日志我们存储在nowcoder.txt里,格式如下:
192.168.1.20 - - [21/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [21/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [21/Apr/2020:21:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [21/Apr/2020:21:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.23 - - [21/Apr/2020:22:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [22/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [22/Apr/2020:15:26:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:08:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:09:20:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:15:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:16:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [23/Apr/2020:20:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:20:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:22:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:23:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
现在需要编写shell脚本统计访问3次以上的IP,你的脚本应该输出:
6 192.168.1.22
5 192.168.1.21
4 192.168.1.20
相关命令学习
awk
:文本和数据进行处理的编程语言
awk
命令来自于三位创始人”Alfred Aho,Peter Weinberger, Brian Kernighan “的姓氏缩写,其功能是用于对文本和数据进行处理的编程语言。使用awk
命令可以让用户自定义函数或正则表达式对文本内容进行高效管理,与sed
、grep
并称为Linux系统中的文本三剑客。
语法格式:awk 参数 文件
常用参数:
参数 |
功能 |
-F |
指定输入时用到的字段分隔符 |
-v |
自定义变量 |
-f |
从脚本中读取awk 命令 |
-m |
对val 值设置内在限制 |
常用的awk
内置变量:
awk
语法由一系列条件和动作组成,在花括号内可以有多个动作,多个动作之间用分号分隔,在多个条件和动作之间可以有若干空格,也可以没有。
变量名称 |
说明 |
FILENAME |
当前输入文档的文件名 |
FNR |
当前输入文档的当前行号,尤其当多个输入文档时有用 |
FS |
设置字段分隔符,默认为空格或制表符 |
NF |
当前记录(行)的字段(列)个数 |
NR |
输入数据流的当前记录数(行号) |
OFS |
输出字段分隔符,默认为空格 |
ORS |
输出记录分隔符,默认为换行符 |
RS |
输入记录分隔符,默认为换行符 |
awk
是一种处理文本文件的编程语言,文件的每行数据都被称为记录,默认以空格或制表符为分隔符,每条记录被分成若干字段(列),awk
每次从文件中读取一条记录。
gawk
:模式扫描与处理语言
gawk
是Unix中原始awk
程序的GNU版本,强大之处在于可以写脚本来读取文本行的数据,然后处理并显示数据。
语法格式:gawk [参数]
常用参数:
-f |
从文件程序文件读取AWK程序源,而不是从第一个命令行参数。可以使用多个-f 选项 |
-F |
指定描绘一行中数据字段的文件分隔符 |
-v |
定义gawk 程序中使用的变量和默认值 |
-mr |
指定数据文件中的最大记录大小 |
sort
:对文件内容进行排序
sort
命令的功能是对文件内容进行排序。有时文本中的内容顺序不正确,一行行地手动修改实在太麻烦了。此时使用sort
命令就再合适不过了,它能够对文本内容进行再次排序。
语法格式:sort [参数] 文件
常用参数:
-b |
忽略每行前面开始出的空格字符 |
-c |
检查文件是否已经按照顺序排序 |
-d |
除字母、数字及空格字符外,忽略其他字符 |
-f |
将小写字母视为大写字母 |
-i |
除040至176之间的ASCII字符外,忽略其他字符 |
-m |
将几个排序号的文件进行合并 |
-M |
将前面3个字母依照月份的缩写进行排序 |
-n |
依照数值的大小排序 |
-o <输出文件> |
将排序后的结果存入制定的文件 |
-r |
以相反的顺序来排序 |
-t <分隔字符> |
指定排序时所用的栏位分隔字符 |
-k |
指定需要排序的栏位 |
-s |
通过禁用最后的比较来稳定排序 |
sed
:批量编辑文本文件
sed
命令来自于英文词组“stream editor”的缩写,其功能是用于利用语法/脚本对文本文件进行批量的编辑操作。sed
命令最初由贝尔实验室开发,后被众多Linux系统接纳集成,能够通过正则表达式对文件进行批量编辑,让需要重复的工作不再浪费时间。
sed是非交互式的编辑器。它不会修改文件,除非使用shell重定向来保存结果。默认情况下,所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件(或输入),并将结果发送到屏幕。
sed命令行格式为:
sed [-nefri] ‘command’ 输入文本
常用选项:
-
-n
:使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后,则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-
-e
:直接在指令列模式上进行 sed 的动作编辑;
-
-f
:直接将 sed 的动作写在一个档案内, -f filename 则可以执行 filename 内的sed 动作;
-
-r
:sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
-
-i
:直接修改读取的档案内容,而不是由萤幕输出。
常用命令:
-
a
:新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)~
-
c
:取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行!
-
d
:删除,因为是删除啊,所以 d 后面通常不接任何咚咚;
-
i
:插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);
-
p
:列印,亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作~
-
s
:取代,可以直接进行取代的工作哩!通常这个 s 的动作可以搭配正规表示法!例如 1,20s/old/new/g!
-
g
:是行内进行全局替换
常用参数:
参数 |
功能 |
-e |
以指定的脚本来处理输入的文本文件 |
-f<script文件> |
以指定的脚本文件来处理输入的文本文件 |
-h |
显示帮助 |
-n |
仅显示script 处理后的结果 |
-V |
显示版本信息 |
uniq
:去除文件中的重复内容行
uniq
命令来自于英文单词unique的缩写,中文译为独特的、唯一的,其功能是用于去除文件中的重复内容行。uniq
命令能够去除掉文件中相邻的重复内容行,如果两端相同内容中间夹杂了其他文本行,则需要先使用sort
命令进行排序后再去重复,这样保留下来的内容就都是唯一的了。
划重点:去除相邻重复内容行!
语法格式:uniq [参数] 文件
常用参数:
-c |
打印每行在文本中重复出现的次数 |
-d |
每个重复纪录只出现一次 |
-u |
只显示没有重复的纪录 |
cut
:按列提取文件内容
cut
命令的功能是用于按列提取文件内容。常用的grep
命令仅能对关键词进行按行提取过滤,而cut
命令则是可以根据指定的关键词信息,针对特定的列内容进行过滤。
语法格式:cut [参数] 文件
常用参数:
-c |
以字符为单位进行分割 |
-b |
以字节为单位进行分割 |
-d |
自定义分隔符,默认为制表符”TAB” |
-f |
显示指定字段的内容 |
-n |
取消分割多字节字符 |
--complement |
补足被选择的字节、字符或字段 |
--out-delimiter |
指定输出内容是的字段分割符 |
题目解决方案
方法一:awk
+sort
awk '{
a[$1]++
} END{
for(i in a)
if(a[i]>3) {
print a[i],i
}
}' | sort -r
方法二:awk
+sort
+uniq
awk '{print $1}' | sort | uniq -c | awk '{if($1>3) {print $1,$2}}' | sort -r
方法三:awk
+sort
+uniq
+sed
cat nowcoder.txt | awk '{print $1}' | sort | uniq -c | sort | sed -n '4,$p' | sort -r | awk '{print $1,$2}'
方法四:cut
+sort
+uniq
+sed
+awk
cut -d ' ' -f 1 | sort -r | uniq -c | sed 's/^ *//' | awk '{if($1>3){print $1" "$2}}'
方法五:gawk
+sort
+uniq
+sort
gawk -F ' ' '{print $1}' nowcoder.txt | sort | uniq -c | gawk '{if($1>3) print $1,$2}' | sort -r