准备
作为一个经常在服务器上游走的后端，需要熟悉不少命令行操作。其中，grep、sed、awk号称"linux三剑客"，使用频繁，功能强大，本文通过一个实例演示下基本用法。首先准备一个文本文件，命名为text.txt，内容如下：
cat text.txt1 province 省份 青海省2 domain 域名或者ip tianfengyinlou.cn3 subject_no 主体备案号 青ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号5 check_time 备案时间, 时间对象 2011-06-23 16:38:006 update_time 更新时间, 毫秒级时间戳 16074141207457 site_no 网站备案/许可证号 青ICP备11000289号-28 site_url 站点/网站首页网址 www.tianfengyinlou.cn9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司
grep
首先，最简单的是grep。经常用来过滤查看日志。对于grep需要知道如下几个常用的命令选项：
-n
额外输出行号。例如过滤出每一行包含"青"的记录：
grep -n "青" text.txt 1:1 province 省份 青海省3:3 subject_no 主体备案号 青ICP备11000289号4:4 addr 注册地址 青海省西宁市城中区南关街138号7:7 site_no 网站备案/许可证号 青ICP备11000289号-2
-v
排除匹配的行。例如排除包含"青"的行记录:
grep -v '青' text.txt 2 domain 域名或者ip tianfengyinlou.cn5 check_time 备案时间, 时间对象 2011-06-23 16:38:006 update_time 更新时间, 毫秒级时间戳 16074141207458 site_url 站点/网站首页网址 www.tianfengyinlou.cn9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司
-E
支持扩展正则匹配。grep的时候，我们可以按照正则表达式来进行匹配，但在需要扩展正则匹配时，要通过-E指定才能生效。常见的或操作，比如筛选包含"青海省"或者"青ICP"的行记录，不指定-E是无法获得想要的结果的。
grep -E '青海省|青ICP' text.txt 1 province 省份 青海省3 subject_no 主体备案号 青ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号7 site_no 网站备案/许可证号 青ICP备11000289号-2
-l
只输出有匹配行的文件名。有时候，我们并不需要输出匹配的行记录，仅仅只是需要知道匹配到了行记录的文件名：
grep -l 青 text.txt text.txt
-R
递归匹配目录中的文件内容。有时候，在一个目录中我们并不知道哪个文件内容包含我们想要的结果，此时，可以查找整个目录，输出匹配的文件名以及行记录:
grep -R 青海 ./DevMisc# ... ./DevMisc/linux三剑客.md:1 province 省份 青海省./DevMisc/linux三剑客.md:4 addr 注册地址 青海省西宁市城中区南关街138号./DevMisc/text.txt:1 province 省份 青海省./DevMisc/text.txt:4 addr 注册地址 青海省西宁市城中区南关街138号
结合-l参数就可以知道一个目录中有哪些文件包含了匹配项:
grep -Rl 青 ./DevMisc ./DevMisc/linux三剑客.md ./DevMisc/text.txt
-A
通过-A(after)指定输出匹配行后的额外行数。例如，想要额外输出包含"青"的行记录后一行，可以指定-A1:
grep -A1 青 text.txt 1 province 省份 青海省2 domain 域名或者ip tianfengyinlou.cn--3 subject_no 主体备案号 青ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号5 check_time 备案时间, 时间对象 2011-06-23 16:38:00--7 site_no 网站备案/许可证号 青ICP备11000289号-28 site_url 站点/网站首页网址 www.tianfengyinlou.cn
-B
通过-B(before)指定输出匹配行前的额外行数。例如，想要额外输出包含"青"的行记录前一行，可以指定-B1:
grep -B1 青 text.txt 1 province 省份 青海省--2 domain 域名或者ip tianfengyinlou.cn3 subject_no 主体备案号 青ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号--6 update_time 更新时间, 毫秒级时间戳 16074141207457 site_no 网站备案/许可证号 青ICP备11000289号-2
-C
通过-C指定输出匹配行前后的额外行数。例如，想要额外输出包含"青"的行记录前后各一行，可以指定-C1：
grep -C1 青 text.txt 1 province 省份 青海省2 domain 域名或者ip tianfengyinlou.cn----2 domain 域名或者ip tianfengyinlou.cn3 subject_no 主体备案号 青ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号5 check_time 备案时间, 时间对象 2011-06-23 16:38:00----6 update_time 更新时间, 毫秒级时间戳 16074141207457 site_no 网站备案/许可证号 青ICP备11000289号-28 site_url 站点/网站首页网址 www.tianfengyinlou.cn
sed
查找
sed的各项操作需要指定一个特定的动作。查找需要指定一个动作为p(print)，例如，打印出第三行的记录，需要指定行号加动作3p:
sed -n 3p text.txt 3 subject_no 主体备案号 青ICP备11000289号
这里必须指定一个选项-n。因为sed的默认行为是遍历文本文件的每一行并输出每一行，假如不带-n选项，第三行会输出两次=默认输出一次+命令行指定输出一次：
sed 3p text.txt1 province 省份 青海省2 domain 域名或者ip tianfengyinlou.cn3 subject_no 主体备案号 青ICP备11000289号3 subject_no 主体备案号 青ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号5 check_time 备案时间, 时间对象 2011-06-23 16:38:006 update_time 更新时间, 毫秒级时间戳 16074141207457 site_no 网站备案/许可证号 青ICP备11000289号-28 site_url 站点/网站首页网址 www.tianfengyinlou.cn9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司
所以-n的作用是取消sed的默认输出行为, 一般都只与p组合使用。利用sed的默认输出行为，我们可以模拟复制每一行的操作，有时候在特定场景下非常有用：
sed p text.txt1 province 省份 青海省1 province 省份 青海省2 domain 域名或者ip tianfengyinlou.cn2 domain 域名或者ip tianfengyinlou.cn3 subject_no 主体备案号 青ICP备11000289号3 subject_no 主体备案号 青ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号4 addr 注册地址 青海省西宁市城中区南关街138号5 check_time 备案时间, 时间对象 2011-06-23 16:38:005 check_time 备案时间, 时间对象 2011-06-23 16:38:006 update_time 更新时间, 毫秒级时间戳 16074141207456 update_time 更新时间, 毫秒级时间戳 16074141207457 site_no 网站备案/许可证号 青ICP备11000289号-27 site_no 网站备案/许可证号 青ICP备11000289号-28 site_url 站点/网站首页网址 www.tianfengyinlou.cn8 site_url 站点/网站首页网址 www.tianfengyinlou.cn9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司
sed不仅可以输出指定的某一行，还可以按行号范围进行输出，例如输出1-5行:
sed -n 1,5p text.txt 1 province 省份 青海省2 domain 域名或者ip tianfengyinlou.cn3 subject_no 主体备案号 青ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
sed还可以按照正则匹配来输出特定的行。格式为/xx/p, 例如，查找包含"青海省"的行记录:
sed -n '/青海省/p' text.txt 1 province 省份 青海省4 addr 注册地址 青海省西宁市城中区南关街138号
查找包含数字0到6的行记录：
sed -n '/[0-6]/p' text.txt 1 province 省份 青海省2 domain 域名或者ip tianfengyinlou.cn3 subject_no 主体备案号 青ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号5 check_time 备案时间, 时间对象 2011-06-23 16:38:006 update_time 更新时间, 毫秒级时间戳 16074141207457 site_no 网站备案/许可证号 青ICP备11000289号-2
查找以0结尾的行记录:
sed -n '/0$/p' text.txt 5 check_time 备案时间, 时间对象 2011-06-23 16:38:00
如果想要支持扩展正则匹配，需要通过-r来指定，例如查找每一行包含"青海省"或者"青"的记录:
sed -nr '/青海省|青/p' text.txt 1 province 省份 青海省3 subject_no 主体备案号 青ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号7 site_no 网站备案/许可证号 青ICP备11000289号-2
sed正则匹配也支持按范围输出，格式为/xx/,/xx/p。例如查找包含"domain"的行到包含"addr"的行记录：
sed -n '/domain/,/addr/p' text.txt2 domain 域名或者ip tianfengyinlou.cn3 subject_no 主体备案号 青ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号
删除
# 删除第三行sed 3d text.txt 1 province 省份 青海省2 domain 域名或者ip tianfengyinlou.cn4 addr 注册地址 青海省西宁市城中区南关街138号5 check_time 备案时间, 时间对象 2011-06-23 16:38:006 update_time 更新时间, 毫秒级时间戳 16074141207457 site_no 网站备案/许可证号 青ICP备11000289号-28 site_url 站点/网站首页网址 www.tianfengyinlou.cn9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司# 删除包含青的行sed '/青/d' text.txt 2 domain 域名或者ip tianfengyinlou.cn5 check_time 备案时间, 时间对象 2011-06-23 16:38:006 update_time 更新时间, 毫秒级时间戳 16074141207458 site_url 站点/网站首页网址 www.tianfengyinlou.cn9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司# 更改text.txtcat text.txt ysj@yangsj2-knownsec1 province 省份 青海省2 domain 域名或者ip tianfengyinlou.cn3 subject_no 主体备案号 青ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号#5 check_time 备案时间, 时间对象 2011-06-23 16:38:00#6 update_time 更新时间, 毫秒级时间戳 16074141207457 site_no 网站备案/许可证号 青ICP备11000289号-28 site_url 站点/网站首页网址 www.tianfengyinlou.cn9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司# 删除空行和注释行sed -r '/^$|#/d' text.txt 1 province 省份 青海省2 domain 域名或者ip tianfengyinlou.cn3 subject_no 主体备案号 青ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号7 site_no 网站备案/许可证号 青ICP备11000289号-28 site_url 站点/网站首页网址 www.tianfengyinlou.cn9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司
增加
sed的增加动作有三种:
- i:在指定行的上方增加一行
- a: 在指定行的下方增加一行
- c: 在指定行的地方增加一行，原有行会被覆盖
上述三种增加行为示例为:
注意：示例的增加行为在mac上会报错，可能在mac上用法不一致。
# 在第3行上方增加一行记录sed '3i insert oneline above 3rd line' text.txt 1 province 省份 青海省2 domain 域名或者ip tianfengyinlou.cninsert oneline above 3rd line3 subject_no 主体备案号 青ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号5 check_time 备案时间, 时间对象 2011-06-23 16:38:006 update_time 更新时间, 毫秒级时间戳 16074141207457 site_no 网站备案/许可证号 青ICP备11000289号-28 site_url 站点/网站首页网址 www.tianfengyinlou.cn9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司# 在第3行下方增加一行记录sed '3a insert oneline after 3rd line' text.txt 1 province 省份 青海省2 domain 域名或者ip tianfengyinlou.cn3 subject_no 主体备案号 青ICP备11000289号insert oneline after 3rd line4 addr 注册地址 青海省西宁市城中区南关街138号5 check_time 备案时间, 时间对象 2011-06-23 16:38:006 update_time 更新时间, 毫秒级时间戳 16074141207457 site_no 网站备案/许可证号 青ICP备11000289号-28 site_url 站点/网站首页网址 www.tianfengyinlou.cn9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司# 在第3行创建一行记录，原记录被替换sed '3c create oneline at 3rd line' text.txt 1 province 省份 青海省2 domain 域名或者ip tianfengyinlou.cncreate oneline at 3rd line4 addr 注册地址 青海省西宁市城中区南关街138号5 check_time 备案时间, 时间对象 2011-06-23 16:38:006 update_time 更新时间, 毫秒级时间戳 16074141207457 site_no 网站备案/许可证号 青ICP备11000289号-28 site_url 站点/网站首页网址 www.tianfengyinlou.cn9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司
修改
上述所有的操作输出均没有改变文件自身的内容。想要使得操作改变文件自身的内容，需要指定选项-i。指定-i的操作需要格外小心。
例如，在文件中第一行插入一行记录:
sed -i '1i add oneline above first line' text.txtcat text.txt add oneline above first line1 province 省份 青海省2 domain 域名或者ip tianfengyinlou.cn3 subject_no 主体备案号 青ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号5 check_time 备案时间, 时间对象 2011-06-23 16:38:006 update_time 更新时间, 毫秒级时间戳 16074141207457 site_no 网站备案/许可证号 青ICP备11000289号-28 site_url 站点/网站首页网址 www.tianfengyinlou.cn9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司
sed的删除动作为d(delete),例如删除文件中的第一行:
# 删除增加的第一行sed -i 1d text.txt cat text.txt 1 province 省份 青海省2 domain 域名或者ip tianfengyinlou.cn3 subject_no 主体备案号 青ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号5 check_time 备案时间, 时间对象 2011-06-23 16:38:006 update_time 更新时间, 毫秒级时间戳 16074141207457 site_no 网站备案/许可证号 青ICP备11000289号-28 site_url 站点/网站首页网址 www.tianfengyinlou.cn9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司
当然，我们也有办法做安全的删除操作，即将-i换成-i.bak 可以在真实改动文件内容前，备份文件。但是这个操作一般不适合应用在大文件上，因为备份很慢。
# 删除第一行并备份sed -i.bak 1d text.txt cat text.txt2 domain 域名或者ip tianfengyinlou.cn3 subject_no 主体备案号 青ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号5 check_time 备案时间, 时间对象 2011-06-23 16:38:006 update_time 更新时间, 毫秒级时间戳 16074141207457 site_no 网站备案/许可证号 青ICP备11000289号-28 site_url 站点/网站首页网址 www.tianfengyinlou.cn9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司cat text.txt.bak 1 province 省份 青海省2 domain 域名或者ip tianfengyinlou.cn3 subject_no 主体备案号 青ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号5 check_time 备案时间, 时间对象 2011-06-23 16:38:006 update_time 更新时间, 毫秒级时间戳 16074141207457 site_no 网站备案/许可证号 青ICP备11000289号-28 site_url 站点/网站首页网址 www.tianfengyinlou.cn9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司
替换
sed可以对文件内容进行替换(substitute)，格式为使用任意三个相同的符号，如三个斜线s/xx/yy/g、三个#号s#xx#yy#g、三个@符号s@xx@yy@g等，效果是将xx替换为yy。
这里的符号选择是任意的，可以是三个1，三个2都行。常用的是上述三种，因为和文件内容重合度最小，具体使用哪种，需要根据文件内容选择。如果文件内容本身包含了/，则不方便使用三个斜线来操作。
# 将"青" 替换为"蜀"sed 's/青/蜀/g' text.txt 1 province 省份 蜀海省2 domain 域名或者ip tianfengyinlou.cn3 subject_no 主体备案号 蜀ICP备11000289号4 addr 注册地址 蜀海省西宁市城中区南关街138号5 check_time 备案时间, 时间对象 2011-06-23 16:38:006 update_time 更新时间, 毫秒级时间戳 16074141207457 site_no 网站备案/许可证号 蜀ICP备11000289号-28 site_url 站点/网站首页网址 www.tianfengyinlou.cn9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司# 将第三行的青替换为蜀sed '3s/青/蜀/g' text.txt 1 province 省份 青海省2 domain 域名或者ip tianfengyinlou.cn3 subject_no 主体备案号 蜀ICP备11000289号4 addr 注册地址 青海省西宁市城中区南关街138号5 check_time 备案时间, 时间对象 2011-06-23 16:38:006 update_time 更新时间, 毫秒级时间戳 16074141207457 site_no 网站备案/许可证号 青ICP备11000289号-28 site_url 站点/网站首页网址 www.tianfengyinlou.cn9 comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司# 把所有数字替换为xsed -r 's/[0-9]/x/g' text.txt x province 省份 青海省x domain 域名或者ip tianfengyinlou.cnx subject_no 主体备案号 青ICP备xxxxxxxx号x addr 注册地址 青海省西宁市城中区南关街xxx号x check_time 备案时间, 时间对象 xxxx-xx-xx xx:xx:xxx update_time 更新时间, 毫秒级时间戳 xxxxxxxxxxxxxx site_no 网站备案/许可证号 青ICP备xxxxxxxx号-xx site_url 站点/网站首页网址 www.tianfengyinlou.cnx comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司
g是全局(gloabal)替换的意思，如果不要g，则只会替换匹配到的第一项:
# 把每一行的第一个数字替换为xsed -r 's/[0-9]/x/' text.txt x province 省份 青海省x domain 域名或者ip tianfengyinlou.cnx subject_no 主体备案号 青ICP备11000289号x addr 注册地址 青海省西宁市城中区南关街138号x check_time 备案时间, 时间对象 2011-06-23 16:38:00x update_time 更新时间, 毫秒级时间戳 1607414120745x site_no 网站备案/许可证号 青ICP备11000289号-2x site_url 站点/网站首页网址 www.tianfengyinlou.cnx comp_name 主办单位名称(公司名称) 西宁天丰银楼金银珠宝有限公司
