有时候删除文件里的重复行是一个很常见的需求，这个用 shell 命令有很多处理方法。
第一种方案是用 sort 命令的 -u 参数：
$ sort -u input.txt > output.txt
第二种方案是用 awk 命令，它的关键在于用一个字典来保存记录：
$ awk '!seen[$0]++' input.txt > output.txt
这和第一种方案的区别在于，即使文件中重复行不连续，依然可以删除。
第三种方案是用 sed 命令，但是其实不大推荐，它相比第一种方案复杂多，而且很容易写错：
$ sort -n input.txt | sed '$!N;/^\(.*\)\n\1$/!P;D' > output.txt
Sed&awk笔记之Sed篇完成之后，我又偷懒了一段时间，昨天狠狠地给自己抽根鞭子，一定要把这半个坑填上。相信看过Sed篇的同学都清楚，这一系列文章虽名日笔记，事实上有很多我自己个人的理解，加上遣词造句都是我自己的内容，所以转载一定要标明出处，详见文章后方。
Awk、sed与grep，俗称Linux下的三剑客，它们之间有很多相似点，但是同样也各有各的特色，相似的地方是它们都可以匹配文本，其中sed和awk还可以用于文本编辑，而grep则不具备这个功用。sed是一种非交互式且面向字符流的编辑器（a "non-interactive" stream-oriented editor），而awk则是一门模式匹配的编程语言，因为它的主要功能是用于匹配文本并处理，同时它有一些编程语言才有的语法，例如函数、分支循环语句、变量等等，当然比起我们常见的编程语言，Awk相对比较简单。
相信大家肯定用过grep这个命令，它可以找出匹配某个正则表达式的行，例如查看包含"the word"的行：
$ grep "the word" filename
但是grep是针对单行作匹配的，所以如果一个短句跨越了两行就无法匹配。这就给我们出了一个题目，如何用sed模仿grep的行为，并且支持跨行短句的匹配呢？
当单词仅出现在一行时很简单，用普通的正则就可以匹配，这里我们用到分支命令，当匹配时则跳转到最后：
/the word/b
上一篇中介绍了N/D/P三个命令，它们可以形成多行的模式空间，在一点程度上弥补了单行模式空间的不足，我们用sed编辑文本的能力又进了一步。模式空间是sed内部维护的一个缓存空间，它存放着读入的一行或者多行内容。但是模式空间的一个限制是无法保存模式空间中被处理的行，因此sed又引入了另外一个缓存空间——模式空间（Hold Space）。
保持空间用于保存模式空间的内容，模式空间的内容可以复制到保持空间，同样地保持空间的内容可以复制回模式空间。sed提供了几组命令用来完成复制的工作，其它命令无法匹配也不能修改模式空间的内容。
操作保持空间的命令如下所示：
| 名称 | 命令 | 说明 |
|---|---|---|
| 保存（Hold) | h/H | 将模式空间的内容复制或者追加到保持空间 |
| 取回（Get） | g/G | 将保持空间的内容复制或者追加到模式空间 |
| 交换（Exchange） | x | 交换模式空间和保持空间的内容 |
在上一篇中介绍的基础命令都是面向行的，一般情况下，这种处理并没有什么问题，但是当匹配的内容是错开在两行时就会有问题，最明显的例子就是某些英文单词会被分成两行。
幸运地是，sed允许将多行内容读取到模式空间，这样你就可以匹配跨越多行的内容。本篇笔记主要介绍这些命令，它们能够创建多行模式空间并且处理之。其中，N/D/P这三个多行命令分别对应于小写的n/d/p命令，后者我们在上一篇已经介绍。它们的功能是类似的，区别在于命令影响的内容不同。例如D命令与d命令同样是删除模式空间的内容，只不过d命令会删除模式空间中所有的内容，而D命令仅会删除模式空间中的第一行。
N命令将下一行的内容读取到当前模式空间，但是下n命令不一样的地方是N命令并没有直接输出当前模式空间中的行，而是把下一行追加到当前模式空间，两行之间用回车符\n连接，如下图所示：
模式空间包含多行之后，正则表达式的^/$符号的意思就变了，^是匹配模式空间的最开始而非行首，$是匹配模式空间的最后位置而非行尾。
在开始之前，首先回顾上一篇的重点内容：地址匹配。上一篇中介绍过，地址可以指定0个，1个或者2个。地址的形式可以为斜杠分隔的正则表达式(例如/test/)，行号（例如3,5)或者特殊符号(例如$)。如果没有指定地址，说明sed应用的编辑命令是全局的；如果是1个地址，编辑命令只是应用到匹配的那一行；如果是一对地址，编辑命令则应用到该地址对匹配的行范围。关于地址匹配的内容具体可以看Sed命令地址匹配问题总结。
书中说，对于sed编辑命令的语法有两种约定，分别是
[address]command # 第一种 [line-address]command # 第二种