4、linux命令:uniq
Uniq
从文本文件中去除或禁止重复行，一般uniq假定文件已分类排序，并且结果正确[sort –u唯一性选项去除所有的重复行]
Uniq中重复行指持续不断重复出现的行

格式:
uniq –udc –f input-file output-file

选项：
-u 只显示不重复行   unique,唯一
-d 只显示有重复的行，每种重复显示一行
-I 忽略大小写  ???
-c打印每一重复行出现的次数【计数】
-f n为数字，前n个域被忽略

例子：
1，只显示非重复行
 

2，提取非重复行到某个文件
 

3，只显示重复行
 

4，打印重复行及其出现的次数
 

5，忽略比较指定列
 

6，对文本文件做交集，并集&差集