用AWK实现去掉文本中重复的所有行：
将相邻的所有重复行都去掉。代码如下：
cat test.txt | sort | awk '
BEGIN
{
u=0;num=0;m=""
}
{
if($1!=u)
{
#只打印出现过一次的行
if(num==1){print m;};
num=1;u=$1;m=$0;
}
else
{
num++;
}
}
END
{
if(num==1){print m;}
}'> list.txt