[转]求文件差集 shellgrep

今天有个统计的需求，计算今天比昨天新增加的数据。有两个文件a和b，a是最新文件，b是昨天的文件，需要计算出在a中出现又没出现在b中的数据。

a和b都是这样的文件格式，只有一列id，且无序的

 

Txt代码  

1. 290758  
2. 290710  
3. 290688  
4. 290411  
5. 290409  
6. 290224  
7. 290223  
8. 290221  
9. 290194  

 

有如下集中实现方式：

1、java，把b读到List中，遍历a中元素判断是否存在b的List中

 

Java代码  

1. List b = .....  
2.   
3. while(r.ready()){  
4.     String s = r.readline();  
5.     if(b.contains(s)){  
6.         .......  
7.      }  
8. }  

 

 

2、python，类似java的做法，不赘述

 

3、SQL，导入到临时表里用SQL解决

 

Sql代码  

1. from tablea as a, tableb as b where a.id <> b.id  

 4、shell

 

Shell代码  

1. grep -vxFf b a  

  

把b作为规则，取a中不能匹配上b规则的记录。

下面这个最牛：

 

Shell代码  

1. sort a b b | uniq -u  

 解释一下：

 

a b 排序，两个的交集出现次就是2 了，a b b 再排序。b里面的次数，最少是2了，交集里面的是3

然后再uniq -u 取出现一次的，就是想要的结果了