cat access.2012010.log

cat access.20120104.log | awk '{a[$1]} END {for(b in a) print b\ta[b]}' | sort -k2 -r | head -n 5 [jifeng@jifeng01 hadoop]$ cat access.20120104.log | awk {a[$1]++} END {for(b in a) print b\ta[b]} | sort -k2 -r | head -n 5 210.51.237.245 99

cat access.20120104.log | awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}' | sort -k2 -r | head -n 5

[jifeng@jifeng01 hadoop]$ cat access.20120104.log | awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}' | sort -k2 -r | head -n 5   
210.51.237.245  998
180.168.213.182 995
124.205.50.21   994
192.250.46.129  993
211.94.163.244  991

1: {a[$1]++}

对于awk 'a[$1]++'，需要了解3个知识点
1、awk数组知识
2、awk的基本命令格式 awk 'pattern{action}'
省略action时，默认action是{print}，如awk '1'就是awk '1{print}'
3、var++的形式：先读取var变量值，再对var值+1

最后实现的效果就是去除$1重复的行，并计算次数

等同于这个 awk '{a[$1]++} {print $1"->"a[$1]} ' access.20120104.log

access.20120104.log太多，只显示前面10条，测试下

[jifeng@jifeng01 hadoop]$  awk 'NR==1,NR==10 {print $0}' access.20120104.log >acc.txt
[jifeng@jifeng01 hadoop]$ awk '{a[$1]++} {print $1"->"a[$1]} ' acc.txt
120.197.87.216->1
123.126.50.73->1
203.208.60.187->1
114.112.141.6->1
114.112.141.6->2
110.6.179.88->1
116.205.130.2->1
114.112.141.6->3
114.112.141.6->4
110.75.173.35->1

2.{for(b in a) print b"\t"a[b]}

取出数组中的下标 b,也就是IP地址和a[b]它的个数

数组的使用

建立数组

1. array[index] = value ：数组名array，下标index以及相应的值value。

读取数组值

1. { for (item in array) print array[item]} # 输出的顺序是随机的
   
2. {for(i=1;i

多维数组，array[index1,index2,……]：SUBSEP是数组下标分割符，默认为“\034”。可以事先设定SUBSEP，也可以直接在SUBSEP的位置输入你要用的分隔符，如：

1. awk 'BEGIN{SUBSEP=":";array["a","b"]=1;for(i in array) print i}'
   
2. a:b
   
3. awk 'BEGIN{array["a"":""b"]=1;for(i in array) print i}'
   
4. a:b

3:sort排序

-k来指定列数

-t选项，后面可以设定间隔符

-n选项，要以数值来排序

-r选项 sort默认的排序方式是升序，如果想改成降序，就加个-r

-u选项，就是在输出行中去除重复行

4：head

head [参数]... [文件]...

命令参数：

-q 隐藏文件名

-v 显示文件名

-c 显示字节数

-n 显示的行数