最近看到論壇里面有幾個不錯的小例子，對于學(xué)習(xí)awk還是有幫助，在這兒詳細(xì)的說一下
一、類似數(shù)據(jù)庫中的left join查詢
復(fù)制代碼 代碼如下:
[root@krlcgcms01 mytest]# cat a.txt //a.txt
111 aaa
222 bbb
333 cccc
444 ddd
[root@krlcgcms01 mytest]# cat b.txt //b.txt
111 123 456
2 abc cbd
444 rts 786
要求輸出結(jié)果是
111,aaa,123,456
444,ddd,rts,786
實現(xiàn)方法:
復(fù)制代碼 代碼如下:
[root@krlcgcms01 mytest]# awk 'NR==FNR{a[$1]=$2;}NR!=FNR a[$1]{print $1","a[$1]","$2","$3}' a.txt b.txt
111,aaa,123,456
444,ddd,rts,786
解釋：當(dāng)NR和FNR相同時,這就說明在對第一個文件進(jìn)行操作，a[$1]=$2表示，建立一個數(shù)組，以第一個字段為下標(biāo)，第二個字段為值。當(dāng)NR!=FNR時,說明在對第二個文件進(jìn)行操作，注意：這個時候的$1和前面的$1不是同一個東西了，前面的$1表示的是a.txt的第一個字段，而后面的$1表示的是b.txt的第一個字段。a[$1]表示以b.txt中第一個字段的為下標(biāo)的值，如果a[$1]有值的話，說明也存在于a.txt文件中，這樣就把數(shù)據(jù)print出來就行了。
實現(xiàn)方法2:
復(fù)制代碼 代碼如下:
[root@krlcgcms01 mytest]# awk -v OFS="," 'NR==FNR{a[$1]=$2;} NR!=FNR $1 in a { print $1,a[$1],$2,$3}' a.txt b.txt
111,aaa,123,456
444,ddd,rts,786
解釋：-v OFS=","這個是設(shè)置輸出時的列分割符，$1 in a這個是b.txt文件中的第一列的值是不是在數(shù)組a的key中，這個對做程序的來說很好理解，各種語言當(dāng)中都有這樣的用法，或者函數(shù)。例如，php中有in_array函數(shù)。比較一下，方法1和方法2中的print，方法1我加了雙引號，方法2我卻沒有加，但是輸出的效果卻是一樣的。
二、去除重復(fù)的值
復(fù)制代碼 代碼如下:
[root@krlcgcms01 mytest]# cat repea //文件repea
a b
c d
e f
b d
b a
f e
1 2
2 1
如果有a,b和b,a這樣的情況，就刪除b,a，當(dāng)然數(shù)字也一樣;
實現(xiàn)方法1：
復(fù)制代碼 代碼如下:
awk '{for(i=1;i=NF;i++)a[i]=$i;asort(a);for(i=1;i=length(a);i++)printf a[i]"\t";printf "\n"}' repea|sort|uniq
1 2
a b
b d
c d
e f
解釋：for(i=1;i=NF;i++)a[i]=$i;將每一列中的二個字段放到數(shù)組中，asort(a)，這個數(shù)組進(jìn)行排序，后面的代碼是將數(shù)組數(shù)據(jù)輸出來，通sort命令對輸入的數(shù)據(jù)進(jìn)行排序，相同數(shù)據(jù)會排在一起，通過uniq來進(jìn)行去除相同的列。這種方法比較有通用性，不光適合二列，三列，四列都行。不過效率差了點。
實現(xiàn)方法2：
復(fù)制代碼 代碼如下:
[root@krlcgcms01 mytest]# awk '{a[$0]=$0;if (!($2 OFS $1 in a)) print a[$0] }' repea
a b
c d
e f
b d
1 2
[root@krlcgcms01 mytest]# awk '{a[$0];if (!($2 OFS $1 in a)) print }' repea
a b
c d
e f
b d
1 2
解釋：方法2的二種寫法，出來的結(jié)果是一樣的，a[$0];沒有賦值也沒有報錯，為什么呢？awk在遇到這樣沒有定義的變量時，會給它一個初值。if (!($2 OFS $1 in a))表示返轉(zhuǎn)字段不在數(shù)組a中，這里所說的在，表示key是不是存在，不是值。print 不寫默認(rèn)是一行。
實現(xiàn)方法3：
復(fù)制代碼 代碼如下:
[root@krlcgcms01 mytest]# awk '!a[$1_$2]++!a[$2_$1]++' repea
a b
c d
e f
b d
1 2
[root@krlcgcms01 mytest]# awk '{if(!a[$1_$2]++!a[$2_$1]++)print $0;}' repea
a b
c d
e f
b d
1 2
解釋：!a[$1_$2]++!a[$2_$1]++等于if(!a[$1_$2]++!a[$2_$1]++),對于首次出現(xiàn)的記錄，a[$2_$1]的值是未定義的，由于后面的 ++ 是數(shù)學(xué)計算，所以a[$2_$1]會被賦值成數(shù)字0，也是由于 ++ 操作符，會先取值，再計算，從左到右 ++ 運(yùn)算符的優(yōu)先級大于！運(yùn)算符的，所以對于第一行記錄實際上是if(! 0) print $0 ! 是取反，0 是假，! 0 就是真，那么就會執(zhí)行后面的 print $0對于后面出現(xiàn)的重復(fù)記錄，a[$0] 經(jīng)過 ++ 的計算已經(jīng)變?yōu)?1、2、3 。。。而 ! 1 ! 2 ! 3 ... 都為假，不會打印。
三、awk的局部變量
這個例子來說明一下，awk怪異的局部變量
復(fù)制代碼 代碼如下:
[root@krlcgcms01 mytest]# cat sum
1 2
2 3
a b
3 2
4 1
3 r
把都是數(shù)字的行，最大的那個數(shù)字加起來，第一行是2，第二行是3，每四行是3，第五行是4，總和是12
復(fù)制代碼 代碼如下:
function max(one,two){
if(one > two){
sum = sum + one;
}else{
sum = sum + two;
}
}
{if($1~"[0-9]" $2~"[0-9]") max($1,$2);}
END{print "sum="sum}
在max方法里面，變量sum是會影響外面的，這里的sum是全局的。
[root@krlcgcms01 mytest]# awk -f add.sh sum
sum=12
復(fù)制代碼 代碼如下:
function max(one,two,sum){ //方法中的sum局部變量
if(one > two){
sum = sum + one;
}else{
sum = sum + two;
}
}
{if($1~"[0-9]" $2~"[0-9]") max($1,$2,sum);}
END{print "sum="sum} //所以為空
[root@krlcgcms01 mytest]# awk -f add.sh sum
sum=
復(fù)制代碼 代碼如下:
function max(one,two,sum){
if(one > two){
sum = sum + one;
}else{
sum = sum + two;
}
return sum //加上return就可以了
}
{if($1~"[0-9]" $2~"[0-9]") sum = max($1,$2,sum);}
END{print "sum="sum}
