目录[-]

1.简单实例 

awk逐行扫描文件，从第一行到最后一行，寻找匹配特定模式的行，并在这些行上进行你想要的操作

  awk基本结构包括模式匹配(用于找到要处理的行)和处理过程(即处理动作)。
       pattern  {action}

   行为用{}包括住，awk后面的模式加操作用单引号包括。

  也可以写好awk命令的shell脚本，然后利用-f参数调用 ，如下所示

2.基本操作

1,。awk一次从文件中读取一条记录，并将记录存储在字段变量$0中。记录被分割为字段并存储在$1,$2 ..., $NF中(默认使用空格或制表符为分隔符)。
    内建变量NF为记录的字段个数，此处

2.  默认awk读取数据以空格或制表符作为分隔符，但可以通过-F或FS(field separator)变量来改变分隔符。
    示例：

  awk -F 分隔符 '{print $1}'

  或者 awk  'BEGIN {FS=":"} {print $1}'

  多个分隔符，利用 {FS="[:,]"}表示，如下

3. 内置变量

 以下为awk内置变量：

          ARGC        命令行参数个数
          FILENAME    当前输入文档的名称
          FNR        当前输入文档的当前记录编号，尤其当有多个输入文档时有用
          NR        输入流的当前记录编号
          NF        当前记录的字段个数
          FS        字段分隔符
          OFS        输出字段分隔符，默认为空格
          ORS        输出记录分隔符，默认为换行符\n
          RS        输入记录分隔符，默认为换行符\n

4. 表达式与操作符

  表达式是由变量、常量、函数、正则表达式、操作符组成，awk中变量有字符变量和数字变量。如果在awk中定义的变量没有初始化，则初始值为空字串或0。
    注意：字符操作时一定记得需要加引号
    1) 变量定义示例：
        a="welcome to beijing"
        b=12
    2) 操作符(awk操作符与C语言类似)
    +        加
    -        减
    *        乘
    /        除
    %        取余
    ^        幂运算
    ++        自加1
    --        自减1
    +=        相加后赋值给变量(x+=9等同于x=x+9)
    -=        相减后赋值给变量(x-=9等同于x=x-9)
    *=        相乘后赋值给变量(x*=9等同于x=x*9)
    /=        相除后赋值给变量(x/=9等同于x=x/9)
    >        大于
    <        小于
    >=        大于等于
    <=        小于等于
    ==        等于
    !=        不等于
    ~        匹配
    !~        不匹配
    &&        与
    ||        或

-F 指定分隔符，有END最后输出统计结果，否则输出每行的结果

5 循环

1. {if(xxx) print xxx ; else  xxx}以分号分隔

2.   for 循环

3. while循环

6 应用场景

使用 awk 场景举例

统计浏览器类型

如果我们想知道那些类型的浏览器访问过网站，并按出现的次数倒序排列，我可以使用下面的命令：

 awk -F\" '{print $6}' access.log | sort | uniq -c | sort -fr

比如上述是访问log，按统计浏览器类型统计次数，如下

-c 参数显示文件中每行连续出现的次数。所以先用sort排序，然后用uniq  -c 统计次数。如果不用sort，不能实现统计。因为uniq是统计每行连续出现的次数

uniq命令不加任何参数，仅显示连续重复的行一次

备注：

sort命令是帮我们依据不同的数据类型进行排序，其语法及常用参数格式：
　　sort [-bcfMnrtk][源文件][-o 输出文件] 
补充说明：sort可针对文本文件的内容，以行为单位来排序。

参　　数：
  -b   忽略每行前面开始出的空格字符。
  -c   检查文件是否已经按照顺序排序。
  -f   排序时，忽略大小写字母。
  -M   将前面3个字母依照月份的缩写进行排序。
  -n   依照数值的大小排序。
  -o<输出文件>   将排序后的结果存入指定的文件。
  -r   以相反的顺序来排序。
  -t<分隔字符>   指定排序时所用的栏位分隔字符。
  -k  选择以哪个区间进行排序。

7 测试sort命令

sort  -u  去除重复 ，如下：

不带任何参数，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出

sort  -r  sort默认的排序方式是升序，如果想改成降序，就加个-r就搞定了