当前位置: > shell编程 >

apache日志分析shell命令行脚本

时间:2014-11-03 23:50来源:linux.it.net.cn 作者:it

apache日志分析shell命令行

1、日志按日生成文件:“CustomLog "|/opt/apache/bin/rotatelogs /opt/apache/logs/www.website.com-access_log.%Y-%m-%d 86400" common”
2、日志格式:“61.135.194.120 - - [08/Aug/2011:08:00:28 +0800] "GET /favicon.ico HTTP/1.1" 404 209”

命令行日志分析:
 

1,查看apache进程:
ps aux | grep httpd | grep -v grep | wc -l
 
2,查看80端口的tcp连接:
netstat -tan | grep "ESTABLISHED" | grep ":80" | wc -l
  
3,通过日志查看当天ip连接数,过滤重复:
cat www.website.com-access_log.2011-08-08  |awk '{print $1}' | sort | uniq -c | sort -nr
  
4,当天ip连接数最高的ip都在干些什么,取前十条记录:
cat www.website.com-access_log.2011-08-08 |grep 114.255.136.70 |awk '{print $7}' | sort | uniq -c | sort -nr|head -n 10
  
5,当天访问页面排前10的url:
cat www.website.com-access_log.2011-08-08 |awk '{print $7}' | sort | uniq -c | sort -nr|head -n 10
  
6,用tcpdump嗅探80端口的访问看看谁最高,我的apache有前端负载均衡来nat,所以本条不适用:
tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -nr
接着就可以从日志里查看该ip在干嘛

附, 合并多个Apache的日志文件
比如Apche的日志格式是这样的:
%h %l %u %t \"%r\" %>s %b

例子:
111.222.111.222 - - [03/Apr/2002:10:30:17 +0800] "GET /index.html HTTP/1.1" 200 419

将日志一一读出来,然后按日志中的时间字段排序
 

cat log1 log2 log3 |sort -k 4 -t " "


注释:
-t " ": 日志字段分割符号是空格
-k 4: 按第4个字段排序,也就是:[03/Apr/2002:10:30:17 +0800] 这个字段
-o log_all: 输出到log_all这个文件中

这相当于先把几个日志文件的内容按自定列进行排序,然后在输出,显然这样的效率比较低。
对于Apache的日志,其实本身已经是一个“已经按照时间排好序“的文件了,而sort对于这种文件的排序合并提供了一个优化合并算法:使用 -m merge合并选项。

因此:合并这样格式的3个日志文件log1 log2 log3并输出到log_all。
 

sort -m log1 log2 -o log_all
(责任编辑:IT)
------分隔线----------------------------
栏目列表
推荐内容