欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

如何用SARG日志分析器来分析Squid日志

程序员文章站 2022-06-29 16:57:48
如何用CentOS上的SARG日志分析器来分析Squid日志?文包含了SARG配置工作,但是分析一个原始Squid日志文件并不直接。比如,你如何分析下面Squid日志中的时间戳和数字?需要的朋友可以... 14-09-19...

  sarg是一款基于网络的工具,它可以分析squid日志,并以更详细的方式展示分析。系统管理员可以利用sarg来监视哪些网站被访问了,并跟踪访问量最大的网站和用户。本文包含了sarg配置工作。sarg提供了很多有用的特性,但是分析一个原始squid日志文件并不直接。比如,你如何分析下面squid日志中的时间戳和数字?


复制代码
代码如下:
  1404788984.429 1162 172.17.1.23 tcp_miss/302 436 get http://facebook.com/ - direct/173.252.110.27 text/html
  1404788985.046 12416 172.17.1.23 tcp_miss/200 4169 connect stats.pusher.com:443 - direct/173.255.223.127 -
  1404788986.124 174 172.17.1.23 tcp_miss/200 955 post http://ocsp.digicert.com/ - direct/117.18.237.29 application/ocsp-response
  1404788989.738 342 172.17.1.23 tcp_miss/200 3890 connect www.google.com:443 - direct/74.125.200.106 -
  1404788989.757 226 172.17.1.23 tcp_miss/200 942 post http://clients1.google.com/ocsp - direct/74.125.200.113 application/ocsp-response
  1404788990.839 3939 172.17.1.23 tcp_miss/200 78944 connect fbstatic-a.akamaihd.net:443 - direct/184.26.162.35 -
  1404788990.846 2148 172.17.1.23 tcp_miss/200 118947 connect fbstatic-a.akamaihd.net:443 - direct/184.26.162.35 -
  1404788990.849 2151 172.17.1.23 tcp_miss/200 76809 connect fbstatic-a.akamaihd.net:443 - direct/184.26.162.35 -
  1404788991.140 611 172.17.1.23 tcp_miss/200 110073 connect fbstatic-a.akamaihd.net:443 - direct/184.26.162.35 –

  我们使用yum来安装安装必要的依赖。


复制代码
代码如下:
  # yum install gcc make wget httpd crond

  在启动时加载必要的服务


复制代码
代码如下:
  # service httpd start; service crond start
  # chkconfig httpd on; chkconfig crond on

  现在我们下载并解压sarg

  上一节教程中,我们展示了如何在centos上使用squid配置透明代理。squid提供了很多有用的特性,但是分析一个原始squid日志文件并不直接。比如,你如何分析下面squid日志中的时间戳和数字?


复制代码
代码如下:
  1404788984.429 1162 172.17.1.23 tcp_miss/302 436 get http://facebook.com/ - direct/173.252.110.27 text/html
  1404788985.046 12416 172.17.1.23 tcp_miss/200 4169 connect stats.pusher.com:443 - direct/173.255.223.127 -
  1404788986.124 174 172.17.1.23 tcp_miss/200 955 post http://ocsp.digicert.com/ - direct/117.18.237.29 application/ocsp-response
  1404788989.738 342 172.17.1.23 tcp_miss/200 3890 connect www.google.com:443 - direct/74.125.200.106 -
  1404788989.757 226 172.17.1.23 tcp_miss/200 942 post http://clients1.google.com/ocsp - direct/74.125.200.113 application/ocsp-response
  1404788990.839 3939 172.17.1.23 tcp_miss/200 78944 connect fbstatic-a.akamaihd.net:443 - direct/184.26.162.35 -
  1404788990.846 2148 172.17.1.23 tcp_miss/200 118947 connect fbstatic-a.akamaihd.net:443 - direct/184.26.162.35 -
  1404788990.849 2151 172.17.1.23 tcp_miss/200 76809 connect fbstatic-a.akamaihd.net:443 - direct/184.26.162.35 -
  1404788991.140 611 172.17.1.23 tcp_miss/200 110073 connect fbstatic-a.akamaihd.net:443 - direct/184.26.162.35 –

  我们使用yum来安装安装必要的依赖。


复制代码
代码如下:
  # yum install gcc make wget httpd crond

  在启动时加载必要的服务


复制代码
代码如下:
  # service httpd start; service crond start
  # chkconfig httpd on; chkconfig crond on

  现在我们下载并解压sarg


复制代码
代码如下:
  # wget http://downloads.sourceforge.net/project/sarg/sarg/sarg-2.3.8/sarg-2.3.8.tar.gz?
  # tar zxvf sarg-2.3.8.tar.gz
  # cd sarg-2.3.8

  注意: 对于64位的linux,log.c的源代码需要用下面的文件打补丁。


复制代码
代码如下:
  1506c1506
  < if (fprintf(ufile->file, "%s\t%s\t%s\t%s\t%"prii64"\t%s\t%ld\t%s\n",dia,hora,ip,url,nbytes,code,elap_time,smartfilter)<=0) {
  ---
  > if (fprintf(ufile->file, "%s\t%s\t%s\t%s\t%"prii64"\t%s\t%ld\t%s\n",dia,hora,ip,url,(int64_t)nbytes,code,elap_time,smartfilter)<=0) {
  1513c1513
  < fprintf(fp_log, "%s\t%s\t%s\t%s\t%s\t%"prii64"\t%s\t%ld\t%s\n",dia,hora,user,ip,url,nbytes,code,elap_time,smartfilter);
  ---
  > fprintf(fp_log, "%s\t%s\t%s\t%s\t%s\t%"prii64"\t%s\t%ld\t%s\n",dia,hora,user,ip,url,(int64_t)nbytes,code,elap_time,smartfilter);
  1564c1564
  < printf("len=\t%"prii64"\n",nbytes);  ---
  > printf("len=\t%"prii64"\n",(int64_t)nbytes);

  如下继续并编译/安装sarg


复制代码
代码如下:
  # ./configure
  # make
  # make install

  sarg安装之后,配置文件可以按你的要求修改。下面是一个sarg配置的例子。


复制代码
代码如下:
  # vim /usr/local/etc/sarg.conf
  access_log /var/log/squid/access.log
  temporary_dir /tmp
  output_dir /var/www/html/squid-reports
  date_format e ## we use europian dd-mm-yyyy format here ##
  ## we don’t want multiple reports for single day/week/month ##
  overwrite_report yes

  现在是时候测试运行了,我们用调试模式运行sarg来查看是否存在错误。


复制代码
代码如下:
  # sarg -x

  如果i一切正常,sarg会根系squid日志,并在/var/www/html/squid-reports下创建报告。报告也可以在浏览器中通过地址http://<服务器ip>/squid-reports/访问。

  sarg可以用于创建日、周、月度报告。时间范围用“-d”参数来指定,值的形式很可能为day-n、 week-n 或者 month-n,n的值为向前推移的天/周/月的数量。比如,使用week-1,sarg会生成之前一星期的报告。使用day-2,sarg会生成之前两天的报告。

  作为演示,我们会准备一个计划任务来每天运行sarg。


复制代码
代码如下:
  # vim /etc/cron.daily/sarg
  #!/bin/sh
  /usr/local/bin/sarg -d day-1

  文件需要可执行权限。


复制代码
代码如下:
  # chmod 755 /usr/local/bin/sarg

  现在sarg应该会每天准备关于squid管理的流量报告。这些报告可以很容易地通过sarg网络接口访问。

  以上就是利用sarg工具,来分析分析squid日志,并以更详细的方式展示分析。系统管理员可以利用sarg来监视哪些网站被访问了,并跟踪访问量最大的网站和用户。

  另外小编找来的这篇文章还包含了sarg配置工作。你可以进一步自定义配置来满足自己的要求。希望能帮助大家,谢谢有点。