欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

为hadoop0.20.2 配置Ganglia3.1.7

程序员文章站 2022-06-22 18:26:24
...

hadoop0.20.2,打了补丁以后,可以支持Ganglia3.X的监控。

如果不打补丁,就无法支持Ganglia3.X了。

 

安装说明等,完整下载地址:http://pan.baidu.com/s/1hqehLp6

 

1.用rpm检测依赖包情况

rpm -q gcc glibc glibc-common rrdtool rrdtool-devel apr  apr-devel expat expat-devel  pcre pcre-devel dejavu-lgc-sans-mono-fonts dejavu-sans-mono-fonts

 

2.下载安装缺失的依赖包

yum install apr-devel 

yum install expat-devel

yum install pcre-devel

 

yum install ruby

 

rrdtool-perl依赖包:

perl-Time-HiRes-1.9724-1.el6.rfx.x86_64.rpm

下载后直接安装 rpm -ivh xxx.rpm

 

安装rddtool

下载地址: http://packages.express.org/rrdtool/

需要三个rpm包一起安装,并且三个rpm包必须是同一个版本号。

rrdtool-1.4.5-1.el6.wrl.x86_64.rpm

rrdtool-devel-1.4.5-1.el6.wrl.x86_64.rpm

rrdtool-perl-1.4.5-1.slc6.wrl.x86_64.rpm

 

安装httpd (需要先安装apr apr-util)

tar -zxf httpd-2.2.23.tar.gz

cd httpd-2.2.23

./configure --prefix=/opt/apache

make && make install

 

安装php

tar -zxf php-5.5.14.tar.gz

cd php-5.5.14

###./configure --prefix=/usr/local/php  --with-apxs2=/opt/apache/bin/apxs  --with-mysql=/usr/include/mysql

./configure --prefix=/usr/local/php  --with-apxs2=/opt/apache/bin/apxs  --with-mysql

make && make install

 

安装ganglia core

依赖libconfuse包

libconfuse-2.5-4.el5.x86_64.rpm 

libconfuse-devel-2.5-4.el5.x86_64.rpm

 

要注意的是,Ganglia在安装时默认不安装gmetad,所以需要在configure时指定:--with-gmetad,还需要指定RRDTool库的路径:--with-librrd=… ! 

tar -zxf ganglia-3.1.7.tar.gz

cd ganglia-3.1.7

./configure --prefix=/usr/local/ganglia --with-gmetad --with-librrd=/usr/local/lib --enable-gexec --with-python=/usr --sysconfdir=/etc/ganglia

 

make && make install

 

 

安装ganglia-web

ganglia-web-3.5.7.tar.gz

tar -zxvf ganglia-web-3.5.7.tar.gz

 

 

 

启动httpd服务

/opt/apache/bin/apachectl start  (重启 restart)

 

查看httpd进程:

ps -aux | grep httpd 

打开IP地址80端口,看到It works!

 

vi /usr/local/apache2/htdocs/index.php 添加:

<? 

phpinfo(); 

?>

 

访问:http://10.0.37.64/index.php,访问成功!

 

 

配置Ganglia

*配置gmetad (主节点配置)

 

拷贝配置文件

 

cd /home/support/ganglia-3.1.7

cp ./gmetad/gmetad.init /etc/init.d/gmetad

cp ./gmetad/gmetad.conf /usr/local/ganglia/etc

 

cp ./gmond/gmond.init /etc/init.d/gmond

 

vi /etc/init.d/gmetad  --修改如下内容

GMETAD=/usr/local/ganglia/sbin/gmetad

 

vi /etc/init.d/gmond   --修改如下内容

GMOND=/usr/local/ganglia/sbin/gmond

 

 

将gmetad服务,gmond服务,设为开机自动运行

chkconfig --add gmond && chkconfig gmond on 

chkconfig --add gmetad && chkconfig gmetad on

 

生成gmond默认配置文件:

cd /home/support/ganglia-3.1.7

./gmond/gmond -t | tee /etc/ganglia/gmond.conf

 

配置Ganglia Web  路径必须这么配置,是Ganglia gmetad的路径配置,否则gmetad进程会启动失败

mkdir -p /var/www/html/ganglia 

cp -r /home/support/ganglia-3.1.7/web/* /var/www/html/ganglia/

mkdir -p /var/lib/ganglia/rrds 

chown nobody:nobody /var/lib/ganglia/rrds

 

创建? web前端配置文件/var/www/html/conf.php,指定gmetad中存储rrd图形的目录,以及rrdtool的位置:

$gmetad_root = "/var/lib/ganglia"; 

$rrds = "$gmetad_root/rrds"; 

  

define("RRDTOOL", "/usr/local/bin/rrdtool");

 

 

(A)配置服务端gmetad.conf文件

服务器端配置文件gmetad.conf,主要是配置data_source参数。它设定了被监控端服务器的地址及端口,可以指定多个被监控端服务器:

vi /etc/ganglia/gmetad.conf 

data_source "hadoop" 10 localhost 

gridname "hadoop status"    /*设置一个web前端显示的名称,随意命名。

 

修改port

The port gmetad will answer request for XML

default 8651    /* 开启端口 */

 

service gmetad start

 

(B)配置客户端gmond.conf文件

gmond.conf包括了几个部分:globals、cluster、udp_send_channel、udp_recv_channel等,

如果只是想要Ganglia简单地运行,两个操作就可以了,两个操作都是在cluster配置段中进行修改

命名一个cluster名称,名称与gmetad.conf中的data_source保持一致。我的命名:name = "hadoop"

修改tcp_accept_channel配置段如下:

01.tcp_accept_channel { 

02. port = 8649 

03. acl { 

04.    default = "deny" 

05.    access { 

06.      ip = 10.0.37.64 /*这里用来监控服务器的地址 

07.      mask = 32 

08.      action = "allow" 

09.      } 

10.   } 

11.}

 

service gmond start  //不配置acl,ip地址,可以启动成功,先测测

 

测试进程是否运行成功

telnet localhost 8649 # 检查gmond进程,如果出现XML就对了 

telnet localhost 8651 # 检查gmetad进程,如果出现XML就对了 

 

service gmond restart 

service gmetad restart 

 

cd /opt/apache/bin

./apachectl -k restart 

 

注意修改$HADOOP_HOME/conf/hadoop-metrics.properties

dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext31

dfs.period=10

dfs.servers=239.2.11.71:8649

端口是gmond默认的端口 

 

效果图:


为hadoop0.20.2 配置Ganglia3.1.7
            
    
    博客分类: Hadoop hadoopganglia监控 
 
为hadoop0.20.2 配置Ganglia3.1.7
            
    
    博客分类: Hadoop hadoopganglia监控 
 

 

refer to:http://hi.baidu.com/hovlj_1130/blog/item/e8fe89c3e9a67e160ff47755.html

完整下载地址:

http://pan.baidu.com/s/1hqehLp6

  • 为hadoop0.20.2 配置Ganglia3.1.7
            
    
    博客分类: Hadoop hadoopganglia监控 
  • 大小: 53.4 KB
  • 为hadoop0.20.2 配置Ganglia3.1.7
            
    
    博客分类: Hadoop hadoopganglia监控 
  • 大小: 81.4 KB