欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Linux 快捷操作集群脚本

程序员文章站 2024-02-25 15:51:03
...

前言

OS: CentOS 6.8

ssh 命令

ssh 命令具有用来登录远程服务器、执行服务器命令的工具等功能,这里主要介绍 ssh 命令执行远程服务器命令的功能

  • ssh 执行远程服务器命令功能使用格式

    [sudo] ssh 远程服务器地址(IP 地址或者主机名) "远程服务器需要执行的命令"
    
  • ssh 命令使用示例

    当前登录机器的主机名 hadoop102,并且使用的用户是 hadoop ,并不是 root 用户。下面执行 ssh 命令的功能是在机器的主机名为 hadoop103 上执行 jps 命令,将执行结果返回给 hadoop102 的控制台

    [[email protected] ~]$ ssh hadoop103 jps
    6147 Jps
    1587 NodeManager
    4293 QuorumPeerMain
    1879 ResourceManager
    1497 DataNode
    

    说明:由于机器 hadoop102 与 hadoop103 之前做过免**,所以这里执行 ssh 命令后没有再要求输入机器 hadoop103 的登录密码

ssh 脚本

说明:以下脚本存放的位置在 /home/hadoop/bin 目录下,便于 hadoop 用户在全局执行,而不用在脚本所在位置执行或者执行使用脚本的全路径

多台机器上执行相同的命令脚本

#!/bin/bash
# 在多台服务器上执行相同的命令
for i in hadoop102 hadoop103 hadoop104
do
   #  打印对应的服务器主机名
   echo "----$i-------" 
   ssh $i "$*"
done

操作 zk 集群脚本

#!/bin/bash

case $1 in
"start"){
    for i in hadoop102 hadoop103 hadoop104
    do
       ssh  $i "/opt/module/zookeeper-3.4.6/bin/zkServer.sh start"
    done
};;
"status"){
    for i in hadoop102 hadoop103 hadoop104
    do
       ssh  $i "/opt/module/zookeeper-3.4.6/bin/zkServer.sh status"
    done
};;
"stop"){
    for i in hadoop102 hadoop103 hadoop104
    do
       ssh  $i "/opt/module/zookeeper-3.4.6/bin/zkServer.sh stop"
    done
};;
esac

文件传输脚本

#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=103; host<105; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -rvl $pdir/$fname [email protected]$host:$pdir
done

Flume 脚本

#!/bin/bash

case $1 in
"start"){
        for i in hadoop102 hadoop103
        do
                echo "-----启动 $i 日志采集-----"
                ssh $i "nohup /opt/module/flume/bin/flume-ng agent --conf-file /opt/module/flume/conf/file-flume-kafka.conf --name a1 -Dflume.root.logger=INFO,LOGFILE >/dev/null 2>&1 &"
        done
};;
"stop"){
        for i in hadoop102 hadoop103
        do
                echo "-----关闭 $i 日志采集-----"
                ssh $i "ps -ef | grep file-flume-kafka | grep -v grep | awk '{print \$2}' | xargs kill"
        done
};;
esac

说明: nohup 命令的作用是执行程序并且常驻后台进行,即不会因为控制台关闭导致程序运行结束

Kakfa 集群脚本

在同一台机器上操作多台器上的 Kafka 启动与停止

#!/bin/bash

case $1 in
"start"){
     for i in hadoop102 hadoop103 hadoop104
     do
        echo "----启动  $i kafka"
        ssh $i "export JMX_PORT=9988 && /opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties"
     done
};;
"stop"){
     for i in hadoop102 hadoop103 hadoop104
     do
        echo "----停止  $i kafka"
        ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh stop"
     done
};;
esac

hadoop 集群脚本

在同一台机器上操作多台机器上 Hadoop、zookeeper、flume、kafka 启动与停止

#!/bin/bash

case $1 in
"start"){
    echo ---------启动 hadoop 集群-----------
    start-dfs.sh
    ssh hadoop103 "start-yarn.sh"

   zk.sh start
    sleep 4s
    # 启动 Flume 采集集群
    f1.sh start
    kf.sh start
    sleep 6s
    # 启动 hadoop 104 上日志采集
    f2.sh start
};;
"stop"){
    # 停止 hadoop 104 上日志采集
    f2.sh stop
    kf.sh stop
    sleep 6s
    # 停止 Flume 采集集群
    f1.sh stop
    zk.sh stop
    echo ---------停止 hadoop 集群-----------
    ssh hadoop103 "stop-yarn.sh"
    stop-dfs.sh
};;
esac
相关标签: 大数据 Linux