Hadoop学习笔记(七)—— Flume的安装配置
文章目录
前期准备
-
JDK版本:1.8以上
-
JDK版本与Flume版本要对应
这里采用JDK版本为1.8.0,Flume的版本1.8.0
Flume安装步骤
第一步 将下载好的Flume版本上传至Linux上
下载地址:http://flume.apache.org/download.html
下载完成后,使用rz
命令上传文件,上传完成后解压到指定文件夹即可。
第二步 flume-env.sh环境变量配置
flume的配置文件在flume安装包下的conf目录下,在conf目录中只有flume-env.sh的模板文件,这里还需要使用cp
命令将flume-env.sh的模板文件拷贝为flume-env.sh,拷贝完成后使用vi编辑器进入文件后,找到JAVA_HOME在其后写入如下配置。
export JAVA_HOME=/export/servers/jdk
这里写入的是jdk的安装路径,修改完成后保存退出即可。
第三步 在profile文件中添加flume的系统环境变量
使用命令vi /etc/profile
打开profile文件,在文件最后添加如下内容。
export FLUME_HOME=/export/servers/flume
export PATH=$PATH:$FLUME_HOME/bin:
配置完成后,保存退出并使用source /etc/profile
刷新文件即可。
至此flume的安装完成。
实验验证
这里写好了一份flume的采集方案,通过如下命令启动flume
$ flume-ng agent --conf conf/ --conf-file conf/netcat-logger.conf \ --name a1
-Dflume.root.logger=INFO,console
注意:这里我是在flume文件夹下启动的,所以这里的–conf后跟conf/配置文件路径,若要在其他文件夹下使用,需要将其改为绝对路径。–conf-file后跟flume采集方案的绝对路径。
如图可以看出,flume已经开始监听端口。
之后需要在虚拟机上使用yum -y install telnet
安装telnet工具,使用指令telnet localhost 44444
模拟进行数据采集。
如图可以看出flume服务器端监听到了输入的数据,并接收到服务器端显示。
至此,flume运行成功。
结语
在之后的学习练习中,发现使用Hadoop HA集群比使用Hadoop的普通集群要好,这里我自己的node-01主机上的namenode被kill后,利用node-01上的namenode查看hdfs的WebUI,提示加载失败,于是改了一些flume中的参数,发现虽然文件中将日志文件上传到了node-01上的hdfs,但是利用node-02的namenode的WebUI查看,依然可以查找到所上传的日志文件,正像Hadoop 高可用架构所示,避免了单节点故障所出现的一系列问题。
上一篇: Flume架构与应用
推荐阅读
-
java 学习笔记(入门篇)_java的安装与配置
-
Webpack4 学习笔记 - 01:webpack的安装和简单配置
-
Linux学习笔记——Apache的安装与配置
-
Hadoop学习笔记(七)—— Flume的安装配置
-
Nginx学习笔记(一):nginx的安装和配置
-
java web学习笔记(1)XAMPP中的mysql+tomcat的安装与配置_MySQL
-
Nginx学习笔记(一):nginx的安装和配置
-
java web学习笔记(1)XAMPP中的mysql+tomcat的安装与配置_MySQL
-
Linux学习笔记——Apache的安装与配置
-
Flume学习笔记:Flume的安装与基础应用