【四】storm作业提交到集群上运行

maven的pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.sid.bigdata</groupId>
  <artifactId>storm</artifactId>
  <version>0.0.1</version>
  <packaging>jar</packaging>

  <name>storm</name>
  <url>http://maven.apache.org</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <storm.version>1.1.1</storm.version>
  </properties>

  <dependencies>
    
  <dependency>
  	<groupId>org.apache.storm</groupId>
  	<artifactId>storm-core</artifactId>
  	<version>${storm.version}</version> 
  </dependency>
  
  </dependencies>
</project>

代码：

package com.sid.bigdata.storm.sum;

import java.util.Map;

import org.apache.storm.Config;
import org.apache.storm.StormSubmitter;
import org.apache.storm.generated.AlreadyAliveException;
import org.apache.storm.generated.AuthorizationException;
import org.apache.storm.generated.InvalidTopologyException;
import org.apache.storm.spout.SpoutOutputCollector;
import org.apache.storm.task.OutputCollector;
import org.apache.storm.task.TopologyContext;
import org.apache.storm.topology.OutputFieldsDeclarer;
import org.apache.storm.topology.TopologyBuilder;
import org.apache.storm.topology.base.BaseRichBolt;
import org.apache.storm.topology.base.BaseRichSpout;
import org.apache.storm.tuple.Fields;
import org.apache.storm.tuple.Tuple;
import org.apache.storm.tuple.Values;
import org.apache.storm.utils.Utils;

/**
 * @author liyijie
 * @date 2018年6月7日下午5:33:27
 * @email [e-mail]
 * @remark
 * @version 
 * 
 * 用storm实现累加求和的操作
 */
public class ClusterSumStormTopology {
	
	/**
	 * Spout需要继承BaseRichSpout
	 * 产生数据并且发送出去
	 * */
	public static class DataSourceSpout extends BaseRichSpout{

		private SpoutOutputCollector collector;
		/**
		 * 初始化方法，在执行前只会被调用一次
		 * @param conf 配置参数
		 * @param context 上下文
		 * @param collector 数据发射器
		 * */
		public void open(Map conf, TopologyContext context, SpoutOutputCollector collector) {
			this.collector = collector;
		}

		int number = 0;
		/**
		 * 产生数据，生产上一般是从消息队列中获取数据
		 * */
		public void nextTuple() {
			this.collector.emit(new Values(++number));
			System.out.println("spout发出："+number);
			Utils.sleep(1000);
		}

		/**
		 * 声明输出字段
		 * @param declarer
		 * */
		public void declareOutputFields(OutputFieldsDeclarer declarer) {
			/**
			 * num是上nextTuple中emit中的new Values对应的。上面发几个，这里就要定义几个字段。
			 * 在bolt中获取的时候，只需要获取num这个字段就行了。
			 * */
			declarer.declare(new Fields("num"));
		}
		
	}
	
	/**
	 * 数据的累计求和Bolt
	 * 接收数据并且处理
	 * */
	public static class SumBolt extends BaseRichBolt{

		/**
		 * 初始化方法，只会被执行一次
		 * */
		public void prepare(Map stormConf, TopologyContext context, OutputCollector collector) {
			
		}

		int sum=0;
		/**
		 * 获取spout发送过来的数据
		 * */
		public void execute(Tuple input) {
			//这里的num就是在spout中的declareOutputFields定义的字段名
			//可以根据index获取，也可以根据上一个环节中定义的名称获取
			Integer value = input.getIntegerByField("num");
			sum+=value;
			System.out.println("Bolt:sum="+sum);
		}

		/**
		 * 声明输出字段
		 * @param declarer
		 * */
		public void declareOutputFields(OutputFieldsDeclarer declarer) {
			
		}
		
	}
	
	public static void main (String[] args){
		
		
		//TopologyBuilder根据spout和bolt来构建Topology
		//storm中任何一个作业都是通过Topology方式进行提交的
		//Topology中需要指定spout和bolt的执行顺序
		TopologyBuilder tb = new TopologyBuilder();
		tb.setSpout("DataSourceSpout", new DataSourceSpout());
		//SumBolt以随机分组的方式从DataSourceSpout中接收数据
		tb.setBolt("SumBolt", new SumBolt()).shuffleGrouping("DataSourceSpout");
		
		//代码提交到storm集群上运行
		try {
			StormSubmitter.submitTopology("ClusterSumStormTopology", new Config(), tb.createTopology());
		} catch (AlreadyAliveException e) {
			e.printStackTrace();
		} catch (InvalidTopologyException e) {
			e.printStackTrace();
		} catch (AuthorizationException e) {
			e.printStackTrace();
		}
		
	}
}

打包

对项目名单机右键选择run as --> maven install

完成后Jar包在项目中target下

将这个jar包上传到nimbus所在的节点上

启动storm后

运行jar包

./bin/storm jar topology-jar-path class ...

class指定main在的类及起带的参数

如果想执行一些jar包，它并没有包含在应用jar包中，可以用--jars将其传递进去，多个jar时用逗号分隔。

如果想用一些maven中的东西，

用--artifacts来指定，多个时用逗号分隔，排除不要的用^

例如--artifacts "redis.clients:jedis:2.9.0,org.apache.kafka:kafka_2.10:0.8.2.2^org.slf4j:slf4j-log4j12"

这里是执行：

只用在nimbus节点操作。

cd /app/storm

./bin/storm jar /app/sid_test_data/storm-0.0.1.jar com.sid.bigdata.storm.sum.ClusterSumStormTopology

在storm的UI中查看日志可以看到代码中system.out.print的输出

storm常用命令介绍

storm list 显示正在运行的作业的状态。

storm kill ClusterSumStormTopology名字 停掉作业