Cloudera Manager部署StreamSets

参考：https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Installation/CMInstall-Overview.html#concept_nb5_c3m_25

通过Cloudera Manager部署StreamSets。

环境：

服务	版本
操作系统	CentOS7.8
Cloudera Manager	6.3.1
CDH	6.3.2
StreamSets	3.16.1

部署步骤：

1、安装StreamSets Custom Service Descriptor(CSD)。

2、手动安装parcel和校验文件。

3、分发和**StreamSets Parcel。

4、配置StreamSets服务。

下面将安装步骤进行详细说明。

安装StreamSets CSD

1、下载CSD

export VERSION="3.16.1"
wget https://archives.streamsets.com/datacollector/$VERSION/csd/STREAMSETS-$VERSION.jar

2、复制CSD文件到Local Descriptor Repository Path，默认是 */opt/cloudera/csd *。

3、设置文件用户和权限

chown cloudera-scm:cloudera-scm /opt/cloudera/csd/STREAMSETS*.jar
chmod 644 /opt/cloudera/csd/STREAMSETS*.jar

4、重启Cloudera Manager，命令：

systemctl restart cloudera-scm-server

5、导航到Cloudera Manager的Home页，重启 Cloudera Management Service。

手动安装parcel和校验文件

1、下载文件

export VERSION="3.16.1"
wget https://archives.streamsets.com/datacollector/$VERSION/parcel/activation/STREAMSETS_DATACOLLECTOR-$VERSION-el7.parcel
wget https://archives.streamsets.com/datacollector/$VERSION/parcel/activation/STREAMSETS_DATACOLLECTOR-$VERSION-el7.parcel.sha

2、复制CSD文件到Cloudera Manager Local Parcel Repository Path，默认是 */opt/cloudera/parcel-repo *。

3、设置文件用户

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/STREAMSETS_DATACOLLECTOR*

分发和**StreamSets Parcel

1、导航到Parcel页

2、分发

等待分发完成。

3、**

等待**完成。

配置StreamSets服务

安装StreamSets服务

添加服务中已经可以看到StreamSets了，按照Cloudera Manager添加服务的步骤进行添加即可。

添加完成后，可以在集群服务列表看到。

(可选)启用Kerberos Client

1、StreamSets启用Kerberos Client

保存配置
2、生成丢失的凭据
管理 -> 安全 -> Kerberos凭据 -> 生成丢失的凭据


3、重启StreamSets服务