大数据学习hadoop3.1.3——kylin即席查询——Presto server安装

程序员文章站 2022-06-15 15:52:30

Presto是一个开源的分布式SQL查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景，不能处理OLTP。Presto架构Presto优缺点Presto Server安装1、将presto-server-0.196.tar.gz导入hadoop102的/opt/software目录下，并解压到/opt/module目录 tar -zxvf presto-server-0.196.tar.gz -C /opt/module/2、修改名称为prestomv presto-serve...

Presto是一个开源的分布式SQL查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景，不能处理OLTP。

Presto架构

Presto优缺点

大数据学习hadoop3.1.3——kylin即席查询——Presto server安装

Presto Server安装

1、将presto-server-0.196.tar.gz导入hadoop102的/opt/software目录下，并解压到/opt/module目录

 tar -zxvf presto-server-0.196.tar.gz -C /opt/module/

2、修改名称为presto

mv presto-server-0.196/ presto

3、进入到/opt/module/presto目录，并创建存储数据文件夹

 mkdir data

4、进入到/opt/module/presto目录，并创建存储配置文件文件夹

 mkdir etc

5、配置在/opt/module/presto/etc目录下添加jvm.config配置文件

 vim jvm.config

添加如下内容

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

6、Presto可以支持多个数据源，在Presto里面叫catalog，这里我们配置支持Hive的数据源，配置一个Hive的catalog

 mkdir catalog

 vim hive.properties

添加如下内容

connector.name=hive-hadoop2
hive.metastore.uri=thrift://hadoop101:9083

7、将hadoop101上的presto分发到hadoop102、hadoop103

 xsync presto

8、分发之后，分别进入hadoop101、hadoop102、hadoop103三台主机的/opt/module/presto/etc的路径。配置node属性，node id每个节点都不一样。
hdoop101:

 vim node.properties
 node.environment=production
 node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
 node.data-dir=/opt/module/presto/data

hadoop102:

 vim node.properties
 node.environment=production
 node.id=ffffffff-ffff-ffff-ffff-fffffffffffe
 node.data-dir=/opt/module/presto/data

hadoop103:

 vim node.properties
 node.environment=production
 node.id=ffffffff-ffff-ffff-ffff-fffffffffffd
 node.data-dir=/opt/module/presto/data

9、Presto是由一个coordinator节点和多个worker节点组成。在hadoop101上配置成coordinator，在hadoop102、hadoop103上配置为worker

（1）hadoop101上配置coordinator节点

 vim config.properties

添加内容如下

 coordinator=true
 node-scheduler.include-coordinator=false
 http-server.http.port=8881
 query.max-memory=50GB
 discovery-server.enabled=true
 discovery.uri=http://hadoop101:8881

（2）hadoop102、hadoop103上分别配置worker节点

 vim config.properties

添加内容如下

  coordinator=false
  http-server.http.port=8881
  query.max-memory=50GB
  discovery.uri=http://hadoop101:8881

10、在hadoop101的/opt/module/hive目录下，启动Hive Metastore，用caron角色

nohup bin/hive --service metastore >/dev/null 2>&1 &

11、分别在hadoop101、hadoop102、hadoop103上启动Presto Server
（1）前台启动Presto，控制台显示日志

 bin/launcher run

（2）后台启动Presto

 bin/launcher start

12、日志查看路径/opt/module/presto/data/var/log

本文地址：https://blog.csdn.net/qq_42502354/article/details/107214503