大数据学习hadoop3.1.3——kylin即席查询——Presto server安装
Presto是一个开源的分布式SQL查询引擎,数据量支持GB到PB字节,主要用来处理秒级查询的场景,不能处理OLTP。
Presto架构
Presto优缺点
Presto Server安装
1、将presto-server-0.196.tar.gz导入hadoop102的/opt/software目录下,并解压到/opt/module目录
tar -zxvf presto-server-0.196.tar.gz -C /opt/module/
2、修改名称为presto
mv presto-server-0.196/ presto
3、进入到/opt/module/presto目录,并创建存储数据文件夹
mkdir data
4、进入到/opt/module/presto目录,并创建存储配置文件文件夹
mkdir etc
5、配置在/opt/module/presto/etc目录下添加jvm.config配置文件
vim jvm.config
添加如下内容
-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
6、Presto可以支持多个数据源,在Presto里面叫catalog,这里我们配置支持Hive的数据源,配置一个Hive的catalog
mkdir catalog
vim hive.properties
添加如下内容
connector.name=hive-hadoop2
hive.metastore.uri=thrift://hadoop101:9083
7、将hadoop101上的presto分发到hadoop102、hadoop103
xsync presto
8、分发之后,分别进入hadoop101、hadoop102、hadoop103三台主机的/opt/module/presto/etc的路径。配置node属性,node id每个节点都不一样。
hdoop101:
vim node.properties
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/opt/module/presto/data
hadoop102:
vim node.properties
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffe
node.data-dir=/opt/module/presto/data
hadoop103:
vim node.properties
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffd
node.data-dir=/opt/module/presto/data
9、Presto是由一个coordinator节点和多个worker节点组成。在hadoop101上配置成coordinator,在hadoop102、hadoop103上配置为worker
(1)hadoop101上配置coordinator节点
vim config.properties
添加内容如下
coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery-server.enabled=true
discovery.uri=http://hadoop101:8881
(2)hadoop102、hadoop103上分别配置worker节点
vim config.properties
添加内容如下
coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery.uri=http://hadoop101:8881
10、在hadoop101的/opt/module/hive目录下,启动Hive Metastore,用caron角色
nohup bin/hive --service metastore >/dev/null 2>&1 &
11、分别在hadoop101、hadoop102、hadoop103上启动Presto Server
(1)前台启动Presto,控制台显示日志
bin/launcher run
(2)后台启动Presto
bin/launcher start
12、日志查看路径/opt/module/presto/data/var/log
本文地址:https://blog.csdn.net/qq_42502354/article/details/107214503
上一篇: 社交电商创业为什么能迅速强大起来?
下一篇: MySQL笔记九:MySQL存储引擎