欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Python+Hive环境搭建

程序员文章站 2022-07-13 17:54:47
...

Hello,我是 Alex 007,一个热爱计算机编程和硬件设计的小白,为啥是007呢?因为叫 Alex 的人太多了,再加上每天007的生活,Alex 007就诞生了。

这篇文章主要介绍Linux操作系统中怎么使用Python连接Hive并在Django框架中使用,初始环境为刚安装的Anaconda。

  1. 升级pip
pip install --upgrade pip
如果提示:twisted 18.7.0 requires PyHamcrest>=1.9.0, which is not installed.
可以使用命令:pip install PyHamcrest

2.安装sasl

yum install cyrus-sasl-plain  cyrus-sasl-devel  cyrus-sasl-gssapi
yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64
pip install pyhs2
  1. 安装thrift
pip install thrift
  1. 安装thrift-sasl
pip install thrift-sasl
  1. 安装PyHive
pip install PyHive
  1. 后台启动Hive远程服务
/usr/hive/apache-hive-2.1.1-bin/bin/hiveserver2
  1. python连接Hive
from pyhive import hive  # or import hive
cursor = hive.connect(host='localhost', database="covid_19").cursor()
cursor.execute('SELECT * FROM detail LIMIT 10')
print(cursor.fetchone())
print(cursor.fetchall())