python 操作hive pyhs2方式
使用kerberos時
import pyhs2
class HiveClient:
# 初始化
def __init__(self, db_host, user, password, database, port=10000, authMechanism="PLAIN", configuration=None):
self.conn = pyhs2.connect(host=db_host,
port=port,
authMechanism=authMechanism,
user=user,
password=password,
database=database,
configuration=configuration,
)
# 查詢方法
def query(self, sql):
with self.conn.cursor() as cursor:
cursor.execute(sql)
return cursor.fetch()
def close(self):
self.conn.close()
def getHiveData(sql):
config = {"mapreduce.job.queuename": "default", 'krb_host': 'hiveserve2ip', 'krb_service': 'hive'}
hive_client = HiveClient(db_host='hiveserve2ip', port=10000, user='user@kdc.com', password='hive', database='dw.usee',
authMechanism='KERBEROS', configuration=config)
print sql
result = hive_client.query(sql)
return result
Could not start SASL: Error in sasl_client_start (-1) SASL(-1)
安裝
yum install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi
pyhs2 安裝 sasl問題
yum install cyrus-sasl-devel yum install cyrus-sasl-lib yum install libgsasl-devel yum install saslwrapper
對接superset hive kerberos
SQLAlchemy URI
hive://herverser2ip:10000/db
擴展 連接參數(shù)
{
"metadata_params": {},
"engine_params": {
"connect_args": {
"auth": "KERBEROS",
"kerberos_service_name": "hive",
"username" : "user@KDC.COM"
}
}
}
以上這篇python 操作hive pyhs2方式就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
Python實現(xiàn)指定數(shù)組下標值正序與倒序排序算法功能舉例
在程序中,經(jīng)常需要按數(shù)組倒序或反序重新排列數(shù)組,下面這篇文章主要給大家介紹了關(guān)于Python實現(xiàn)指定數(shù)組下標值正序與倒序排序算法功能的相關(guān)資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2023-02-02
科學(xué)計算NumPy之Ndarray運算函數(shù)操作示例匯總
這篇文章主要為大家介紹了科學(xué)計算NumPy之Ndarray運算函數(shù)操作示例匯總,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-04-04
全面解析Python的While循環(huán)語句的使用方法
這篇文章主要介紹了全面解析Python的While循環(huán)語句的使用方法,是Python入門學(xué)習(xí)中的基礎(chǔ)知識,需要的朋友可以參考下2015-10-10
Python+OpenCV 圖像邊緣檢測四種實現(xiàn)方法
本文主要介紹了通過OpenCV中Sobel算子、Schaar算子、Laplacian算子以及Canny分別實現(xiàn)圖像邊緣檢測并總結(jié)了四者的優(yōu)缺點,感興趣的同學(xué)可以參考一下2021-11-11
python實現(xiàn)mysql的單引號字符串過濾方法
這篇文章主要介紹了python實現(xiàn)mysql的單引號字符串過濾方法,以一個較為詳細的實例形式分析了Python針對MySQL的操作及字符串過濾的技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-11-11

