如何将数据从 hive2 加载到 blaze

Question

全部，

我正在尝试将数据从 hive2 thrift 服务器加载到 blaze 中。我想做一些类似于发布 here 的分析。这是我目前的流程。

import blaze as bz
import sqlalchemy
import impala

conn = connect(host='myhost.url.com', port=10000, database='mydb', user='hive', auth_mechanism='PLAIN')
engine = sqlalchemy.create_engine('hive://', creator=conn) 
data = bz.data(engine)

我能够建立连接并生成引擎，但是当我运行 bz.data 它失败并出现错误

 TypeError: 'HiveServer2Connection' object is not callable

感谢任何帮助。

回答

from pyhive import import hive
import sqlalchemy
from impala.dbapi import import connect


def conn():                                               
    return connect(host='myhost.com', port=10000, database='database',        user='username', auth_mechanism='PLAIN')

engine = sqlalchemy.create_engine('hive://', creator=conn)


#Workaround
import blaze as bz


data = bz.data(engine)

Answer 1

from pyhive import import hive
import sqlalchemy
from impala.dbapi import import connect


def conn():                                               
    return connect(host='myhost.com', port=10000, database='database', user='username', auth_mechanism='PLAIN')

engine = sqlalchemy.create_engine('hive://', creator=conn)


#Workaround
import blaze as bz


data = bz.data(engine)

Answer 2

我在使用 impyla 通过 SQLAlchemy 连接到 Impala 时遇到了同样的问题。使 conn 成为函数而不是将其分配给变量。

如何将数据从 hive2 加载到 blaze

How to load data into blaze from hive2

python

hive

sqlalchemy

impala

blaze