在 AWS EMR 上设置 Spark Thrift 服务器以建立 JBDC/ODBC 连接
Setting up Spark Thrift Server on AWS EMR for making JBDC/ODBC connection
如何在 EMR 上设置 Spark Thrift 服务器？我正在尝试使用 Spark Thrift 服务器与 EMR 建立 JDBC/ODBC 连接。例如
直线> !connect jdbc:hive2://10.253.3.5:10015
我们执行以下命令重启 Hive-Server2 -
sudo 停止 hive-server2
sudo 停止 hive-hcatalog-server
sudo 启动 hive-hcatalog-server
sudo 启动 hive-server2
不确定在 AWS EMR 上重启 Spark Thrift Server 的服务是什么以及如何设置用户 ID 和密码。
我们需要通过在 EMR-
上执行以下命令来启动 Spark thrift Server
sudo /usr/lib/spark/sbin/start-thriftserver.sh --master yarn-client
默认端口为 10001
测试连接如下 -
/usr/lib/spark/bin/beeline -u 'jdbc:hive2://x.x.x.x:10001/default' -e "show databases;"
Spark JDBC 驱动程序可用于从任何应用程序连接到 Thrift 服务器
如何在 EMR 上设置 Spark Thrift 服务器？我正在尝试使用 Spark Thrift 服务器与 EMR 建立 JDBC/ODBC 连接。例如
直线> !connect jdbc:hive2://10.253.3.5:10015
我们执行以下命令重启 Hive-Server2 -
sudo 停止 hive-server2 sudo 停止 hive-hcatalog-server sudo 启动 hive-hcatalog-server sudo 启动 hive-server2
不确定在 AWS EMR 上重启 Spark Thrift Server 的服务是什么以及如何设置用户 ID 和密码。
我们需要通过在 EMR-
上执行以下命令来启动 Spark thrift Serversudo /usr/lib/spark/sbin/start-thriftserver.sh --master yarn-client
默认端口为 10001
测试连接如下 - /usr/lib/spark/bin/beeline -u 'jdbc:hive2://x.x.x.x:10001/default' -e "show databases;"
Spark JDBC 驱动程序可用于从任何应用程序连接到 Thrift 服务器