SSH 访问 FIWARE-Cosmos 的头节点

SSH access for the headnode of FIWARE-Cosmos

我正在关注 Hadoop/FIWARE-Cosmos 上的 this 指南,我对 Hive 部分有疑问。

我可以通过 SSH 访问旧集群的 (cosmos.lab.fiware.org) 头节点,但我无法访问新集群。我尝试了 storage.cosmos.lab.fiware.orgcomputing.cosmos.lab.fiware.org,但都无法连接。

我尝试通过 SSH 连接的目的是通过 Hive CLI 测试 Hive 对我们数据的查询。失败后,我检查并能够使用 telnet 连接到 computing.cosmos.lab.fiware.org 的 10000 端口。我想 Hive 是通过那个端口提供服务的。这是我们在新集群中使用 Hive 的唯一方法吗?

新的一对集群没有开启ssh访问。这是因为用户倾向于在“旧”集群中安装很多东西(甚至与大数据无关),正如您提到的那样启用了 ssh 访问。因此,新的一对集群只能通过公开的 API 使用:用于数据的 WebHDFS I/O 和用于 MapReduce 的 Tidoop。

话虽如此,Hive 服务器也是 运行,它也应该像您提到的那样在 10000 端口公开远程服务。我说“它应该是”,因为它是 运行 一个基于 OAuth2 的实验性验证器模块,就像 WebHDFS 和 Tidoop 一样。从理论上讲,从 Hive 客户端连接到该端口就像使用您的 Cosmos 用户名和有效令牌一样简单(与您用于 WebHDFS and/or Tidoop 的令牌相同)。

那么 Hive 远程客户端呢?好吧,这是您的应用程序应该实现的东西。无论如何,我已经在 Cosmos 存储库中上传了一些实现示例。例如:

https://github.com/telefonicaid/fiware-cosmos/tree/develop/resources/java/hiveserver2-client