使用外部 Oracle 数据库设置 IBM Open Platform
Set up IBM Open Platform with an external Oracle Database
当我尝试使用 Oracle 数据库作为 RDBMS 安装单节点 IBM Open Platform 集群时,我有点困惑。
首先,我了解到 IBM Big Insights 的 Hadoop 部分不是相应 Apache 版本的修改版本(就像 HortonWorks 所做的那样),所以当 Ambari(来自 IBM 存储库)让我使用外部 Oracle数据库,我想它应该工作。我可能错了,我在蹩脚的 IBM 安装指南中找不到任何 oracle 参考来正确设置它(只是它应该适用于 Oracle 11g R2)
因此,就像我使用等效的 HortonWorks 发行版(但使用 IBM 的二进制文件)一样,我使用所有 oracle 参数设置了我的 ambari-server (--jdbc-db=oracle -- jdbc-driver=path/to/ojdbc6.jar,我在 Centos 6.5 上使用 Oracle 11g XE,应该受 IOP 支持)并且我指定了我必须指定的所有内容才能将 Ambari 与 Oracle 一起使用(服务名称、主机、端口...)
我创建了 ambari 用户,加载了相应的 Oracle DDL(与 Ambari 一起打包)并创建了我的 Hive & Oozie 用户,如... Hortonworks 安装指南中所述。
好吧,Ambari 似乎与 Oracle 配合得很好,我可以在最后一步之前设置我的集群:
- 如果我将 Hive and/or oozie 配置为与 oracle 一起工作(从服务配置选项卡验证 oracle 连接正常),"review" 步骤(第 8 步)不会显示任何内容(或者有时 IOP 回购协议,它似乎是任意的)。尝试部署开始任务准备并暗示安装的阻塞状态:除了删除数据库并重新加载整个 DDL 以重试(否则我将获得很多意外的 NullPointerException)
- 如果我将 Hive 和 Oozie 配置为与嵌入式 MySQL(默认选择)一起工作,同时保持 Ambari 对抗 Oracle,一切正常。
我是不是做错了什么??或者配置(IBM 开放平台)Hive 和 Oozie 使用 Oracle 11 有什么限制吗? (当它与 HortonWorks - 相同的 apache 版本 - 和 Cloudera Distribution 一起使用时)
当然,日志文件什么也没告诉我...
更新:
我尝试安装 IOP 4.1,首先使用 MySQL 作为我的 Ambari、Hive 和 Oozie 数据库,一切正常。
接下来,我尝试使用 Oracle 11 XE 作为外部数据库安装 IOP 4.1(我配置了 oracle,创建了 ambari、hive 和 oozie oracle 用户并加载了 IOP 4.1 提供的 Ambari Oracle 模式,并且我配置了与第一次相同的集群,指定Hive、Oozie(和 Sqoop(Oracle 驱动程序))的 Oracle 特性。在将服务部署到所有节点之前,Ambari 应该恢复它要安装的内容,但它没有:有时它不显示任何内容, 有时它只显示 IOP 回购网址。接下来,尝试部署,它开始准备任务但永远不会结束。就是这样。没有消息,没有日志,什么都没有,它只是卡住了。
由于所需的 IOP 4.1 组件与 HDP 2.3 中的版本相同(Ambari 2.1、Hive 1.2.1、oozie 4.2.0、hadoop 2.7.1、pig 0.15.0、sqoop 1.4.6 和 zookeeper 3.4.6),我尝试使用 HDP 2.3、Oracle 11 XE 等配置完全相同的集群,一切正常。我注意到 HDP 2.3 强制我使用 SSL,而 IOP 没有。 HDP 默认使用 Oracle JDK 1.8,而 IOP 实际上建议使用 OpenJDK 1.8。我不知道这是否重要,我会尝试确定...我会在 Ambari 屏幕阻塞时拍照并复制日志跟踪,即使没有错误消息...
如果有人有想法,请分享!
谢谢!
尝试使用 Oracle JDK 1.8 运行相同的安装,一切正常。
我不知道在 OpenJDK 1.8 中使用 Oracle JDBC 驱动程序是否有任何限制,但在 IOP 4.1 + Oracle JDK 1.8 中使用 Oracle 11 XE 是否有效。
当我尝试使用 Oracle 数据库作为 RDBMS 安装单节点 IBM Open Platform 集群时,我有点困惑。
首先,我了解到 IBM Big Insights 的 Hadoop 部分不是相应 Apache 版本的修改版本(就像 HortonWorks 所做的那样),所以当 Ambari(来自 IBM 存储库)让我使用外部 Oracle数据库,我想它应该工作。我可能错了,我在蹩脚的 IBM 安装指南中找不到任何 oracle 参考来正确设置它(只是它应该适用于 Oracle 11g R2)
因此,就像我使用等效的 HortonWorks 发行版(但使用 IBM 的二进制文件)一样,我使用所有 oracle 参数设置了我的 ambari-server (--jdbc-db=oracle -- jdbc-driver=path/to/ojdbc6.jar,我在 Centos 6.5 上使用 Oracle 11g XE,应该受 IOP 支持)并且我指定了我必须指定的所有内容才能将 Ambari 与 Oracle 一起使用(服务名称、主机、端口...) 我创建了 ambari 用户,加载了相应的 Oracle DDL(与 Ambari 一起打包)并创建了我的 Hive & Oozie 用户,如... Hortonworks 安装指南中所述。 好吧,Ambari 似乎与 Oracle 配合得很好,我可以在最后一步之前设置我的集群:
- 如果我将 Hive and/or oozie 配置为与 oracle 一起工作(从服务配置选项卡验证 oracle 连接正常),"review" 步骤(第 8 步)不会显示任何内容(或者有时 IOP 回购协议,它似乎是任意的)。尝试部署开始任务准备并暗示安装的阻塞状态:除了删除数据库并重新加载整个 DDL 以重试(否则我将获得很多意外的 NullPointerException)
- 如果我将 Hive 和 Oozie 配置为与嵌入式 MySQL(默认选择)一起工作,同时保持 Ambari 对抗 Oracle,一切正常。
我是不是做错了什么??或者配置(IBM 开放平台)Hive 和 Oozie 使用 Oracle 11 有什么限制吗? (当它与 HortonWorks - 相同的 apache 版本 - 和 Cloudera Distribution 一起使用时)
当然,日志文件什么也没告诉我...
更新:
我尝试安装 IOP 4.1,首先使用 MySQL 作为我的 Ambari、Hive 和 Oozie 数据库,一切正常。 接下来,我尝试使用 Oracle 11 XE 作为外部数据库安装 IOP 4.1(我配置了 oracle,创建了 ambari、hive 和 oozie oracle 用户并加载了 IOP 4.1 提供的 Ambari Oracle 模式,并且我配置了与第一次相同的集群,指定Hive、Oozie(和 Sqoop(Oracle 驱动程序))的 Oracle 特性。在将服务部署到所有节点之前,Ambari 应该恢复它要安装的内容,但它没有:有时它不显示任何内容, 有时它只显示 IOP 回购网址。接下来,尝试部署,它开始准备任务但永远不会结束。就是这样。没有消息,没有日志,什么都没有,它只是卡住了。 由于所需的 IOP 4.1 组件与 HDP 2.3 中的版本相同(Ambari 2.1、Hive 1.2.1、oozie 4.2.0、hadoop 2.7.1、pig 0.15.0、sqoop 1.4.6 和 zookeeper 3.4.6),我尝试使用 HDP 2.3、Oracle 11 XE 等配置完全相同的集群,一切正常。我注意到 HDP 2.3 强制我使用 SSL,而 IOP 没有。 HDP 默认使用 Oracle JDK 1.8,而 IOP 实际上建议使用 OpenJDK 1.8。我不知道这是否重要,我会尝试确定...我会在 Ambari 屏幕阻塞时拍照并复制日志跟踪,即使没有错误消息...
如果有人有想法,请分享! 谢谢!
尝试使用 Oracle JDK 1.8 运行相同的安装,一切正常。
我不知道在 OpenJDK 1.8 中使用 Oracle JDBC 驱动程序是否有任何限制,但在 IOP 4.1 + Oracle JDK 1.8 中使用 Oracle 11 XE 是否有效。