亚马逊 ec2 t2.micro 上的 Hadoop 2.x
Hadoop 2.x on amazon ec2 t2.micro
我正在尝试在 Amazon EC2 t2.micro 实例（免费实例，只有 1GB RAM）上以伪分布式模式安装和配置 Hadoop 2.6。
我可以配置并启动所有守护进程（即 Namenode、Datanode、ResourceManager、NodeManager）。但是当我尝试 运行 一个 mapreduce wordcount 示例时，它失败了。
我不知道它是否由于内存不足而失败（因为 t2.micro 只有 1GB 内存，其中一些被主机占用 OS，Ubuntu 在我的例子中）。还是其他原因？
我正在使用默认内存设置。如果我可以将所有内容调整到最小内存设置，它会解决问题吗？可以分配给容器的最小内存是多少 mb。
非常感谢你们。如果您能提供一些信息，我将不胜感激。
在不调整任何内存设置的情况下，我可以 运行 一个带有 1 个映射器和 1 个减速器的 pi 示例，有时仅在免费层 t2.micro 实例上，它大部分时间都会失败。
通过使用具有 15GB RAM 的内存优化 r3.large 实例，一切都完美无缺。所有作业都顺利完成。
我正在尝试在 Amazon EC2 t2.micro 实例（免费实例，只有 1GB RAM）上以伪分布式模式安装和配置 Hadoop 2.6。 我可以配置并启动所有守护进程（即 Namenode、Datanode、ResourceManager、NodeManager）。但是当我尝试 运行 一个 mapreduce wordcount 示例时，它失败了。 我不知道它是否由于内存不足而失败（因为 t2.micro 只有 1GB 内存，其中一些被主机占用 OS，Ubuntu 在我的例子中）。还是其他原因？ 我正在使用默认内存设置。如果我可以将所有内容调整到最小内存设置，它会解决问题吗？可以分配给容器的最小内存是多少 mb。 非常感谢你们。如果您能提供一些信息，我将不胜感激。
在不调整任何内存设置的情况下，我可以 运行 一个带有 1 个映射器和 1 个减速器的 pi 示例，有时仅在免费层 t2.micro 实例上，它大部分时间都会失败。 通过使用具有 15GB RAM 的内存优化 r3.large 实例，一切都完美无缺。所有作业都顺利完成。