如果我更改了 mapreduce 的配置,我是否应该重新启动 yarn
If I changed mapreduce's configuration, should I restart the yarn
例如,我的系统中有一个 MapReduce 作业 运行ning。我更改了 mapred-site.xml
中的 mapreduce.task.io.sort.mb
配置。这个任务的运行ning参数会动态变化吗?还是mapreduce.task.io.sort.mb
参数会在下一个运行生效?或者我必须重启系统才能使参数生效。
最近想开发一个Hadoop的自动调参系统,可以在任务执行运行的过程中,根据系统的负载动态改变参数。但我不知道如何开发它。如果Hadoop官方提供了相关的API,希望有人能给我指点一下。
如果您的配置是特定于集群的,则必须重新启动整个集群,另一方面,如果是特定于作业,则重新启动您的作业才能生效。某些属性是特定于集群的 actually.The mapreduce.task.io.sort.mb
属性 可以是它们两者。
作业 运行 时无法更改属性。重启作业生效。
例如,我的系统中有一个 MapReduce 作业 运行ning。我更改了 mapred-site.xml
中的 mapreduce.task.io.sort.mb
配置。这个任务的运行ning参数会动态变化吗?还是mapreduce.task.io.sort.mb
参数会在下一个运行生效?或者我必须重启系统才能使参数生效。
最近想开发一个Hadoop的自动调参系统,可以在任务执行运行的过程中,根据系统的负载动态改变参数。但我不知道如何开发它。如果Hadoop官方提供了相关的API,希望有人能给我指点一下。
如果您的配置是特定于集群的,则必须重新启动整个集群,另一方面,如果是特定于作业,则重新启动您的作业才能生效。某些属性是特定于集群的 actually.The mapreduce.task.io.sort.mb
属性 可以是它们两者。
作业 运行 时无法更改属性。重启作业生效。