HadoopOnDemand配置项详解

本节向大家介绍一下HadoopOnDemand配置方面的内容，主要介绍一些中HadoopOnDemand常用的配置项，相信通过本节的介绍大家对HadoopOnDemand的配置有新的认识，让我们一起来学习吧。

3.4HadoopOnDemand中ringmaster的配置项

ork-dirs这是一个由逗号分隔的路径列表，这些路径将作为HOD产生和传递给Hadoop，用于存放DFS和Map/Reduce数据的目录的根目录。例如，这是DFS数据块存放的路径。一般情况下，有多少块磁盘就指定多少路径，以确保所有的磁盘都被利用到。temp-dir变量的限制和注意事项在这儿同样适用。
max-master-failureshadoop主守护进启动前可以失败的次数，超出这个次数后，HOD会让这次集群分配失败。在HOD集群中，有时候由于某些问题，比如机器没安装java，没有安装Hadoop，或者Hadoop版本错误等，会存在一个或几个“坏”节点。当这个配置项被设为正整数时，只有当hadoopmatser（JobTracker或者NameNode）在上述的坏节点上，由于上面提到的种种原因启动失败的次数超过设定的值时，RingMaster才会把错误返回给客户端。如果尝试启动的次数没有超过设定值，当下一个HodRing请求运行一个命令时，同一个hadoopmaster会指定给这个HodRing。这样，即使集群中存在一些坏的节点，HOD也会尽全力使这次分配成功。

3.5HadoopOnDemand中gridservice-hdfs的配置项

external如果被置为false，HOD必须在通过allocate命令分配的节点上自己创建HDFS集群。注意，在这种情况下，如果集群被回收，HDFS集群会停止，所有数据会丢失。如果被置为true，它会尝试链接外部的已配置的HDFS系统。通常，因为在作业运行之前作业的输入需要被放置在HDFS上，并且作业的输出需要持久保留，在生产环境中一个内部的HDFS集群意义不大。
host外部配置好的NameNode的主机名。
fs_portNameNodeRPC服务绑定的端口。
info_portNameNodeebUI服务绑定的端口。
pkgs安装目录，其下有bin/hadoop可执行文件。可用来使用集群上预先安装的Hadoop版本。
server-params一个逗号分割的hadoop配置参数列表，每一项为key-value对形式。这些将用于产生被NameNode和DataNode使用到的hadoop-site.xml文件。
final-server-params除会被标记为final外和上面相同。

3.6HadoopOnDemand中gridservice-mapred的配置项

external如果被置为false，HOD必须在通过allocate命令分配的节点上自己创建Map/Reduce集群。如果被置为true，它会尝试链接外部的已配置的Map/Reduce系统。
host外部配置好的JobTracker的主机名。
tracker_portJobTrackerRPC服务绑定的端口。
info_portJobTrackerebUI服务绑定的端口。
pkgs安装目录，其下有bin/hadoop可执行文件。
server-params一个逗号分割的hadoop配置参数列表，每一项为key-value对形式。这些将用于产生被JobTracker和TaskTracker使用到的hadoop-site.xml文件。
final-server-params除会被标记为final外和上面相同。

3.7HadoopOnDemand中hodring的配置项

mapred-system-dir-rootDFS上的目录，HOD会在这个目录下创建子目录并把全路径作为参数'mapred.system.dir'的值传递给Hadoop守护进程。全路径的格式为value-of-this-option/userid/mapredsystem/cluster-id。注意，如果HDFS启用了权限，这里指定的路径下应允许所有用户创建子目录。设置此配置项的值为/user会使HOD使用用户的home目录来产生mapred.system.dir的值。
log-destination-uri一个URL，能反映一个外部的静态的DFS或者集群节点上的本地文件系统上的路径。当集群被回收时，HOD会把Hadoop日志上传到这个路径。要指定DFS路径，使用'hdfs://path'格式。要指定一个集群节点上的本地文件系统路径，使用'file://path'格式。当HOD回收集群时，作为HOD的清除过程的一部分，hadoop日志会被删除。要做到持久储这些日志，你可以使用这个配置项。路径的格式会是values-of-this-option/userid/hod-logs/cluster-id。注意，应该保证所有的用户能在这里指定的目录下创建子目录。把这个值设为hdfs://user会使这些日志被转移到用户在DFS上的home目录下。
pkgs安装目录，其下有bin/hadoop可执行文件。如果给log-destination-uri指定了一个HDFSURL，HOD上传日志时会用到这个配置项。注意，当用户使用了和外部静态HDFS不同版本的tarball时，这个配置项会派上用场。
 

【编辑推荐】

HadoopOnDemand配置新手指南 Hadoop0.20.2集群配置入门指导手册 Hadoop文件系统如何快速安装？ Hadoop集群搭建过程中相关环境配置详解 Hadoop完全分布模式安装实现详解