Apache Hadoop-2.x集群部署（持续更新完善）

摘 要

本文将介绍基于Hadoop2.x版本利用zookeeper搭建高可用集群环境。

前言

1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。

hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode。

这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态。

2.hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.4.1解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调。

Apache Hadoop-2.x集群部署（持续更新完善）

配置部分

配置全局

配置hadoop-env.sh

  1. vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
  3. #修改为jdk所在位置
  4. export JAVA_HOME=/usr/java/jdk_1.7.64
  5. #修改hadoop pid存放位置，默认存放/tmp目录。但系统会定期清理tmp文件夹，会导致出现某些问题。
  6. export HADOOP_PID_DIR=/var/hadoop/pids
  7. export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}

配置mapred-env.sh

  1. vi $HADOOP_HOME/etc/hadoop/mapred-env.sh
  3.  # 修改mapred相关PID存储目录
  4. export HADOOP_MAPRED_PID_DIR=/var/hadoop/pids

 

配置HDFS

配置core-site.xml

  1. vi $HADOOP_HOME/etc/hadoop/core-site.xml
  1. <configuration>
  2. <!-- 指定hdfs的nameservice为ns1 -->
  3.     <property>
  4.         <name>fs.defaultFS</name>
  5.         <value>hdfs://ns1</value>
  6.         </property>
  7.         <!-- 指定hadoop临时目录 -->
  8.         <property>
  9.         <name>hadoop.tmp.dir</name>
  10.         <value>/itunic/hadoop-2.7.2/tmp</value>
  11.         </property>
  12.         <!-- 指定zookeeper地址 -->
  13.         <property>
  14.         <name>ha.zookeeper.quorum</name>
  15.         <value>zookeeperServer1:2181,zookeeperServer2:2181,zookeeperServer3:2181</value>
  16.     </property>
  17. </configuration>

配置hdfs-site.xml

  1. vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml
  1. <configuration>
  2.         <!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
  3.         <property>
  4.             <name>dfs.nameservices</name>
  5.             <value>ns1</value>
  6.         </property>
  7.         <!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
  8.         <property>
  9.             <name>dfs.ha.namenodes.ns1</name>
  10.             <value>nn1,nn2</value>
  11.         </property>
  12.         <!-- nn1的RPC通信地址 -->
  13.         <property>
  14.             <name>dfs.namenode.rpc-address.ns1.nn1</name>
  15.             <value>NameNodeServer1:9000</value>
  16.         </property>
  17.         <!-- nn1的http通信地址 -->
  18.         <property>
  19.             <name>dfs.namenode.http-address.ns1.nn1</name>
  20.             <value>NameNodeServer1:50070</value>
  21.         </property>
  22.         <!-- nn2的RPC通信地址 -->
  23.         <property>
  24.             <name>dfs.namenode.rpc-address.ns1.nn2</name>
  25.             <value>NameNodeServer2:9000</value>
  26.         </property>
  27.         <!-- nn2的http通信地址 -->
  28.         <property>
  29.             <name>dfs.namenode.http-address.ns1.nn2</name>
  30.             <value>NameNodeServer2:50070</value>
  31.         </property>
  32.         <!-- 更多NameNode服务器线程来处理来自大量DataNodes的RPC。-->
  33.         <property>
  34.             <name>dfs.namenode.handler.count</name>
  35.             <value>100</value>
  36.         </property>
  37.         <!-- 指定NameNode数据存放位置，多个目录逗号分隔-->
  38.         <property>
  39.             <name>dfs.namenode.name.dir</name>
  40.             <value>/data/dfs/nn</value>
  41.         </property>
  42.         <!-- 指定DataNode数据存放位置，多个目录逗号分隔-->
  43.         <property>
  44.             <name>dfs.datanode.data.dir</name>
  45.             <value>/data/dfs/dn</value>
  46.         </property>
  47.         <property>
  48.            <name>dfs.datanode.max.transfer.threads</name>
  49.            <value>4096</value>
  50.        </property>
  51.         <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
  52.         <property>
  53.             <name>dfs.namenode.shared.edits.dir</name>
  54.             <value>qjournal://zookeeperServer1:8485;zookeeperServer2:8485;zookeeperServer3:8485/ns1</value>
  55.         </property>
  56.         <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
  57.         <property>
  58.             <name>dfs.journalnode.edits.dir</name>
  59.             <value>/data/dfs/jn</value>
  60.         </property>
  61.         <!-- 开启NameNode失败自动切换 -->
  62.         <property>
  63.             <name>dfs.ha.automatic-failover.enabled</name>
  64.             <value>true</value>
  65.         </property>
  66.         <!-- 配置失败自动切换实现方式 -->
  67.         <property>
  68.             <name>dfs.client.failover.proxy.provider.ns1</name>
  69.             <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  70.         </property>
  71.         <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
  72.         <property>
  73.             <name>dfs.ha.fencing.methods</name>
  74.             <value>
  75.                 sshfence
  76.                 shell(/bin/true)
  77.             </value>
  78.         </property>
  79.         <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
  80.         <property>
  81.             <name>dfs.ha.fencing.ssh.private-key-files</name>
  82.             <value>/root/.ssh/id_rsa</value>
  83.         </property>
  84.         <!-- 配置sshfence隔离机制超时时间 -->
  85.         <property>
  86.             <name>dfs.ha.fencing.ssh.connect-timeout</name>
  87.             <value>30000</value>
  88.         </property>
  89.         <!--设置副本数量 -->
  90.         <property>
  91.             <name>dfs.replication</name>
  92.             <value>1</value>
  93.         </property>
  94.         <!--设置文件块大小 -->
  95.         <property>
  96.              <name>dfs.block.size</name>
  97.              <value>33554432</value>
  98.         </property>
  99.     </configuration>

配置Mapreduce

配置mapred-site.xml

  1. vi $HADOOP_HOME/etc/hadoop/mapred-site.xml
  1. <configuration>
  2. <!-- 指定mr框架为yarn方式 -->
  3.     <property>
  4.         <name>mapreduce.framework.name</name>
  5.         <value>yarn</value>
  6.     </property>
  7. </configuration>

配置yarn-site.xml

  1. vi $HADOOP_HOME/etc/hadoop/yarn-site.xml
  1. <configuration>
  2.     <!-- 开启RM高可靠 -->
  3.     <property>
  4.     <name>yarn.resourcemanager.ha.enabled</name>
  5.     <value>true</value>
  6.     </property>
  7.     <!-- 指定RM的cluster id -->
  8.     <property>
  9.        <name>yarn.resourcemanager.cluster-id</name>
  10.        <value>yrc</value>
  11.     </property>
  12.     <!-- 指定RM的名字 -->
  13.     <property>
  14.        <name>yarn.resourcemanager.ha.rm-ids</name>
  15.        <value>rm1,rm2</value>
  16.     </property>
  17.     <!-- 分别指定RM的地址 -->
  18.     <property>
  19.        <name>yarn.resourcemanager.hostname.rm1</name>
  20.        <value>ResourceManagerServer1</value>
  21.     </property>
  22.     <property>
  23.        <name>yarn.resourcemanager.hostname.rm2</name>
  24.        <value>ResourceManagerServer2</value>
  25.     </property>
  26.     <!-- 指定zk集群地址 -->
  27.     <property>
  28.        <name>yarn.resourcemanager.zk-address</name>
  29.        <value>zookeeperServer1:2181,zookeeperServer2:2181,zookeeperServer3:2181</value>
  30.     </property>
  31.     <property>
  32.        <name>yarn.nodemanager.aux-services</name>
  33.        <value>mapreduce_shuffle</value>
  34.     </property>
  35. </configuration>

配置slaves

  1. #设置datanode和 nodemanager节点
  2. vi $HADOOP_HOME/etc/hadoop/slaves

配置免登陆

  1. #生成秘钥，拷贝到其他节点。
  2. ssh-keygen -t rsa
  3. ssh-copy-id NameNodeServer1
  4. ssh-copy-id NameNodeServer2
  5. ssh-copy-id ResourceManagerServer1
  6. ssh-copy-id ResourceManagerServer2
  7. ssh-copy-id zookeeperServer1
  8. ssh-copy-id zookeeperServer2
  9. ssh-copy-id zookeeperServer3

初始化

1，在zookeeper集群上启动journalnode节点

  1. sbin/hadoop-daemon.sh start journalnode

2，格式化HDFS

  1. hdfs namenode -format
  2. #将tmp文件夹拷贝到另一台namenode上
  3. scp -r tmp itunicServer2:$HADOOP_HOME/tmp

3，格式化ZK（namenode1 节点格式化即可）

  1. hdfs zkfc -formatZK

4，在NameNode节点启动hdfs，在ResourceManager节点启动Yarn

  1. #启动hdfs
  2. sbin/start-dfs.sh
  3. #启动yarn
  4. sbin/start-yarn.sh

大功告成！！

  • Apache Hadoop-2.x集群部署（持续更新完善）已关闭评论
  • 456 views
  • A+
所属分类：未分类
avatar