HBase集群搭建与调优(持续更新)

摘 要

hbase集群搭建与调优。

前言

本文持续更新中,主要因为我也是在工作中逐渐探索中,所以在工作中遇到的配置调优,都将第一时间更新到本文中,用作以后标准配置。

版本介绍

本文基于当前最稳定兼容版本如下:

hadoop-2.7.3

hbase-1.2.5

zookeeper-3.4.10

HBase集群搭建与调优(持续更新)

配置文件介绍

Apache HBase使用与Apache Hadoop相同的配置系统,所有配置文件都位于conf/目录中。该目录需要与集群中的每个节点保持同步。

backup-masters

纯文本文件,用于描述备用主机,一行一个主机。

hadoop-metrics2-hbase.properties

用于连接HBase Hadoop的Metrics2框架。

hbase-env.sh & hbase-env.cmd

用于Windows和Linux / Unix环境的脚本,用于设置HBase的工作环境,包括Java,Java选项和其他环境变量的位置。该文件包含许多注释的例子来提供指导。

hbase-policy.xml

RPC服务器使用的默认策略配置文件对客户端请求做出授权决策。在启用HBase安全性时使用。

hbase-site.xml

主要的HBase配置文件。该文件指定了覆盖HBase的默认配置的配置选项。

log4j.properties

HBase记录的配置文件log4j

regionservers

一个纯文本文件,其中包含应该在HBase集群中运行RegionServer的主机列表。

集群配置

HDFS DataNode在任何一个时间都会提供的文件数量上限。在进行任何加载之前,请确保已配置Hadoop的conf/hdfs-site.xml,将该dfs.datanode.max.transfer.threads值设置为至少以下值:

  1. <property>
  2.   <name>dfs.datanode.max.transfer.threads</name>
  3.   <value>4096</value>
  4. </property>

进行上述配置后,请务必重新启动HDFS。

编辑 hbase-env.sh

  1. #修改jdk安装位置
  2.  export JAVA_HOME=/usr/java/jdk1.7.0/
  3. #设置hbase堆内存,默认情况下为1G,但最优情况下为8G~16G
  4.  export HBASE_HEAPSIZE=8G
  5. #修改master的jvm参数,master不参与实际计算,酌情修改。默认值:128m
  6.  export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=2g -XX:MaxPermSize=2g"
  7. #修改regionserver的jvm参数,由于该参数直接影响数据存储及计算节点。适当调大。默认值为:128m
  8.  export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=8g -XX:MaxPermSize=8g"
  9. #hbase pid存储位置,默认存放于系统/tmp目录
  10.  export HBASE_PID_DIR=/var/hadoop/pids
  11. #同时启动zk实例,建议关闭。
  12.  export HBASE_MANAGES_ZK=false

编辑 hbase-site.xml

  1. <configuration>
  2.   <property>
  3.     <name>hbase.rootdir</name>
  4.     <value>hdfs://master:9000/hbase</value>
  5.   </property>
  6.   <property>
  7.     <name>hbase.cluster.distributed</name>
  8.     <value>true</value>
  9.   </property>
  10.   <property>
  11.     <name>hbase.zookeeper.quorum</name>
  12.     <value>zookeeper1,zookeeper2,zookeeper3</value>
  13.   </property>
  14.   <!-- 设置hbase临时目录,默认系统目录/tmp-->
  15.   <property>
  16.     <name>hbase.tmp.dir</name>
  17.     <value>/data/dfs/hbase</value>
  18.   </property>
  19.   <!--在RegionServers上旋转的RPC侦听器实例的计数。主人使用相同的属性来计算主处理程序。 默认30-->
  20.   <property>
  21.     <name>hbase.regionserver.handler.count</name>
  22.     <value>100</value>
  23.   </property>
  24.   <!-- 设置心跳时间,默认三分钟,时间越短,代表故障节点更早的发现。-->
  25.   <property>
  26.     <name>zookeeper.session.timeout</name>
  27.     <value>60000</value>
  28.   </property>
  29. </configuration>

配置 regionserver

worker1

worker2

……

设置backup-masters

master1

master2

……

 

avatar

评论已关闭!

目前评论:1   其中:访客  1   博主  0

    • avatar 易趣博客 0

      易趣博客,每日回访!。