Accumulo集群搭建

Accumulo集群搭建

开始安装

1
2
3
wget http://mirrors.tuna.tsinghua.edu.cn/apache/accumulo/1.9.3/accumulo-1.9.3-bin.tar.gz
tar -zxvf accumulo-1.9.3-bin.tar.gz
cd accumulo-1.9.3

验证是否满足安装需求: ./bin/build_native_library.sh
yum install gcc-c++
注意: 需要首先安装Hadoop和Zookeeper,具体安装请查看本人文章CentOS下安装Hadoop集群

配置

  1. 初始化配置文件

    1
    ./bin/bootstrap_config.sh

    出现以下配置设置:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    Choose the heap configuration:
    1) 1GB
    2) 2GB
    3) 3GB
    4) 512MB
    #? 3
    Using '3GB' configuration

    Choose the Accumulo memory-map type:
    1) Java
    2) Native
    #? 1
    Using 'jvm' configuration


    Choose the Apache Hadoop version:
    1) Hadoop 2
    2) HDP 2.0/2.1
    3) HDP 2.2
    4) IOP 4.1
    5) Hadoop 3
    #? 1
    Using Hadoop version '2' configuration

    Setup complete
  2. 修改accumulo-site.xml文件

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    vi conf/accumulo-site.xml

    <property>
    <name>instance.volumes</name>
    <value>hdfs://0.0.0.0:9000/accumulo</value>
    <description>comma separated list of URIs for volumes. example: hdfs://localhost:9000/accumulo</description>
    </property>

    <property>
    <name>instance.zookeeper.host</name>
    <value>0.0.0.0:2181</value>
    <description>comma separated list of zookeeper servers</description>
    </property>
  3. 修改accumulo-env.sh文件
    设置ZOOKEEPER_HOMEHADOOP_PREFIX,亦可在/etc/profile中,

    1
    2
    3
    4
    5
    export HADOOP_PREFIX=/data/hadoop
    export HADOOP_HOME=$HADOOP_PREFIX
    export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
    export HADOOP_SSH_OPTS="-p 36000"
    export ZOOKEEPER_HOME=/data/zookeeper-3.4.14

初始化

1
./bin/accumulo init

此时设置你的实例名root密码

设置多个节点

  1. 设置masters
    设置其中一个节点为master节点。

    1
    2
    3
    vi ./conf/masters

    10.0.3.201
  2. 设置gc
    设置其中一个节点为gc节点。

    1
    2
    3
    vi ./conf/gc

    10.0.3.201
  3. 设置monitor
    运行Accumulo监视web服务器的节点。

    1
    2
    3
    vi ./conf/monitor

    10.0.3.201
  4. 设置slaves
    列出该文件中平板服务器应该运行的所有节点。

    1
    2
    3
    4
    5
    vi ./conf/slaves

    10.0.3.201
    10.0.3.202
    10.0.3.203
  5. 设置tracers
    可选功能。可以指定零个或多个节点。

    1
    2
    3
    4
    5
    vi ./conf/tracers

    10.0.3.201
    10.0.3.202
    10.0.3.203

启动Accumulo

1
2
3
4
# 启动Accumulo
./bin/start-all.sh
# 停止Accumulo
./bin/stop-all.sh

使用浏览器上输入http://localhost:9995/便可查看Accumulo monitor页面。