Alluxio 部署记录

点击此处查看 Alluxio 详细介绍

下载地址

点击http://www.alluxio.org/download进入下载页面，选择合适的版本下载。

安装

将下载的文件例如 alluxio-1.8.0-hadoop-2.6-bin.tar.gz 拷贝至服务器指定目录并解压。 进入解压收的目录，分别修改以下文件：

alluxio-env.sh

此文件为alluxio用到一些环境配置

export JAVA_HOME=/home/hadoop/soft/jdk1.8.0  # alluxio1.8.0要求JDK8，JDK版本不宜过高，亲测JDK10不兼容
export ALLUXIO_MASTER_HOSTNAME=dellserver42.yw.cn # 计算机域名
export ALLUXIO_WORKER_MEMORY_SIZE=18GB

alluxio-site.properties

此文件为 alluxio 的工作配置

# Common properties
# alluxio.underfs.address=${alluxio.work.dir}/underFSStorage

# Security properties
# alluxio.security.authorization.permission.enabled=true
# alluxio.security.authentication.type=SIMPLE

# Worker properties
# alluxio.worker.memory.size=1GB
# alluxio.worker.tieredstore.levels=1
# alluxio.worker.tieredstore.level0.alias=MEM
# 默认的配置是挂载到 /mnt/ramdisk，如果服务器上没有这个目录，可以放开此注释，自己挂载一个目录
# alluxio.worker.tieredstore.level0.dirs.path=/mnt/ramdisk

# User properties
# alluxio.user.file.readtype.default=CACHE_PROMOTE
# alluxio.user.file.writetype.default=MUST_CACHE
alluxio.user.lineage.enabled=true
alluxio.keyvalue.enabled=true
alluxio.worker.tieredstore.levels=2
alluxio.worker.tieredstore.level0.alias=MEM
alluxio.worker.tieredstore.level0.dirs.quota=18GB
alluxio.worker.tieredstore.level1.alias=HDD
alluxio.worker.tieredstore.level1.dirs.path=/home/hadoop/alluxio-1.8.0/hdd1
alluxio.worker.tieredstore.level1.dirs.quota=30GB
alluxio.worker.tieredstore.level1.reserved.ratio=0.1

重新挂载目录的示例如下:

将上述配置中的alluxio.worker.tieredstore.level0.dirs.path指向/home/hadoop/BusinessCapability/alluxio-1.8.0-hadoop-2.6/ramdisk

sudo mount -t ramfs -o size=30G ramfs /home/hadoop/BusinessCapability/alluxio-1.8.0-hadoop-2.6/ramdisk
sudo chown hadoop:hadoop /home/hadoop/BusinessCapability/alluxio-1.8.0-hadoop-2.6/ramdisk

workers

此文件为集群之间通信的IP列表，例如:

10.0.88.41
10.0.88.42
10.0.88.44

所有节点的配置都一样。

启动节点

master节点

./bin/alluxio-start.sh master

worker节点

./bin/alluxio-start.sh worker

执行对应命令后，根据提示，浏览相关日志，没有错误时表示启动成功。 默认访问 http://master节点的域名或IP:19999接口看到集群信息。

关闭节点

master节点

./bin/alluxio-stop.sh master

worker节点

./bin/alluxio-stop.sh worker