Tachyon的配置
-
Tachyon环境变量
-
Tachyon通用配置
-
TachyonMaster配置
-
TachyonWorker配置
-
用户配置
1 Tachyon的配置
这里以0.5.0版本为例，介绍Tachyon中可配置参数的具体含义。Tachyon中的可配置项分为两类，一种是系统环境变量，用于在不同脚本间共享配置信息；另一种是程序运行参数，通过-D选项传入运行Tachyon的JVM中。程序运行参数又分为：
- 通用配置（Common Configuration）
- TachyonMaster配置（Master Configuration）
- TachyonWorker配置（Worker Configuration）
- 用户配置（User Configuration）
要修改或添加这些可配置项，可修改conf/tachyon-env.sh文件。
1.1 Tachyon环境变量
| 配置项 |
配置项说明 |
| JAVA_HOME |
系统中JDK的安装路径 |
| TACHYON_RAM_FOLDER |
配置ramfs挂载的文件目录，默认为/mnt/ramdisk |
| TACHYON_MASTER_ADDRESS |
启动TachyonMaster的地址，默认为localhost，所以在单机模式下不用更改 |
| TACHYON_UNDERFS_ADDRESS |
Tachyon使用的底层文件系统的路径，本地文件系统（单机模式下），如"/tmp/tachyon"，或HDFS，如"hdfs://ip:port" |
| TACHYON_WORKER_MEMORY_SIZE |
每个TachyonWorker使用的RamFS大小，默认为1GB |
1.2 Tachyon通用配置
| 配置项 |
配置项说明 |
| tachyon.underfs.address |
Tachyon在底层文件系统的的路径，默认为$TACHYON_UNDERFS_ADDRESS |
| tachyon.home |
Tachyon的安装路径，启动Tachyon时为当前 tachyon 文件夹的路径 |
| tachyon.data.folder |
Tachyon数据在底层文件系统的存放路径，默认为$TACHYON_UNDERFS_ADDRESS/tmp/tachyon/data |
| tachyon.workers.folder |
TachyonWorkers在底层文件系统的工作路径，默认为$TACHYON_UNDERFS_ADDRESS/tmp/tachyon/workers |
| tachyon.usezookeeper |
TachyonMaster是否使用ZooKeeper容错，默认为false |
| tachyon.zookeeper.adress |
如果启用，ZooKeeper的地址 |
| tachyon.zookeeper.election.path |
如果启用，Zookeeper的election文件夹路径，默认为/election |
| tachyon.zookeeper.leader.path |
如果启用，Zookeeper的leader文件夹路径，默认为/leader |
| tachyon.underfs.hdfs.impl |
实现HDFS的类，默认org.apache.hadoop.hdfs,DistributedFileSystem |
| tachyon.max.columns |
Tachyon中RawTable允许的最大列数，默认为1000 |
| tachyon.table.metadata.byte |
Tachyon中RawTable元数据允许存储的最大字节数，默认为5242880，即5MB |
| tachyon.underfs.glusterfs.impl |
如果使用GlusterFS为底层文件系统，实现GlusterFS的类，默认为org.apache.hadoop.fs.glusterfs.GlusterFileSystem |
| tachyon.underfs.glusterfs.mounts |
如果使用GlusterFS为底层文件系统，GlusterFS卷的挂载目录 |
| tachyon.underfs.glusterfs.volumes |
如果使用GlusterFS为底层文件系统，GlusterFS的卷名 |
| tachyon.underfs.glusterfs.mapred.system.dir |
如果使用GlusterFS为底层文件系统，GlusterFS用于存放MapReduce中间数据的可选子目录，默认为glusterfs:///mapred/system |
| tachyon.web.resources |
Tachyon WebUI可用的资源，默认为$tachyon.home/core/src/main/webapp |
| tachyon.async.enabled |
是否启用异步模式，默认为false |
| tachyon.underfs.hadoop.prefixes |
底层使用hadoop文件系统的前缀列表，默认为"hdfs://"，"s3://"，"s3n://"，"glusterfs:///" |
| tachyon.test.mode |
是否启用测试模式，默认为false |
| tachyon.master.retry |
连接重试次数，默认为29 |
1.3 TachyonMaster配置
| 配置项 |
配置项说明 |
| tachyon.master.worker.timeout.ms |
TachyonMaster和TachyonWorker心跳包失效时长，默认为60000ms |
| tachyon.master.journal.folder |
TachyonMaster的journal日志存放路径，默认为$TACHYON_HOME/journal/ |
| tachyon.master.hostname |
TachyonMaster的主机名 |
| tachyon.master.port |
TachyonMaster的远程调用通讯端口，默认为19998 |
| tachyon.master.web.port |
TachyonMaster的WebUI端口，默认为19999 |
| tachyon.master.web.threads |
TachyonMaster的WebUI线程数，默认为9 |
| tachyon.master.whitelist |
可缓存的路径前缀列表，列表以逗号隔开，表示该路径下的文件能够被缓存至内存，默认为/，即根目录 |
| tachyon.master.temporary.folder |
TachyonMaster的临时文件夹，默认为/tmp |
| tachyon.master.heartbeat.interval.ms |
TachyonMaster心跳包间隔时间，默认为1000ms |
| tachyon.master.selector.threads |
TachyonMaster的thrift监听线程数，默认为3 |
| tachyon.master.queue.size.per.selector |
TachyonMaster的thrift消息队列长度，默认为3000 |
| tachyon.master.server.threads |
TachyonMaster节点的thrift服务线程数，默认为CPU核数的2倍 |
| tachyon.master.pinlist |
常驻内存的文件列表，以逗号隔开，表示该路径下的文件不会从内存中剔除，默认为null |
1.4 TachyonWorker配置
| 配置项 |
配置项说明 |
| tachyon.worker.data.folder |
TachyonWorker在RamFS中的工作路径，默认为$TACHYON_RAM_FOLDER/tachyonworker/ |
| tachyon.work.port |
TachyonWorker的远程调用通讯端口，默认为29998 |
| tachyon.worker.data.port |
TachyonWorker的数据传输服务的端口，默认为29999 |
| tachyon.worker.memory.size |
TachyonWorker所使用的RamFS大小，默认为$TACHYON_WORKER_MEMORY_SIZE |
| tachyon.worker.heartbeat.timeout.ms |
TachyonWorker心跳包失效的时长，默认为10000ms |
| tachyon.worker.to.master.heartbeat.interval.ms |
TachyonWorker向TachyonMaster发送心跳包的时间间隔，默认为1000ms |
| tachyon.worker.selector.threads |
TachyonWorker的thrift监听线程数，默认为3 |
| tachyon.worker.queue.size.per.selector |
TachyonWorker的thrift消息队列长度，默认为3000 |
| tachyon.worker.server.threads |
TachyonWorker的thrift服务线程数，默认为CPU核数 |
| tachyon.worker.user.timeout.ms |
TachyonWorker和用户之间心跳包失效时长，默认为10000ms |
| tachyon.worker.checkpoint.threads |
TachyonWorker的checkpoint线程数，默认为1 |
| tachyon.worker.per.thread.checkpoint.cap.mb.sec |
TachyonWorker的checkpoint的速度，默认为1000MB/s |
| tachyon.worker.network.type |
TachyonWorker在传输文件数据时使用的传输方式，默认为NETTY，可选为NIO或NETTY |
1.5 用户配置
| 配置项 |
配置项说明 |
| tachyon.user.failed.space.request.limits |
用户向文件系统请求空间失败时的最大重试次数,默认为3 |
| tachyon.user.quota.unit.bytes |
客用户一次向TachyonWorker请求的最少字节数，默认为8388608，即8MB |
| tachyon.user.file.buffer.byte |
用户读写文件时的缓存区大小，默认为1048576，即1MB |
| tachyon.user.default.block.size.byte |
用户创建文件时的默认块大小，默认为1073741824，即1GB |
| tachyon.user.remote.read.buffer.size.byte |
用户读远程文件时的缓冲区大小，默认为1048576，即1MB |
| tachyon.user.heartbeat.interval.ms |
用户心跳包时间间隔，默认为1000ms |
| tachyon.user.file.writetype.default |
用户在使用tachyon.hadoop.TFS时的默认写类型，默认为CACHE_THROUGH
|
本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6786316.html，如需转载请自行联系原作者
