首页 文章 精选 留言 我的

精选列表

搜索[安装],共10023篇文章
优秀的个人博客,低调大师

Alluxio HA 安装

Alluxio is a memory speed virtual distributed storage system.Alluxio是一个开源的基于内存的分布式存储系统,现在成为开源社区中成长最快的大数据开源项目之一。 alluxio下载地址https://www.alluxio.org/download 考虑系统的可用性,对Alluxio Master做HA,具体步骤如下: -1. 在alluxio-env.sh 中添加zookeeper的信息,并附上hdfs的路径。如果是单机的alluxio master,就不需要hdfs作为alluxio的存储。但是对于Master HA的模式,就需要共享文件路径来存放文件,就选择hdfs作为master的信息存储 cat alluxio-env.sh JAVA_HOME=/usr/local/jvm/jdk1.7.0_75 ALLUXIO_HOME=/data1/alluxio-1.4.0 ALLUXIO_RAM_FOLDER=/data1/alluxio-1.4.0/ramdisk ALLUXIO_UNDERFS_ADDRESS=/data1/alluxio-data ALLUXIO_WORKER_MEMORY_SIZE=1000MB ALLUXIO_JAVA_OPTS="-Dalluxio.zookeeper.enabled=true -Dalluxio.zookeeper.address=192.168.101.72:2181,192.168.101.73:2181,192.168.101.74:2181 -Dalluxio.master.journal.folder=hdfs://liangbeta/user/hadoop/alluxio/journal" -2. 在alluxio-site.properties 中也添加zookeeper的信息,并附上hdfs的路径 # cat alluxio-site.properties alluxio.worker.tieredstore.levels=2 alluxio.worker.tieredstore.level0.alias=MEM alluxio.worker.tieredstore.level0.dirs.path=/mnt/ramdisk alluxio.worker.tieredstore.level0.dirs.quota=1GB alluxio.worker.tieredstore.level0.watermark.high.ratio=0.9 alluxio.worker.tieredstore.level0.watermark.low.ratio=0.7 alluxio.worker.tieredstore.level1.alias=HDD alluxio.worker.tieredstore.level1.dirs.path=/data1/alluxio-data alluxio.worker.tieredstore.level1.dirs.quota=500GB alluxio.worker.tieredstore.level1.watermark.high.ratio=0.9 alluxio.worker.tieredstore.level1.watermark.low.ratio=0.7 ~HA相关设置~ alluxio.zookeeper.enabled=true alluxio.zookeeper.address=192.168.101.72:2181,192.168.101.73:2181,192.168.101.74:2181 alluxio.master.journal.folder=hdfs://liangbeta/user/hadoop/alluxio/journal alluxio.worker.block.heartbeat.timeout.ms=300000 ~~~ -3. 配置文件中,涉及到hdfs的目录,需要创建一下 su - hdfs hdfs dfs -mkdir -p /user/hadoop/alluxio/journal hdfs dfs -chown alluxio:hadoop /user/hadoop/alluxio hdfs://liangbeta/user/hadoop/alluxio/journal -4. 设置一下/etc/profile export JAVA_HOME=/usr/local/jvm/jdk1.7.0_75 export HADOOP_HOME=/usr/local/hadoop/hadoop-release export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-release/etc/hadoop export ALLUXIO_HOME=/data1/alluxio-1.4.0 export PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$ALLUXIO_HOME/bin:$PATH -5. 需要把hadoop的 core-site.xml和hdfs-site.xml需要拷贝到alluxio conf下 -# ls /data1/alluxio-1.4.0/conf alluxio-env.sh alluxio-site.properties core-site.xml hdfs-site.xml log4j.properties workers -6. 对于新搭建的集群,需要对master和worker进行format才能启动服务。 格式化master Format Master alluxio format 格式化worker Format Worker alluxio formatWorker -7. 给Worker机器加上起Worker服务的用户的免密sudo权限, 不然在启动worker的时候需要输入alluxio的密码 在/etc/sudoers中添加如下内容 <user_name> ALL=(ALL) NOPASSWD: ALL 实际设置如下: alluxio ALL=(ALL) NOPASSWD: ALL -8. 这里要特别强调,由于安全需求,大数据环境,都是通过kerberos进行认证的,需要在KDC上创建alluxio用户,并生成keytab,拷贝到alluxio服务器上,创建定时任务,进行kinit $ id uid=1100(alluxio) gid=1091(hadoop) groups=1091(hadoop) $ crontab -l 0 * * * * kinit -kt /etc/security/keytab/alluxio.keytab alluxio $ klist Ticket cache: FILE:/tmp/krb5cc_1100 Default principal: alluxio@LIANG.COM Valid starting Expires Service principal 12/26/17 18:00:01 12/27/17 18:00:01 krbtgt/LIANG.COM@LIANG.COM renew until 12/26/17 18:00:01 -9. 启动Mastersh alluxio-start.sh master -10. 启动Workersh alluxio-start.sh worker -11. 启动关闭Proxy Alluxio proxy进程可以向外提供REST接口,可以在master节点和worker节点上启动。 目前我们在master节点和worker节点上都启动了proxy进程。sh alluxio-start.sh proxy -12. 启动之后,可以通过网页查询 -13. worker信息页面 -14. 创建的目录,在Browse页,可以看到 -15. 创建一个/user/test目录 $ alluxio fs mkdir /user/test Successfully created directory /user/test -16. Alluxio命令汇总 启动关闭Master sh alluxio-start.sh master sh alluxio-stop.sh master 启动关闭Worker sh alluxio-start.sh worker sh alluxio-stop.sh worker 启动关闭Proxy sh alluxio-start.sh proxy sh alluxio-stop.sh proxy -17. 新建目录及授权方法 检查启动alluxio的用户 ps -ef|grep alluxio 切换到用户su - alluxio 创建用户alluxio fs mkdir &lt;path&gt; 为用户赋权alluxio fs chown &lt;user&gt; &lt;path&gt; 本文转自 hsbxxl 51CTO博客,原文链接:http://blog.51cto.com/hsbxxl/2054858,如需转载请自行联系原作者

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册