首页 文章 精选 留言 我的

精选列表

搜索[系统工具],共10000篇文章
优秀的个人博客,低调大师

ECS 备份数据到NAS(一):使用Windows Server Backup工具

使用阿里云NAS文件存储服务,用户可以非常方便地实现计算和存储分离的架构设计,即将计算任务以及内存态数据保留在ECS上,而将需要持久化的数据保存到NAS上,这样当发生ECS宕机的情况时,用户业务可以快速切换到其他ECS上,并且在新的ECS上可以无缝地持续访问原来保存在NAS上的数据。可以说,NAS是多ECS共享数据以及实现计算存储分离的利器。 除了以上这一最典型的使用场景,很多用户的场景下虽然没有强烈的数据共享需求,但希望可以把ECS上的数据定期或者不定期地同步到云盘之外的存储,目的主要有两个:1. 保留历史数据;2. 当发生灾难性事件(比如误删除ECS及云盘)时的数据恢复。在这个数据备份的场景中,NAS也可以发挥重要作用,帮助用户保存重要数据。相比云盘的基于整盘的快照来保存历史数据,当备份历史数据到NAS时可以有更加灵活的选择,

优秀的个人博客,低调大师

运维人员的强大工具

sparkhistory Server产生背景 以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息;但该WEBUI随着Application的完成(成功/失败)而关闭,也就是说,Spark Application运行完(成功/失败)后,将无法查看Application的历史记录; Spark history Server就是为了应对这种情况而产生的,通过配置可以在Application执行的过程中记录下了日志事件信息,那么在Application执行结束后,WEBUI就能重新渲染生成UI界面展现出该Application在执行过程中的运行时信息; Spark运行在yarn或者mesos之上,通过spark的history server仍然可以重构出一个已经完成的Application的运行时参数信息(假如Application运行的事件日志信息已经记录下来); sparkhistory Server的配置 1. 在Spark的conf目录下/usr/local/spark-1.6.0-bin-hadoop2.6/conf,将spark-defaults.conf.template改名为spark-defaults.conf mv spark-defaults.conf.template spark-defaults.conf spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6$ ls bin data examples licenses NOTICE README.md work CHANGES.txt derby.log lib logs python RELEASE conf ec2 LICENSE metastore_db R sbin spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6$ cd conf/ spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6/conf$ ls docker.properties.template metrics.properties.template spark-env.sh fairscheduler.xml.template slaves log4j.properties.template spark-defaults.conf.template spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6/conf$mv spark-defaults.conf.template spark-defaults.conf spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6/conf$ ls docker.properties.template metrics.properties.template spark-env.sh fairscheduler.xml.template slaves log4j.properties.template spark-defaults.conf spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6/conf$ 2. 对spark-defaults.conf 配置 spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6/conf$vim spark-defaults.conf spark.eventLog.enabled true spark.eventLog.dir hdfs://SparkSingleNode:9000/historyserverforSpark spark.history.ui.port 18080 spark.history.fs.logDirectory hdfs://SparkSingleNode:9000/historyserverforSpark 3.启动history-server spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6/conf$ cd .. spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6$sbin/start-history-server.sh starting org.apache.spark.deploy.history.HistoryServer, logging to /usr/local/spark/spark-1.5.2-bin-hadoop2.6/sbin/../logs/spark-spark-org.apache.spark.deploy.history.HistoryServer-1-SparkSingleNode.out failed to launch org.apache.spark.deploy.history.HistoryServer: full log in /usr/local/spark/spark-1.5.2-bin-hadoop2.6/sbin/../logs/spark-spark-org.apache.spark.deploy.history.HistoryServer-1-SparkSingleNode.out spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6$ jps 6816 Jps 3876 Worker 6772 HistoryServer 3174 NameNode 5990 CoarseGrainedExecutorBackend 3703 Master 3453 SecondaryNameNode 3293 DataNode 5887 SparkSubmit spark@SparkSingleNode:/usr/local/spark/spark-1.5.2-bin-hadoop2.6$ 4、spark-env.sh 5.在web浏览器中查看http://SparkSingleNode:18080/显示页面 1.6.0 History Server Event log directory: hdfs://Master:9000/historyserverforSpark 成功! 本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5922165.html,如需转载请自行联系原作者

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册