首页 文章 精选 留言 我的

精选列表

搜索[手动]，共10002篇文章
优秀的个人博客,低调大师

记录ALiYun EMR常用服务的手动启动和停止命令(hdfs/yarn/mr-jobhistory/zk/spark-history)

说明：在ssh,用root用户登录到header(master)机器上,手工执行以下命令进行业务调试。 常用命令： 1. env (忘记是大写ENV,还是小写env,来查看环境变量) 2. cat /etc/hosts (查看EMR集群机器的hostname ip配置) 3. 在header机器上，切换到hadoop用户后，可以 ssh@emr-worker-1 直接登录到worker-1机器上，因为集群的机器，hadoop用户已经配置互相信任关系。 启动： ###start zk su hadoop -c "/usr/lib/zookeeper-current/bin/zkServer.sh start" for i in `seq 1 2`; do su hadoop -c "ssh emr-worker-${i} /usr/lib/zookeeper-current/bin/zkServer.sh start"; done ###start hdfs su hdfs -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh start namenode" su hdfs -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh start secondarynamenode" for i in `seq 1 2`; do su hdfs -c "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/hadoop-daemon.sh start datanode"; done ###start yarn su hadoop -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh start resourcemanager" for i in `seq 1 2`; do su hadoop -c "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/yarn-daemon.sh start nodemanager"; done su hadoop -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh start proxyserver" ###start mapreduce historyserver su hadoop -c "/usr/lib/hadoop-current/sbin/mr-jobhistory-daemon.sh start historyserver" 停止： ###stop spark su hadoop -c "/usr/lib/spark-current/sbin/stop-history-server.sh" ###stop mapreduce historyserver su hadoop -c "/usr/lib/hadoop-current/sbin/mr-jobhistory-daemon.sh stop historyserver" ###stop yarn su hadoop -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh stop proxyserver" for i in `seq 1 2`; do su hadoop -c "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/yarn-daemon.sh stop nodemanager"; done su hadoop -c "/usr/lib/hadoop-current/sbin/yarn-daemon.sh stop resourcemanager" ###stop hdfs for i in `seq 1 2`; do su hdfs -c "ssh emr-worker-${i} /usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop datanode"; done su hdfs -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop secondarynamenode" su hdfs -c "/usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop namenode" ###stop zk su hadoop -c "/usr/lib/zookeeper-current/bin/zkServer.sh stop" for i in `seq 1 2`; do su hadoop -c "ssh emr-worker-${i} /usr/lib/zookeeper-current/bin/zkServer.sh stop"; done
2016-10-30
优秀的个人博客,低调大师

你的云还是手动挡的吗？云计算和基础设施自动化不可或缺的五大工具

云栖号：https://www.aliyun.com/#module-yedOfott8第一手的上云资讯，不同行业精选的上云企业案例库，基于众多成功案例萃取而成的最佳实践，助力您上云决策！ 现代 IT 和云基础架构的自动化已成为刚需。这种快速自动化进程的加速得益于市场上涌现了大量高效的 IT/云自动化工具。但是，IT 主管们选择云自动化工具前往往面临很多挑战，例如缺乏强大的计算功能，数据监视不一致，网络问题以及故障排除。 解决这些关键痛点需要管理基础架构的多个方面，因此没有一种工具可以完成所有这些工作。缺少适当和必要的工具则会使IT系统停机时间大增，从而对业务产生直接负面影响。根据《PagerDuty的数字化运营现状报告》，销售部门是 IT 故障最大的 “受害者”，有 40.4％ 的受访者声称销售是受影响最大的非 IT 部门。这将直接影响利润。 因此，在推动 IT 和云基础架构自动化的同时，技术主管们还要确保企业生产力维持最大化。 这意味着技术主管们在为公司选择自动化工具时，必须关注以下方面： 1.满足要求 2.系统支持 3.故障排除 4.生产率 5.预算 以下是一位有着十多年经验的软件开发公司技术顾问，尝试并测试了多种工具后，推荐的目前 IT/云基础架构自动化市场中非常有效的 5 种工具： 01.Ansible Ansible 可自动执行一系列 IT 工作任务，包括配置管理、应用程序部署、云配置等。它专注于 IT 基础架构的各个系统相互交互的方式，而不是一次管理一个组件。 您可以使用名为 Ansible Tower 的 Web 界面轻松管理 Ansible。该工具提供了一系列定价模型，用户可以从基本，标准或高级软件包中进行选择，并获得其使用功能的自定义报价。Ansible Tower 的费用每年在 $5,000 – $14,000 之间。 这是一个用户友好和非常易于管理的自动化工具。 02.Datadog Datadog 主要是针对云应用程序的监控工具。它为您的所有云应用程序，服务器和网络提供了详细的指标。它可以轻松地与其他自动化工具集成，例如 Ansible，Chef，Puppet 等。 Datadog 的定价计划包括 Synthetics、Log Management、Infrastructure 和 APM，分别为每台主机每月 5 美元、1.27 美元、15 美元和 31 美元。可以根据专业版和企业版软件包进一步定价。 Datadog 可帮助快速检测系统中的问题并对其进行故障排除。 因此，这是一个可用来管理云基础架构的相当省时且经济高效的解决方案。 03.Puppet (开源） Puppet 是一种基础架构即代码 (IaC) 工具，它使用户可以定义其基础架构的所需状态并使系统自动化以实现相同的功能。 它监控您的所有系统，并防止与定义状态的任何偏差。从简单的工作流程自动化到基础架构配置和合规性，Puppet 都能做到。开源工具是免费的，而超过 10 个节点的企业模型则需付费。公司可以根据自己的要求获得定制报价。 Puppet 是 Dell 和 Google 等公司的首选，是在保持系统一致性的同时最大化生产率的理想工具。 04.Selenmium (开源） Selenium 主要是为测试 Web 应用程序而创建的，是用于使Web浏览器自动化的强大工具。它是用于 Web 应用程序测试和管理的完美工具。公司可以使用 Selenium 创建快速的错误修复脚本以及开发自动的，渐进式的错误修复机制。 Selenium 结合了多个软件，每种软件都有不同的用途： 1.Selenium 集成开发环境 (IDE)； 2.远程控制器 (RC); Web驱动程序； 3.Selenium 网格。 Selenium 是免费的开放源代码软件，可以根据标准 Apache 2.0 许可进行赞助。 它非常易于使用和安装，并且还提供扩展支持。 05.Docker Docker 是专注于代码的持续集成和部署的工具。开发人员可以使用 Dockerfile 轻松创建和管理应用程序。 Dockerfile 在隔离的环境中启用应用程序管理，包括代码、系统文件、库和其他功能。因此，它是从事多云和混合计算的公司的首选。 用户可以从三种企业版 Docker 中进行选择，以管理 Docker 容器，每节点每年 750 美元起。 Docker 节省了大量时间和资源，同时提高了系统的生产力，并且还可以轻松地与现有系统集成。 最后，在敲定最终工具前，你还需要向你的 DevOps 团队咨询以了解最适合的方法。请记住，您应该根据需求不断评估工具，并在必要时进行升级维护。 原文发布时间：2020-01-02本文作者：aqniu本文来自阿里云云栖号合作伙伴“安全牛”，了解相关信息可以关注“安全牛” 云栖号：https://www.aliyun.com/#module-yedOfott8第一手的上云资讯，不同行业精选的上云企业案例库，基于众多成功案例萃取而成的最佳实践，助力您上云决策！
2020-01-03

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

时间: 2025-12-03 大小: 4.36MB 下载: 23次
Eclipse

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

时间: 2025-12-03 大小: 190MB 下载: 33次
JDK

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

时间: 2025-12-03 大小: 180MB 下载: 76次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
热门标签
Jdk25 Redis SpringBoot HarmonyOS NEXT SpringCloud K8s Nacos Docker 服务网格 DeepSeek ChatGPT

欢迎您！

登录后，您将获得更多功能！

热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273