浅谈大规模Hadoop集群自动化部署与运维-低调大师

浅谈大规模Hadoop集群自动化部署与运维

2017-08-31 674

文章讲的是 浅谈大规模Hadoop集群自动化部署与运维， 2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013 Hadoop中国技术峰会（China Hadoop Summit 2013）于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者，以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举。

▲IT168专题报道：http://www.it168.com/redian/Hadoop2013/

　　Hadoop中国技术峰会由China Hadoop Summit专家委员会主办，由IT168、ITPUB、ChinaUnix协办，渠达传媒负责承办。本届大会将秉承“效能、应用、创新”为主题，旨在通过开放、广泛的分享和交流，着力于促进中国企业用户提高应用Hadoop的能力和水平，降低Hadoop技术应用门槛和投资预算门槛，推广大数据的应用价值。笔者目前所在的是主题论坛一：架构与实践，下面为大家带来主题演讲的是北京数衡科技技术总监、EasyHadoop软件和PhpHiveAdmin作者及暴风影音开发经理向磊，他演讲的题目是《浅谈大规模Hadoop集群的自动化部署与运维》。以下为向磊的演讲实录。

▲北京数衡科技技术总监、EasyHadoop软件和PhpHiveAdmin作者及暴风影音开发经理向磊

　　Hadoop的部署是个麻烦事

　　Hadoop的落地问题。就像我开篇第一个讲的，大数据很多企业都谈论这个事，真正应用落地的，目前为止，我知道的可能有实际运营能力的，都是集中在互联网企业里。其他的企业如果想用到大数据的技术，其实是比较难的。因为不光是它部署起来很麻烦，还有后期运营的维护的问题。实际上分布式集群最难的地方是在后期的维护上面，去年参加阿里云大赛时候，听淘宝人讲，他们有很大集群的规模，当你的服务器集群数量达到五千台以上时候，每天硬盘的运行率大概是99.6%以上，所以不光是要求对Hadoop了解，同时还要求对网络知识。他们说，Hadoop的运维是非常复杂的事，安装并不是很复杂的事，使用和维护才是真正的难题。所以我们想办法解决自动化运维的事。

　　Hadoop的整个的生态系统，并不是所见即所得的东西。基本上大多数的软件都是运行在命令行的状态下的。所以对于很多用户来说，他们无法去使用，即使是我们自己内部，互联网公司内部的人来说，让他们在命令行里打东西，比如搞产品，搞运营的人，让他们这样做是不太现实的事，所以这是Hadoop整个生态系统使用上的问题。

　　已应用的开发，数据应用，数据分析和数据挖掘开发，既要熟悉本公司的业务，同时还要熟悉Hadoop,这是比较复杂的事了。这是Hadoop在真正落地上，我认为几个关键的点。跟一些企业的负责人私下里说的话，企业真正考虑的不是说，可能大型企业考虑更多的不是说这个东西有没有用，而是出了问题以后谁来“背黑锅”。

作者:陶然

来源：IT168

原文链接：浅谈大规模Hadoop集群自动化部署与运维

微信关注我们

原文链接：https://yq.aliyun.com/articles/221221

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

从0到1：如何迈好深度学习第一步？

文章讲的是从0到1：如何迈好深度学习第一步，深度学习是什么? Nvidia首席执行官Jen-Hsun Huang认为，深度学习本质上就是用软件编写软件。本文不会将深度学习与人类大脑进行对比，因为已经有太多文章可以给我们一个比较清晰的概念。本文的重点在于如何使用深度学习算法创建模型，尝试了解深度学习如何帮助人类解决计算机科学和早期人工智能的一些主要问题，这之中还将包括深度学习的优势和应用，创建深度学习模式时经常会遇到问题解答等。毫无疑问，深度学习现在是趋势，其应用是巨大的，它是机器学习最令人兴奋的分支之一。随着深度学习的发展，受益最大的是图像、语音和视频识别领域的研究人员和实践者，他们看到了一些可行的解决方案。同时，深度学习也可以在物联网(IoT)领域发挥重要作用。对企业而言，深度学习已经在客户服务流程化、协助人力密集型工作自动化方面发挥了重要作用。你可能也遇到了深度学习的机器人，试图回答产品查询或订单方面的问题，包括苹果的Siri和微软的Cortana。在医药和保健领域，也不乏深度学习的身影。如果你发现计算机可以通过阅读X射线和MRI扫描结果开始诊断疾病，请不要惊讶。我相信，...

2017-09-01

637

此次红帽中间件漏洞涉及CVE-2016-3674、CVE-2016-7041、CVE-2016-8608，这些漏洞的组合使用将可能导致攻击者可以读取服务器文件，并注入恶意脚本。绿盟科技发布《红帽JBoss BRMS及JBoss BPM Suite多个漏洞安全威胁通告》。通告全文如下： 2016年11月28日，红帽官方对JBoss BRMS 6 和JBoss BPM Suite 6进行了版本更新。在新版本中修复了三个漏洞，描述见下表：漏洞编号及漏洞概述 CNNVD-201603-404（CVE-2016-3674） XStream类库的XML解析器在默认设置下会扩展实体引用，未经认证的远程攻击者可以利用该漏洞读取服务器上的文件或进行其他可能的XXE类型的攻击。 CVE-2016-7041 该漏洞允许经过认证的远程攻击者进行目录遍历并获取受

2017-09-01

566

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。