陈冠诚：Hadoop系统的软硬件协同优化-低调大师

陈冠诚：Hadoop系统的软硬件协同优化

2017-08-31 656

文章讲的是 陈冠诚：Hadoop系统的软硬件协同优化， 2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013 Hadoop中国技术峰会（China Hadoop Summit 2013）于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者，以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举。

▲IT168专题报道：http://www.it168.com/redian/Hadoop2013/

　　Hadoop中国技术峰会由China Hadoop Summit专家委员会主办，由IT168、ITPUB、ChinaUnix协办，渠达传媒负责承办。本届大会将秉承“效能、应用、创新”为主题，旨在通过开放、广泛的分享和交流，着力于促进中国企业用户提高应用Hadoop的能力和水平，降低Hadoop技术应用门槛和投资预算门槛，推广大数据的应用价值。笔者目前所在的是主题论坛一：架构与实践，下面为大家带来主题演讲的是IBM中国研究院研究员陈冠诚，他演讲的题目是《Hadoop系统的软硬件协同优化》。以下为陈冠诚的演讲实录。

▲IBM中国研究院研究员陈冠诚

　　Hadoop软件在IBM服务器上的优化

　　首先分享一下为什么要做软硬件协同一起优化？第一部分硬件体系结构优化。我们IBM研究院是一般大公司目标来说和产品的发布不直接的关联的。它的目标是做新技术的预研，如果你技术确实够好，会提供到IBM里去。我们小组作Hadoop新技术研发过程中发表一些论文，公开资料分享一些设计思想。有些东西可能进入到IBM中去。

　　在我个人理解中，一个IT解决方案一般经历三个发展阶段，第一个要Work,能够跑起来。确实不少人采用以后，说不能跑的更快一点？原来的太慢了，想办法把性能优化一下。把运营成本降低，就是你的竞争优势。对企业来讲，你开源节流，两条盈利路线，我粗浅的认为这样。大数据的平台能够跑的足够快，尽可能压榨采购硬件的潜力。

　　到底针对什么样的人群做性能的优化？大部分来讲，处理是GB量的，不是所有的公司都像互联网公司一样，需要处理所谓TB级别，PB级别，几千台机器的规模，不是所有人都适用的。你各种各样行业的客户或者大学，到底日常处理多少量的数据量做你的大数据分析的平台？这是我们需要针对的优化的场景。

　　如果说不是每个人都处理GB级的级别，可能若干TB就是你的所有的数据了，在这样的平台怎么做系统的优化，这是我们首先给自己设定的权限的范围内。你会强调怎么样在这个环境下把你的性能尽可能压榨出来，这是你想要关注的问题。

作者:陶然

来源：IT168

原文链接：陈冠诚：Hadoop系统的软硬件协同优化

微信关注我们

原文链接：https://yq.aliyun.com/articles/221216

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

SDN最大挑战非技术因素

据“SDN产业发展白皮书(2014年)”判断，2015年SDN将开始规模商用部署，2016年至2020年将逐步开始广泛商用。作为领域内的一次重大变革，SDN改变的绝不仅仅是网络，电信运营商的运营模式/架构、组织甚至内部体制都会受到冲击。从某种意义上讲，SDN面临的最大挑战正是这些非技术因素。运营商对现有网络的管理是分层的，集团、省公司、本地网各司其职。同时，网络也是分地域的，每个省各有各的地盘、各有各的想法。而未来SDN网络将实现集中、跨层、跨域的控制，这与现有的网络分层、分域的管理模式截然相反。但不做调整，SDN恐难以真正落地、成长。从长远来看，无论是满足“互联网化”的要求，还是适应SDN的发展，这种传统的“三级架构”运营模式都到了不得不改的地步。在运营商内部，网络建设和维护各成体系，并且按照专业技术来设置，如无线部门负责移动网，传输部门负责传送网。市场、客户部门和网络建设、维护部门的界限也很分明。但在SDN技术架构下，网络专业间的界限被淡化(如IP和光的融合)，网络建设、维护和使用也呈一体化趋势，特别是由于软件控制，使网络资源与业务应用的协同与灵活配置成为可能。业务的快速部...

2017-09-01

547

智能设备不断涌入市场，其增长前景令人惊叹。据研究公司预测，截至2020年，连接物联网(IoT)的设备数量将多达 2,120 亿台。网络架构师和管理员需要共同面对的日益严峻的问题是：我们如何才能有效管理即将袭来的数据海啸? 移动智能时代已经到来移动智能几乎改变了一切，但真正让瓶中之魔重获自由的，是 Wi-Fi® 和 Bluetooth® Smart等无线连接技术的发展。如今，智能手机、笔记本电脑、平板电脑以及其他移动设备提供的数据处理能力足以运行数不胜数的智能设备。其实，技术就在我们身边，甚至已经进入了我们的体内。可穿戴式设备的技术正如燎原之火般蓬勃发展，如智能手表和智能手环，不仅能够有益于健康，还可以帮助用户达成健身目标。同时，医疗卫生技术也在不断进步，如微型植入装置，它能够感知即将发作的心脏病，并可以通过向智能手机报警的方式来寻求救助。而对于可以进行监测、读表、感知、跟踪、报告和报警的智能产品来说，家居环境则是其另一个热点市场。因此，无论是通过众筹集资的创业型企业还是财富 500 强企业，智能设备所带来的机会无处不在。无可避免的网络重压当数十亿的设备在不断生成和消耗快速且高...

2017-09-01

508

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。