首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/100927

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

如何低成本、高效率搭建Hadoop/Spark大数据处理平台

随着人们逐渐认识到 “大数据”的价值,互联网、电商到金融业、政企等各行业开始处理海量数据。如何低成本、敏捷高效地搭建大数据处理平台,成为影响大数据创新效率的关键。为了让用户以最简便地方式享用阿里云全球资源,在云端构建敏捷弹性、高可靠和高性价比的大数据平台,近日,阿里云在成都云栖大会上发布了一款Hadoop/Spark场景专用的ECS存储优化型实例D1规格族,单实例提供最高56核CPU,224GB内存,168TB本地盘容量,5GB/S总吞吐,PPS达120万+。这对Hadoop/Spark技术爱好者来说是个非常大的福音,用户可以轻松在D1上搭建大数据存储与计算分析平台,尤其是互联网、金融、电商、政企等对大数据需求旺盛的行业。据悉,在云端建设大数据平台的建设周期仅需“数分钟”,比传统模式下缩短95%以上;项目建设成本从一次性重资产投入,变为轻资产分期使用,初期建设成本降低80%以上。不妨一起来看看,相比传统的Hadoop/Spark场景解决方案,D1都有哪些优势: •按需部署和弹性灵活 传统大数据平台有几个通病:建设周期过长,扩容不便,因此一般都会适当放大大数据建设规模,造成早期资源闲置浪...

模拟MapReduce编程的程序案例(用于统计文本中单词出现频率)

本案例要实现的目标: 1、模拟修改配置,通过发指令的方式统计一个文件中出现的单词的字数。 案例代码结构如下: 在整个案例中需要有以下几类文件: A:worker服务端,用于类似Mapreduce接收jar,接收配置文件,执行业务逻辑 B:程序客户端、用于组装配置文件、发送业务执行的命令(听过socket发送jarfile、jobconf、和job2run的命令) 代码结构,每个包和代码作用介绍 cn.toto.bigdata.mymr.task TaskProcessor 核心的主体执行程序 ProcessLogic 定义客户端调用必须实现的方法,相当于WebService中的接口规范 cn.toto.bigdata.mymr.io InputFormat 封装读文件的组件(接口用途) DefaultInputFormat 封装读文件的组件的实现类 OutPutFormat 封装写文件的组件(接口用途) DefaultOutPutFormat 封装写文件的组件的实现 cn.toto.bigdata.mymr.common Constants 常量定义 Context 应用上下...

相关文章

发表评论

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Oracle

Oracle

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。