DKhadoop大数据平台基础框架方案概述
大数据作为当下最为热门的事件之一,其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据,那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源,已经是越来越得到国家和企业的高度重视,我们从大数据被上升到国家战略层面就可窥见一二!
现在关于大数据的知识分享可以说已经是铺天盖地了,作为新手入门想查询的信息基本都可以通过网络查询到一些。我对的大数据的了解其实也不是特别丰富,毕竟学习的时间也不是特别长。仅以我熟悉的DKhadoop为例给大家分享一些小知识,往对初学者有点小帮助就可以了。
大数据平台基础框架是很多初学者必然要掌握的内容,大数据太过抽象,有时候写分享的时候难免感觉写的很多困难。还是通过具体的案例来写会比较好理解。关于大数据平台基础框架我还是用自己熟悉的DKhadoop为例。
在此之前还是对DKhadoop做一个简单的说明:DKhadoop大快大数据平台,由大快开发的为了打通大数据生态系统与传统非大数据公司之间的通道而设计的一站式搜索引擎级大数据通用计算平台。对于有大量数据需要处理的传统型企业而言,通过DKhadoop这样的大数据处理平台可以很轻松的跨越大数据技术鸿沟,实现搜索引擎级的大数据平台性能。既然有如此大的优势,那么样的大数据平台的基础框架又是如何的呢?
我们先来看一张图片:这张图是DKH标准平台技术架构图
DKhadoop大数据平台基础框架设计方案概述:
1ã 如果你对原生hadoop较为熟悉的,你就会发现dkhadoop是集成了整个hadoop生态系统的全部组建,当然不仅仅是集成这么简单,而是做了深度的优化,重新编写成的一个完整的更高性能的大数据通过计算平台。这一点跟其他国产发行本大数据平台还是有着非常的区别的,DKH是做的原生态开发,其他的国产发行版仅仅是简单的二次开发。
2ã DKhadoop通过中间件技术,将复杂的大数据集群配置简化至三种节点(主节点、管理节点、计算节点),很大程度上简化了集群的管理运维,增强了集群的高可用性、高可维护性、高稳定性。(数据中间件是大快DKH数据交换层的核心)
3、DKH在原生态的基础上开发,并且保持了开源系统的全部优点,与开源系统100%兼容。这样,那些基于开源平台开发的大数据应用就不要经过任何改动,就可以在DKH上高效运行了。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
DataWorks V2使用PyUdf
在DataWorks上新建一个Python资源,命名为 test_udf.py 编辑pyudf的脚本代码,实现方法请参考Python实现MaxCompute UDF # -*- coding:utf-8 -*- from odps.udf import annotate #函数签名,SQL执行前所有函数的参数类型和返回值类型必须确定; @annotate("string->string")#参数为string,返回值为string; class Upper2Lower(object): def evaluate(self, arg):#实现 evaluate 方法; return arg.lower() 保存,并上传资源。 新建函数 Upper2lower2 注册函数 python资源输入类名的时候,不需要加上py后
-
下一篇
python七天快速开发优惠券搜索引擎项目实战(第一天)
python七天快速开发优惠券搜索引擎项目实战(第一天) 第一天 基本介绍 1.1 项目演示 项目演示网址:http://www.tbquan.cn (淘宝券-淘宝优惠券搜索引擎,天猫优惠券搜索引擎,淘宝天猫全网内部优惠券,付款前搜一搜,更实惠!) 网站截图 佣金截图 1.2 适合人群 1) 本项目适合0编程基础,有编程基础无项目经验,想学习python开发搜索引擎的同学学习、练习。 1.3 涉及知识介绍 涉及的知识包括:HTML、Python、Flask、Elasticsearch、Redis(虽然这个项目看起来有点行,但是别把她想的太难,核心的后台代码使用python实现的,总共不超过500行!你想都想不到!) 1.4 整体开发流程 a、前端页面(现成的【节约时间】) ——> b、python操作es和redis ——> c、获取优惠券数据 ——> d、在服务器部署(centos6.5+nginx) 【实话来说:简直不能太简单】 1.5 教程目标 目标:熟练python基础知识、学会python操作es和redis、学会分布式爬虫 1.6 未来计划 未来计划:加入...
相关文章
文章评论
共有0条评论来说两句吧...