DKhadoop大数据平台基础框架的简单介绍
DKhadoop大数据平台基础框架的简单介绍
大数据作为当下最为热门的事件之一,其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据,那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源,已经是越来越得到国家和企业的高度重视,我们从大数据被上升到国家战略层面就可窥见一二!
现在关于大数据的知识分享可以说已经是铺天盖地了,作为新手入门想查询的信息基本都可以通过网络查询到一些。我对的大数据的了解其实也不是特别丰富,毕竟学习的时间也不是特别长。仅以我熟悉的DKhadoop为例给大家分享一些小知识,往对初学者有点小帮助就可以了。
大数据平台基础框架是很多初学者必然要掌握的内容,大数据太过抽象,有时候写分享的时候难免感觉写的很多困难。还是通过具体的案例来写会比较好理解。关于大数据平台基础框架我还是用自己熟悉的DKhadoop为例。
在此之前还是对DKhadoop做一个简单的说明:DKhadoop大快大数据平台,由大快搜索开发的为了打通大数据生态系统与传统非大数据公司之间的通道而设计的一站式搜索引擎级大数据通用计算平台(写的这么专业,肯定是我从大快宣传册上搬运过来的啦)。对于有大量数据需要处理的传统型企业而言,通过DKhadoop这样的大数据处理平台可以很轻松的跨越大数据技术鸿沟,实现搜索引擎级的大数据平台性能。既然有如此大的优势,那么样的大数据平台的基础框架又是如何的呢?
我们先来看一张图片:这张图是DKH标准平台技术架构图
DKhadoop大数据平台基础框架设计方案概述:
1、如果你对原生hadoop较为熟悉的,你就会发现dkhadoop是集成了整个hadoop生态系统的全部组建,当然不仅仅是集成这么简单,而是做了深度的优化,重新编写成的一个完整的更高性能的大数据通过计算平台。这一点跟其他国产发行本大数据平台还是有着非常的区别的,DKH是做的原生态开发,其他的国产发行版仅仅是简单的二次开发。
2、DKhadoop通过中间件技术,将复杂的大数据集群配置简化至三种节点(主节点、管理节点、计算节点),很大程度上简化了集群的管理运维,增强了集群的高可用性、高可维护性、高稳定性。(数据中间件是大快DKH数据交换层的核心)
3、DKH在原生态的基础上开发,并且保持了开源系统的全部优点,与开源系统100%兼容。这样,那些基于开源平台开发的大数据应用就不要经过任何改动,就可以在DKH上高效运行了。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
hadoop框架结构学习详述
hadoop框架结构学习详述近年,随着互联网的发展特别是移动互联网的发展,数据的增长呈现出一种爆炸式的成长势头。单是谷歌的爬虫程序每天下载的网页超过1亿个(2000年数据,)数据的爆炸式增长直接推动了海量数据处理技术的发展。谷歌公司提出的大表、分布式文件系统和分布式计算的三大技术构架,解决了海量数据处理的问题。谷歌公司随即将设计思路开源,发表了具有划时代意义的三篇论文,很快根据谷歌设计思路的开源框架就出现了,就是如今非常火爆的hadoop、Maperduce和许多Nosql系统。这三大技术也是整个大数据技术的核心基础。目前国内的hadoop商业发行版也是比较多,这些hadoop商业版大部分都是由国外发行的,纯国产的发行版不是很多,比如DKhadoop,可以说是目前国内自主做hadoop商业版比较好的了。下面就以大快搜索DKhadoop为例来给大家介绍一下hadoop框架结构! 图示:DKhadoop技术技术架构图hadoop框架结构核心:hadoop的框架结构最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,MapReduce为海量的数据提供了计算。大数据...
- 下一篇
Coding and Paper Letter(二十六)
资源整理。 1 Coding: 1.开源项目PyModisAtm,使用Python下载Modis大气数据的例程。 PyModisAtm 2.Python库rastercube,用于在Hadoop文件系统(HDFS)上存储大型地理栅格数据集。 最初的用例是存储并快速访问整个星球上任何像素的MODIS NDVI时间序列。 此外,rastercube提供了使用Spark处理数据的工具。 rastercube 3.Python库modisSuite,可以从NSIDC和USGS服务器批量下载Modis卫星图像。 它兼容python 2和python 3。 Modis python suite 4.Python库pymasker,从Landsat和MODIS土地产品QA波段生成掩膜。 pymasker 5.大气和海洋科学家的Python(和git)课程。 python aos lesson 6.Python库georasters,提供了一个快速灵活的工具来处理GIS栅格文件。 georasters 7.Openeo的Python客户端API。 openeo python client 8.R语言包...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS关闭SELinux安全模块
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS7设置SWAP分区,小内存服务器的救世主