大数据技术的4个E
大数据的4个V说法在业界已经尽人皆知,这是指的大数据本身的特征。现在我们来考察一下用于处理大数据的技术应该具有的特性。为方便记忆,类似4个V,我们把这些特性总结成4个E,用户在选择大数据技术解决方案时可作为参考。
1. Easy 大数据技术要足够简单易用
这个E很容易理解。
要进行大数据处理的场景很多,涉及工作人员也是各种各样的。如果技术的难度太大,那会导致只有少数人能应用,而且实施复杂度较高,这样大数据的应用就会大打折扣了。
大数据领域这种例子并不少,Hadoop刚出来时只有MapReduce,相对于完全用Java硬写,MapReduce已经简单了很多,所以会积累出一批拥趸。但MapReduce的难度仍然不小,所以逐步被后来封装出来的HIVE SQL替代。Spark上的Scala也风靡过一阵,但难度仍然不少,目前也逐步归于平静,更多的人还是愿意使用更简单的Spark SQL。
2. Elastic 大数据技术要具有弹性扩展能力
这个E也容易理解。
很多情况下,大数据并不是一下子就很大,而是逐步变大的。即使已经较大的数据,也还会进一步变得更大。因此要求大数据处理技术有一定的弹性扩展能力就是很自然的事情,这一点一般都不会被大数据技术提供商忽略掉。
当然,任何技术都有局限性,面向一般规模和面向超大规模的技术相差是很大的,不大可能有一种技术能够有效适应数据规模从0到无穷大的各个阶段(所谓有效适应是在各个阶段该技术都能达到相当优良的性能,而不只是可以处理),用户在选择技术时还要对自己的数据规模变化范围有一个预估。
3. Embeddable 大数据技术应可以被嵌入集成
这个E需要特别指出,常常不被重视。
大数据处理经常并不是一件独立的事情,它需要和具体的应用配合工作才能发挥其业务价值,这些处理常常在应用执行到某个环节时就需要进行,这样就要求相应的技术能够被方便地嵌入集成到应用程序中,随时随地被主程序调用。
特别地,大部分应用程序建立在J2EE架构上,因而对Java应用的可集成性就是个特别重要的指标。一般基于Java或SQL体系的大数据技术在集成方面都没太大问题,而其它技术体系的就难说了。而且,大多数大数据技术常常需要独立部署,即使其计算能力可以被集成,但必须依赖于外部的独立进程,不能被应用完全控制,有时会显得非常累赘。
4. Environment-friendly 大数据技术对数据环境要求尽量低
这个E是很多大数据技术不具有但却很重要的。
目前的大数据技术,如Hadoop和MPP等,都要求先把数据放进该技术规定的某种存储体系中。这样当然有意义,数据事先组织之后会获得更高的性能。但是,经常的情况是,我们需要处理的大数据事先并不在这些存储体系中,而且把外部数据搬进这些存储体系本身也是一种大数据处理,这些场景下都无法利用这些大数据技术了。
更好的大数据技术应当能不挑数据源,随便什么来源的数据都可以处理,只是有可能因为数据源的限制而一定程度地降低性能,但并不要求必须先做好ETL才能处理。
其实最后那个特性用E并不是很贴切,但为了凑4个E就对付了。这个词本来是环保的意思,开放的大数据技术可以少复制一些数据,少部署一些硬件,省点电,也算环保吧。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Python基础 ——简介、变量及类型
一.Python简介 1.Python的诞生 Python是目前世界上最流行的变成语言之一,由荷兰人Guido von Rossum(吉多·范·罗苏姆,中国Python程序员都叫他 龟叔)于制作。1991年,第一个Python编译器诞生。 2.Python编译器 Python目前有很多编译器,常用的有CPython(官方版本的C语言实现)、Jython(可以运行在Java平台)、IronPython(可以运行在.Net和Mono平台)、Pypy(Python实现的,支持JIT即时编译)。 3.Python版本 Python目前有两个版本,Python2和Python3,最新版本为Python2.7.13和3.6.2。 4.Python优缺点 优点:简单、易学、免费、开源、高层语言、可移植性高、解释型语言、面对对象、可扩展性强、丰富的库、规范的代码缺点:Python语言非常完善,几乎没有明显的短板和缺点,唯一的不足就是执行效率慢(这是解释型语言的通病),随着计算机性能的逐步提高,这个缺点也会逐渐不那么明显。 5.Python主要应用场景 (1)Web应用开发 (2)操作系统管理、服务器运...
- 下一篇
APPARENT DEADLOCK!!! - C3P0连接池DeadLock机制分析
1 问题 近期,刚上线不久的生产系统的数据库连接池 C3P0 (版本为0.9.5.2)突然报出 APPARENT DEADLOCK!!! 错误。 1.1 错误日志 错误日志如下。 com.mchange.v2.async.ThreadPoolAsynchronousRunner$DeadlockDetector@7cf60134 -- APPARENT DEADLOCK!!! Creating emergency threads for unassigned pending tasks! com.mchange.v2.async.ThreadPoolAsynchronousRunner$DeadlockDetector@7cf60134 -- APPARENT DEADLOCK!!! Complete Status: Managed Threads: 3 Active Threads: 3 Active Tasks: com.mchange.v2.resourcepool.BasicResourcePool$AsyncTestIdleResourceTask@3ce7f8aa on t...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS关闭SELinux安全模块
- Red5直播服务器,属于Java语言的直播服务器
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS8安装Docker,最新的服务器搭配容器使用
- CentOS7,CentOS8安装Elasticsearch6.8.6