卢东明：Hadoop不能适用所有大数据场-低调大师

卢东明：Hadoop不能适用所有大数据场

2017-08-31 579

文章讲的是 卢东明：Hadoop不能适用所有大数据场， “大数据”自诞生之日起，业界对它的概念、技术和应用就存在一定争议。究竟什么是大数据?有哪些大数据技术?大数据的未来是怎样的?每个人都有自己的理解。在2013大数据产品评选活动举办之际，笔者采访了此次担任评委的几位专家学者，看看专家眼中的“大数据”是什么样的?

　　近日，在一次微访谈活动中，SAP亚太区数据库解决方案技术总监卢东明回答了笔者的提问，分享了对大数据的几点看法，笔者整理如下：

▲SAP亚太区数据库解决方案技术总监卢东明

　　小数据是结构化的

　　几天和@赵国栋TMT 一起聊大数据，我说现在最难的问题就是“定义”什么是大数据。我认为大数据目前处于发展的早期，很多观点都不错，但是我不认为能够、也不喜欢用简单的几个标签来定义“什么是“大数据” 。“大数据”中最有活力的词是“大”，但是“大”是个相对的词，各个时期，各个阶段，各个角度所谈的大是不一样的，数据量也只是大数据中的一个指标，有点行业，例如互联网，电信，很容易收集到TB级，甚至百TB级的数据，但是并不等于有些深度挖掘的公司在百GB级不可能发掘出价值。大数据的时代了解何为“小数据”也许更可以帮助大家理解到底什么是“大数据”。我认为，“小数据”是结构化的、现有的IT技术能力上已经有效、充分地掌握，并且在人们生活、工作中持续地发挥着作用的信息都可以归为小数据的范畴，而所有超出现有能力的信息类型、信息技术都属于大数据。这样定义外延的方法也许比试图给一个充分而且必要的定义要容易理解一些。

　　不要盲目跟风Hadoop

　　Hadoop是大数据技术的一个优秀代表，但是同时，它只是优秀代表中的一个，有很多技术在帮助企业拓展数据的获取、存储、使用、分析能力，在这个问题上，千万不要人云亦云，千万不要跟风。大数据的技术有很多，数据流分析技术CEP，机器学习技术Mahout，数据分析的软件R语言，列式数据库的技术Sybase IQ，SAP HANA等都是值得投入精力学习掌握的技术点。但是在这些技术点的学习中，需要多了解应用场景。Hadoop的应用在互联网公司很多，但是互联网业务数据完整性一致性要求都不是特别高，谷歌的搜索并不是真正实时的内容，也不要求严格一致，这些技术可以应付，如果生搬硬套，把Hadoop拿来支持电信、金融这样的强结构化数据的应用就不对。

　　对大数据未来的三点担忧

　　关于大数据的期待我就不多说了，大家都期望着无处不大数据，无处不分析，无处不方便。说说担忧吧：一是，大数据的发展如果没有相应的法律跟上的话，人们的隐私会受到前所未有的攻击;二是，政府的又一轮投资是必然的，但是担心政府又被忽悠了;三是，大数据分析的人才储备不足。

作者:小野

来源：IT168

原文链接：卢东明：Hadoop不能适用所有大数据场

微信关注我们

原文链接：https://yq.aliyun.com/articles/221179

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Spark与Hadoop大数据分析》——2.4　安装 Hadoop 和 Spark 集群

2.4　安装 Hadoop 和 Spark 集群在安装 Hadoop和Spark之前，让我们来了解一下 Hadoop和Spark的版本。在 Cloudera、Hortonworks和MapR这所有三种流行的Hadoop发行版中，Spark都是作为服务提供的。在本书编写的时候，最新的Hadoop和Spark版本分别是2.7.2和2.0。但是，Hadoop发行版里可能是一个较低版本的Spark，这是因为Hadoop和 Spark 的发行周期并不同步。对于后续章节的实践练习，我们会使用来自 Cloudera、Hortonworks 和 MapR 的免费虚拟机（virtual machine，VM），或使用开源版本的 Apache Spark。这些 VM 让我们很容易开始使用 Spark 和 Hadoop。同样的练习也可以在较大的集群上运

2017-09-01

597

【数据蒋堂】第14期：计算封闭性导致臃肿的数据库我们在上一期谈到，数据库的臃肿，也就是过多的中间表以及相关存储过程，是由于其计算封闭性造成的。如果能够实现独立的计算引擎，使计算不再依赖于数据库提供，那么就可以为数据库瘦身了。内部来源的中间数据不必再以数据表的形式落地在数据库中，而可以放到文件系统中，由外部计算引擎提供进一步的计算能力。对于只读的中间数据，使用文件存储时不需要考虑再改写，可以更为紧致并采用一定的压缩手段，而且在访问时也不必考虑事务一致性，机制大为简化，这样能获得比数据库更好多的吞吐性能。文件系统还可以采用树形组织方案，将各个应用（模块）的中间数据分类管理好，使更方便，并且可使中间数据将从属于应用模块，不会被其它模块访问到。当有模块修改或下线时，相应的中间数据可以跟随修改，而不必担心被共享而产生的耦合问题。用于生成中间数据的存储过程也可以移到数据库外部，作为应用程序的一部分，同样不会产生耦合问题。外部来源的中间表也可以减少甚至取消。ETL过程的E、T步骤可以直接在数据库外部由计算引擎实施，在完成清洗转换之后再加载进数据库。E、T步骤中不占用数据库的计算资源，当然也不需...

2017-09-01

505

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。