Hadoop与大数据2015的趋势与挑战-低调大师

Hadoop与大数据2015的趋势与挑战

2017-07-31 457

大数据通常会引发商业智能的快速可用性，这主要归因于可靠的大容量数据存储和通过使用类似Hadoop的开源工具进行并行处理。通过大数据进行可预测分析和建模所带来的好处是非常多的。

根据IDC对2015年的估计，全球大数据市场（包括利用Hadoop进行高级分析）将会增至1250亿的规模。可以预见到企业在Hadoop顶端构建智能应用将是未来的趋势。让我们来对2015年大数据和Hadoop的趋势进行一番预测。

富媒体分析

企业希望能更多的基于视频，图片以及音频来进行分析。大公司已经开始利用这些富媒体分析来保持在竞争中的领先地位。

据来自IDC的消息，富媒体分析将会变成一项关键的投资考量并且可能会在2015年底增加三倍。

填补Hadoop解决方案的空白

Hadoop是一个开源平台，用来存储和处理结构化和非结构化数据。根据ForresterResearch的说法，对于Hadoop来说，在数据管理和治理解决方案上还有很多空白。

在这里，诸如Oracle，IBM和Microsoft之类的企业级软件公司将会继续使用他们自己的数据管理和治理工具在Hadoop环境下与企业应用进行同步并在本地运行，以此来填补空白。

内部Hadoop人才的发展

目前Hadoop技术在全球市场上存在不足是一个已知的事实。然而，作为一个开源平台，企业级Java应用开发人员很容易进行深入挖掘并学习相关API。

Forrester Research认为在2015年会看到更多的公司让其内部应用开发团队使用Java来执行大数据和Hadoop项目。这就意味着随着企业内部对必需的Hadoop专业知识的发展，当前Hadoop技能的短缺局面会有效缓解。

对单独SQL的需求量增加

对于在数据库上进行读写来说，SQL应用（用于Hadoop内部或之上）是至关重要的。IT团队已经开始使用不同的SQL语言来解决不同的与大数据相关的业务查询。

但是，一些问题也随之而来，例如管理层可能无法及时获取他们所需的情报。信息只有在需要时可用才是有意义的，否则就只不过是对企业资源的一种浪费。这就是为什么对于用单独SQL语句来访问企业存储于不同地点所有数据的需求将会增加的原因。这最终可能会让数据存储相关的决策由诸如成本以及更快的访问这些因素来决定，而不是取决于去覆盖SQL的局限性。

安全和治理解决方案得以完善

大数据安全解决方案将会在基于对网络模式的定期监控（甚至可能是实时的）来定位异常活动上扮演重要角色。

据InternationalInstitute of Analytics（IIA 国际分析研究所）的消息，这最终会在2015年成为企业用来防范网络犯罪的必备之选。而对于治理Hadoop系统安全和应用访问控制以保证与企业安全策略相符合的需求将会持续增长。

本文作者：佚名

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/199258

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop可能已经达到预期的成熟度

五年前，Hadoop用可以解决所有大数据[注]难题的身份杀入主流市场。如今尘埃已经落定，现在是时候对Hadoop展开更切合实际的评估了。我们现在正处于21世纪第二个十年的正中间。当大数据潮流从五年前开始兴起时，Hadoop将引领未来这一看法得到了普遍认可。Hadoop市场从那时开始的增长显示，这一共识并没有被削弱。持续不懈的宣传至少为Hadoop的部署与创新打下了良好的基础。如果所有人都非常清楚Hadoop的重要性，那么我们是否还有必要在大数据领域中继续宣传Hadoop将是“下一个大事件”呢？Hadoop是否早已过了其发展的拐点，其成熟的时间点是否正在快速到来？当所有的成熟标志在细分市场中出现后，我们应该降低它们的市场营销力度。在大数据分析市场的份额方面，Hadoop目前可能已经达到了之前的预期（尽管整个市场可能还会持续增长）。为了确定Hadoop是否已经到达了这一拐点，让我们来评估一下Hadoop目前已经发展到了什么程度，以及未来可能会如何发展。创业活动是成长型市场的明显标志。创业活动的下降也是成熟的强烈信号。在经历了初期的创业活动井喷后，Hadoop平台、工具和应用厂商已经...

2017-08-01

451

图为IBM大数据与分析事业部全球研发副总裁Dinesh Nirmal。今年是莎士比亚逝世四百周年。在莎翁名剧《尤利乌斯·凯撒》中一个占卜师有这样一句没有上下文的预言：“请小心‘三月’中”，凯撒听后不知道这句话是何意思，于是说让这个占卜师继续做梦吧。结果在三月十五日，凯撒被密谋暗杀。类似的，今天的预测算法可以告诉你一个预言，但却无法提供合适的上下文，这让人难以做出进一步行动的决策。另一个关于预测算法的例子是在最新的《复仇者联盟3》中，出现了一个人工智能合成物“奥创”。奥创只能按字面理解任务，于是把“拯救地球”理解成了“杀死所有的人类”。这就像一个典型的预测算法，按字面理解任务而忽略掉了其它的可能性或任务的现实意义。于是，2016年1月，哈佛商学院教授Michael Luca、经济学教授Sendhil Mullainathan以及康奈尔大学教授Jon Kleinberg联合在《哈佛商业评论》发表了一篇题为《算法也需要管家》的文章，呼吁全球科技界和商界在机器学习算法和人工智能时代要注意算法的管理问题。因为，如果有一天，算法能够决定“凯撒”或地球的命运，那么谁来管理算法呢? IBM大数...

2017-08-01

607

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。