2016年即将结束，一项新的调查结果表明，大数据技术在云环境下正发展成熟且规模快速增长。

作为利用OLAP类多维数据集立足Hadoop进行商务智能分析的专业企业，AtScale公司最近对来自77个国家1400家公司的2550多位大数据专家进行了调查。此项调查还邀请到了Cloudera、Hortonworks、MapR、Cognizant、Trifacta以及Tableau等各方共同参与。

AtScale公司的这份《2016年大数据成熟度调查》发现，近70%的受访者已经拥有超过一年的大数据技术使用经验（上年这一比例为59%）。76%的受访者目前正在使用Hadoop，而有73%表示其正将Hadoop引入生产环境（上年这一比例为65%）。另外，74%的受访者拥有超过10套Hadoop节点，而20%受访者则拥有超过100套节点。

“在本次调查当中，受访者的成熟度成为一项关键性因素，”大数据分析师以及《颠覆性分析（Disruptive Analytics）》一书作者Thomas Dinsmore在本周三的一份声明中表示。“目前已经有五分之一受访者拥有超过100台节点，而74%的受访者将相关技术引入生产，这一数字较上一年有了两位数的增长。”

受访者同时表示，他们正越来越多地转向云环境，考虑借此托管自己的大数据分析任务。53%的受访者指出，他们已经将大数据负载部署至云当中; 而14%受访者则已经将其全部数据部署至云端。72%的受访者计划接下来利用云服务进行大数据部署。

“很明显，过去一年中大数据在云环境下的应用出现显著增长，而更有趣的是受访者们显然认为数据在云端更有可能产生实际价值，”AtScale公司CTO兼联合创始人Matt Baird解释称。

Hadoop在外部环境下效果更佳

“Hadoop非常棘手，”AtScale公司CEO兼创始人Dave Mariani补充称。“其非常难于部署，同样非常难于管理。我发现大多数客户都不希望分神考虑其Hadoop集群的管理工作。云环境带来的规模化弹性能力，不仅是随意添加节点同时亦可根据需要轻松削减节点，同时利用对象存储机制作为持久层进行数据容纳，这种实现方式与内部Hadoop架构完全不同。”

而在大数据技术不断成熟的同时，其面向的主要工作负载类型也在发生变化。

“去年的头号工作负载类型为ETL，其次是商务智能，再次是数据科学，”AtScale公司首席营销官Bruno Aziza指出。“今年，头号工作负载类型变成了商务智能。”

商务智能规模可观

ETL与数据科学仍然在大数据工作负载当中占据可观比重，但商务智能（简称BI）则在过去一年中呈现出不可阻挡的发展趋势，其已经在受访者的现有及未来预期大数据使用方向层面占据75%支持率。而且就目前来看，这种趋势毫无转弱的迹象——如果调查结果正确的话。有高达97%的受访者表示他们计划在未来三个月中利用大数据技术支持商务智能负载。

尽管Spark周边一直围绕着不少炒作之声，不过本次调查发现42%的企业虽然利用Spark实现某些教育目标，但目前尚未真正利用其构建真实项目。只有三分之一受访者指出，Spark目前在其开发工作中占可观比重，而25%的受访者则表示他们已经将Spark部署至开发及生产环境当中。

“Spark虽然令人们非常兴奋，但其实际部署比重仍然比较有限，”Aziza总结称。

“如果大家探究这些Hadoop技术使用计划，就会发现大多数人都抱持着‘我打算将Spark作为首选引擎’的想法。然而一旦进入Hadoop实际使用阶段，大多数人则更倾向于使用Hive，”Mariani补充称。“大家永远不会在ETL管道中使用Spark。Hive在这方面表现无疑更好。不过同样的，我们也永远不会在交互式查询领域使用Hive，这方面的最佳选项应该是Spark或者Impala。”

不过需要注意的是，已经在生产环境中部署Spark的企业切实获得价值回报的可能性要高出85%。

在大数据技术难题方面，可访问性、安全性以及治理成为关注度同比增长最快的三大议题。其中治理相关担忧的增幅最大，占全部受访者的21%。

本文作者：核子可乐

来源：51CTO