2017年大数据发展十大新趋势

【大咖・来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》

2017年大数据产业发展趋势是非结构化开放的,Hadoop继续称霸,外加数据可视化使用垃圾数据谜续,具体预测如下:

1.非结构化高于结构化数据量

一类信息能够用数据或统一的结构加以表示，我们称之为结构化数据，如数字、符号;而另一类信息无法用数字或统一的结构表示，如文本、图像、声音、网页等，我们称之为非结构化数据。结构化数据属于非结构化数据，是非结构化数据的特例，今年非结构化数据将要凸显占领结构化高度广度。

2.结构化数据安全性高于非结构化数据

结构化数据的存在至少有40年之久，这种数据存储在数据库里,可以用二维表结构来逻辑表达实现数据，因此加密方式多样化，安全性高，相比非结构化数据最近几年才兴起，它是以图片，音频，视频，文档形式存在，加密繁琐困难，安全性低，然而二者属于包含的关系，多数企业更倾向于以结构化数据的形态存在。

3.大数据产生在非结构化数据库里

结构化数据分析的历史已经很久了，至少在计算机数值计算开始的时候就有了，说已经有四十年也不为过，新闻，视频，图片，音频，网页这些形态每天在数以万计的产生庞大的数据量，而这些数据不是以符号数字的形式存在的，大型的社交网络，媒体网络，都是以视频，图片，音频，网页形式存在，今年的大数据产品将在非结构化中日益增加。

4.Hadoop没有可以抗衡的程序出现

Hadoop这个单词如今铺天盖地，几乎成了大数据的代名词。仅仅数年时间，Hadoop从边缘技术迅速成长为一个事实标准。如今想玩转大数据，搞企业分析或者商业智能，没有Hadoop还真不行。Hadoop实质上更多是一个分布式数据基础设施:它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。

同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到***的高度。Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。虽然现在Spark很火，但是今年还是没有能力和Hadoop抗衡。

5.大数据实现可视化趋势

数据可视化技术让隐藏在大数据资源背后的真相呈现在众人面前。无论数据怎样形成，无论数据资源在哪里，图形数据可视化可以让企业组织在业务繁忙的同时对数据进行检索与处理。可视化数据不需要任何编程基础。只需要上传你的数据，便能轻松地创建和发布图表，目前国际上已经有一些企业在发展大数据可视化做深入的研究，今年会有专门提供大数据可视化服务公司出现。

6.消费垃圾数据将继续

人们将继续追寻大数据，一直追到垃圾堆看到垃圾数据，诈骗电话、免费WiFi窃取用户信息等关系到消费者权益的问题被逐一曝光，针对广大中国网民，就各种假货和欺诈行为通过更直接的方式进行采样和分析判断，这些都将是无用的垃圾数据，甚至是有害的数据。

在另一项调查中，国产手机成为预装垃圾软件的重灾区，55.3%的用户表示国产手机中预装垃圾软件最多产生的垃圾无用数据也最多，12.1%用户则认为国外品牌在垃圾软件数据产生更严重，今年乃至未来将有很长一段时间消费者将要继续忍受消费垃圾数据。

7.数字智慧城市与大数据接轨

智慧城市相对于数字城市概念，***的区别在于对感知层获取的数据进行大数据处理，从而获得支撑和保障智慧城市顺利运营的多元信息，要实现对数字信息的智慧处理，前提是引入大数据处理技术，从而来整合分析跨地域、跨行业、跨部门的海量数据的处理，将特定的信息应用于特定的行业和特定的解决方案中，智慧城市的应用过程实际上就是对数据采集、分析、存储和利用的过程，大数据是智慧城市各个领域都能够实现"智慧化"的关键性支撑技术。

在大数据时代，智慧城市建设应大力推进大数据基础平台和基础网络建设，积极推进信息资源数据交换和共享体系建设，今年智慧城市开始要与大数据接轨。

8.数据造假存仍然在安全隐患

医药临床数据造假，环保数据造假，市场调查数据报告造假，经济数据造假，大数据造假给企业挖了一个大坑，大数据和以前的数据分析有3个明显的区别：一是原来的数据分析针对部分样本，大数据是所有的数据都要参与计算;二是大数据中，相关关系重于因果关系;三是大数据允许混杂数据甚至错误数据。

大数据允许混杂数据甚至错误数据。这是因为，大数据能够通过造假数据的特征将其辨识出来。造假的数据和平常的数据不一样，可以通过环比、同比、类比，发现数据中的异动，判断企业是否存在数据造假行为，即便如此，数据造假问题在今年是不可能消失的，同时带来的安全隐患，从而为各个行业指导错误的方向，失之毫厘，差之千里。

9.企业不需要大数据执行官

到目前为止，企业人事任免注意力大多聚焦于填补中低层职位空缺，但填补大数据***执行官、在今年未来很长一段日子里还是不需要填补的。

当前可以指引公司的发展方向的责任才重大，作为回报，相当多的公司利润落入管理层的腰包。如果在这一级别上做出错误的人事任命，发生灾难的可能性将非常明显。因此，目前企业不会填补大数据执行官，大数据还没有发展到人人皆知的地步。

10.大数据服务公司进入资本市场

最近发数据的行业应用也开始火热起来。"微众银行"的大数据金融概念深得国家支持，符合"普惠银行"的政策。相信以后会有更多的行业跟大数据扯上关系，走向资本市场。

随着境外大数据企业近年在美国资本市场的落地开花，相信今年会为国内的信息产业带来新的灵感及发展方向。作为世界上其中一个数据使用量***的国家，我们期待的是国内大数据企业在未来资本市场的大爆发。