大数据的小时代,没有“IOE”也能玩转智慧城市
如今一谈到大数据,人们就会联想到数百TB以上且规模不断增长的Hadoop集群系统,人们为过去两年我们制造了超过人类历史总和的数据量而感到颤抖,但实际上大数据可以很小,甚至在智能手机和笔记本上就能进行分析处理,而聪明的机器学习算法能将大型强子对撞机数据分析工作量减少上万倍;后大数据时代,人们将更加关心如何让大数据“大事化小”。 但在粒度更小,数据规模却更大的智能传感器时代,在一场官方色彩越来越浓的“去IOE运动”中,如何利用本土低成本技术资源,在Hadoop之外寻找一条新的开源大数据处理技术方案?如何在大力开展“智慧城市”等物联网大数据项目的同时防止对个人隐私的侵犯? 在计算机科学中, 一个简单的真理可以预言一部分未来: "正在CERN(欧洲粒子物理研究所)上演的将很快发生在世界上每个地方。" 我们还可以再加上第二个预言: "一切正在聚集的将最终以分散结尾。" 这与大数据应用有何关系? 大数据通常都很小 许多所谓的 "大数据" 问题其实并不是那么大。一个中央银行五年的交易数据量大概有100GB 大小。所以,中央银行一年的交易数据是完全能够被存储在一部智能手机中的。 一所保险公司关于一个国...
