大数据处理的一些总结和应用(有关舆情监控)
说到大数据处理可能大家都不会陌生,这是近年来非常火热的话题,各行各业都想借助大数据为自己助力,有了这个工具,就好像在飞机上看农田一般清晰,一目了然,也也就是业内人士常说的大数据提供了一个------上帝视角 大数据的概念: 1、指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理的时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积极目的的咨询。 2、维克托·迈尔-舍恩伯格以及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。 3、海量异构的数据(包括文本、图像、声音等)。 大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值) 大数据处理的应用场景有很多: 1.阿里巴巴平台----淘宝双十一 2.证券交易系统 3.智慧城市 4.情报分析,舆情监控 大数据处理的的发展历史和架构演进,可以看成: 是从传统手工作坊(分布式批处理)到流水线工厂(hadoop)再到没有中间商 的O2O平台(spark) 开源工具简介---批处理 HadoopCommon:Hadoop...