大数据处理的一些总结和应用（有关舆情监控）
说到大数据处理可能大家都不会陌生，这是近年来非常火热的话题，各行各业都想借助大数据为自己助力，有了这个工具，就好像在飞机上看农田一般清晰，一目了然，也也就是业内人士常说的大数据提供了一个------上帝视角 大数据的概念： 1、指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理的时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积极目的的咨询。 2、维克托·迈尔-舍恩伯格以及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。 3、海量异构的数据（包括文本、图像、声音等）。 大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值） 大数据处理的应用场景有很多： 1.阿里巴巴平台----淘宝双十一 2.证券交易系统 3.智慧城市 4.情报分析，舆情监控 大数据处理的的发展历史和架构演进，可以看成： 是从传统手工作坊（分布式批处理）到流水线工厂（hadoop）再到没有中间商 的O2O平台（spark） 开源工具简介---批处理 HadoopCommon：Hadoop...
