大数据的实时处理STORM简介
《大数据的实时处理STORM简介》
作者:chszs,转载需注明。博客主页:http://blog.csdn.net/chszs
新技术如社交媒体、电邮、博客、地理信息系统GIS、无线射频识别RFID和智能手机等为基于服务信息构建提供了新的机会。
处理大数据常见的方法和框架是Apache Hadoop,它以批处理的方式运行数据处理任务。现在,如果需要实时处理数据和实时显示数据,那这种基于批处理的方式并不是很适合。
STORM是一个开源框架,来自Twitter公司,其目标是大数据流的实时处理。STORM可以可靠地处理无限的数据流,实时处理Hadoop的批任务。STORM非常简单,支持所有的编程语言,使用它充满了乐趣。
STORM有很多适用场景:实时分析、在线机器学习、连续计算、分布式RPC、分布式ETL、易扩展、支持容错,可确保你的数据得到处理,易于构建和操控。
STORM的地址见:
http://storm-project.net/
随后将继续深入。
关注公众号
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
hadoop全套免费视频
已推出的课程: Hadoop实战-初级部分,听听看:http://sishuok.com/video-0-2686,http://sishuok.com/video-0-2687 【资源下载】Hadoop实战-初级部分 配套PPT和源代码 Hadoop实战-中高级部分,听听看:http://sishuok.com/video-0-2786 ,http://sishuok.com/video-0-2787 【资源下载】Hadoop实战-中高级部分 配套PPT和源代码 深入浅出学Hive,听听看:http://sishuok.com/video-0-2842,http://sishuok.com/video-0-2843 【资源下载】深入浅出学Hive 配套PPT和源代码 云计算综合实战项目(Hadoop、Hive,HBase、Zookeeper、爬虫技术),听听看:http://sishuok.com/video-0-3137 【资源下载】http://sishuok.com/forum/posts/list/6766.html
-
下一篇
ElasticSearch查询 第二篇:文档更新
《ElasticSearch查询》目录导航: ElasticSearch查询 第一篇:搜索API ElasticSearch查询 第二篇:文档更新 ElasticSearch查询 第三篇:词条查询 ElasticSearch查询 第四篇:匹配查询(Match) ElasticSearch查询 第五篇:布尔查询 ElasticSearch是性能优化的分布式全文搜索引擎,存储数据的载体是文档(Document),它的优势在于搜索速度快和支持聚合操作,在更新文档时,基本上能够达到实时搜索。ElasticSearch引擎总是按照文档标识来更新数据,并发控制是通过顺序的版本ID(version)实现的,控制写-写、写-读冲突,实现数据弱一致性。 在ElasticSearch引擎中,索引定义了文档的逻辑存储,索引是由段(Segment)组成的,段不是实时更新的,这意味着,在建立索引时,一个段写入磁盘后,就不再被更新。被删除文档的信息存储在一个单独的文件中,在搜索数据时,ElasticSearch首先从段中查询,再从查询结果中过滤被删除的文档,这意味着,段中存储”未被删除文档“的密度降低。多个段可...
相关文章
文章评论
共有0条评论来说两句吧...

微信收款码
支付宝收款码