Hadoop-No.12之数据采集的时效性-低调大师

Hadoop-No.12之数据采集的时效性

2017-08-05 604 89

数据采集的时效性,指的是可进行数据采集的时间与Hadoop中工具可访问数量的时间之间的间隔.采集架构的时间分类会对存储媒介和采集方法造成很大的影响.

一般来说,在设计应用的采集构架之前建议使用以下分类中的一种.

大型批处理

通常指15分钟到数小时的任务,有时可能指时间跨度达到一天的任务
小型批处理

通常指每2分钟发送一次的任务,但是总的来说不会超过15分钟
近实时决策支持

接受信息后”立即做出反应”,并在2秒至2分钟之内发送数据
实时

不超过100毫秒内响应

需要注意的是,随着任务的实现时间达到实时,实现的复杂性和成本也会大大增加.从批量处理处罚(比如使用简单文件传输)通常是个不错的选择.选择更加复杂的采集方法之前要先使用简单的方法

HDFS对时效性的要求比较宽松,所以可能更加适合成为主要存储位置.而一个简单文件传输或者Sqoop任务则适合作为采集数据的工具.

当用户的需要从简单的批处理转向更高频率的更新时,就应该考虑Flume或Kafka之类的工具.在这里,传输时间要求不超过2分钟,所以Sqoop与文件转换器不适用.而且,因为要求时间不超过2分钟,所以存储层可能需要变为HBase或Solr,这样插入与读取操作会获得更细粒度.当要求提高到实时水平时,我们首先应该考虑内存,然后是永久性存储.全世界所有的平行化处理都不会有助于将反应要求控制在500毫秒以内,只要硬盘驱动器保持处理操作的状态.基于这一点,开始进入流处理领域,采用Storm或Spark Steaming之类的工具.这里要强调的是,这些工具应该真正用于数据处理,而不是像Flume或Sqoop那样用于数据采集

微信关注我们

原文链接：https://yq.aliyun.com/articles/364787

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017-08-06 00:00:00

spring cloud 学习(6) - zuul 微服务网关

微服务架构体系中，通常一个业务系统会有很多的微服务，比如：OrderService、ProductService、UserService...，为了让调用更简单，一般会在这些服务前端再封装一层，类似下面这样：前面这一层俗称为“网关层”，其存在意义在于，将"1对N"问题转换成了"1对1”问题，同时在请求到达真正的微服务之前，可以做一些预处理，比如：来源合法性检测，权限校验，反爬虫之类... 传统方式下，最土的办法，网关层可以人肉封装，类似以下示例代码： LoginResult login(...){ //TODO 预处理... return userService.login();//调用用户服务的登录方法 } Product queryProduct(...){ //TODO 预处理... return productService.queryProduct();//调用产品服务的查询方法 } Order submitOrder(...){ //TODO 预处理... return orderService.submitOrder();//调用订单服务的查询方法 } 这样做，当然能...

596

2017-08-06 00:00:00

6个大数据处理分析的最好工具

大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。在大数据和大数据分析，他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。一、Hadoop Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。 Hadoop是一个能够让用户轻松架构和使用的分布式...

543

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。