开发漫谈：S4不是F4 分布式流计算应用广-低调大师

开发漫谈：S4不是F4 分布式流计算应用广

2017-07-09 553

S4是什么鬼？不是F4才风靡全国吗？

殊不知，这S4在IT圈早已经是炙手可热的存在，受欢迎程度绝不亚于当年的F4。好吧，其实不能这么比。

S4的出现还要归功于互联网的快速发展，从最初的web1.0时代，到后来的web2.0时代，再到ego net，可以说数据量在呈指数级不断上升。因为数据量不断提升，导致服务器引擎压力不断增大，如何解决服务请求峰值过高，负载过重问题呢？

首先我们需要了解一下什么是S4。

S4（简单可扩展流系统的首字母简称：Simple Scalable Streaming System）是一个受Map-Reduce模式启发的分布式流处理引擎。

S4

从S4目前的应用情况来看，谷歌、必应、雅虎都有应用，他们典型的做法是在用户查询响应中提供结构化的Web结果的同时插入基于流量的点击付费模式的文本广告。

从技术的角度讲，S4与Storm等流计算框架一样，都是分布式流数据实时与持续计算的基础。而分布式流数据实时与持续计算除了S4之外，还需要MapReduce、Dryad等全量/增量计算平台、CEP以及EDA模型、还有Pregel等图计算模型。

在大数据环境下，企业生产环境的主要需求是图最小的代价通过增加更多的机器来提高推土量的能力和在存在系统故障情况下，能够实现自动灾备同时不影响持续提供服务的能力。通过负载分流，我们可以实现系统处理速度赶上事件流量，或者通过降级，实现关键业务顺利运转。这种降级的方式也在微信红包高峰期曾被采用。

实际上，S4的存在就是为大数据而服务。而无论是分布式流计算平台，还是分布式架构都随着大数据的快速成长，随着数据请求和数据量的增长，得到了越来越多的应用。

本文转自d1net（转载）

微信关注我们

原文链接：https://yq.aliyun.com/articles/163751

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

做大数据必须了解的多种处理框架

本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信息和见解的过程。下文将介绍这些框架：仅批处理框架：Apache Hadoop 仅流处理框架：Apache Storm、Apache Samza 混合框架：Apache Spark、Apache Flink 大数据处理框架是什么? 处理框架和处理引擎负责对数据系统中的数据进行计算。虽然“引擎”和“框架”之间的区别没有什么权威的定义，但大部分时候可以将前者定义为实际负责处理数据操作的组件，后者则可定义为承担类似作用的一系列组件。例如Apache Hadoop可以看作一种以MapReduce作为默认处理引擎的处理框架。引擎和框架通常可以相互替换或同时使用。例如另一个框架Apache Spark可以纳入Hadoop并取代MapReduce。组件之间的这种互操作性是大数据系统灵活性如此之高的原因之一。虽然负责处理生命周期内这一阶段数据的系统通常都很复杂，但从广义层面来看它们的目标是非常一致的：通过对数据...

2017-07-10

575

大数据在企业中拥有着前所未有的重要性，这在一项最新出炉的调查报告中清晰的展现出来：接下来的几年中，有76%的企业将会加大或继续保持在大数据上的投入，然而相对遗憾的是，只有23.5%的企业拥有清晰的大数据战略。这和三年前Gartner的大数据报告遥相呼应，当时有64%的企业表示他们不会错过大数据带来的绝好机遇，但也和现在一样，绝大部分的企业并不清楚能够从大数据仓库中获得什么价值。我们无法将这个情况作出更好的解读，只能说大家都在闭着眼睛飞翔。越来越大! 这项调查是咨询公司DNV GL Business Assurance联合研究机构GFK Eurisko共同发起的，他们对全球1189家企业做了调查，希望更好的了解他们的大数据计划。在这些企业中，有52%的企业认同大数据是巨大的商业机会;在1000名员工以上的大型企业中，这个数字上升到了70%;而在报告中被分类为行业领导者的企业中，对大数据的认同高达96%。调查同时发现接近45%的企业认为大数据“重要”或“极为重要”，因此在被问到是否会在大数据上进行更多投入时，报告体现出相似的结果：这些都是好消息。应该怎么做? 坏消息是尽管这些企...

2017-07-10

489

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。