流计算StreamCompute-低调大师

流计算StreamCompute

2016-11-24 682

免费开通大数据服务：https://www.aliyun.com/product/odps

背景

每年的双十一除了“折扣”，全世界（特别是阿里人）都关注的另一个焦点是面向媒体直播的“实时大屏”（如下图所示）。包括总成交量在内的各项指标，通过数字维度展现了双十一狂欢节这一是买家，卖家及物流小二一起创造的奇迹！

f08cc19787339e8f944a4786841a3073ff97787c

双十一媒体直播大屏

这一大屏背后需要实时处理海量的庞大电商系统各个模块产生的交易日志，例如双十一当前产生的日志量达到了3.7PB，而每秒处理的峰值更是达到了近1亿事件！

如此大规模、高吞吐和低延时计算，带来一系列世界级的技术挑战，包括：

1. 实时编程：流式的数据处理给业务逻辑的表达和推理带来了很多的复杂性。特别面对不断变化的业务需求，如何帮助用户快速地编写和验证实时计算逻辑是至关重要的。

2. 低延时：实时计算强调计算延时

微信关注我们

原文链接：https://yq.aliyun.com/articles/64912

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

用windows浏览器打开Linux的Jupyter notebook开发、调试示例

1.场景，在windows浏览器中打开Linux环境下的jupyter notebook。Jupyter notebook开启远程服务，Spark、python计算环境在Linux服务器中，而工作环境是windows。在windows下使用jupyter notebook环境进行开发、调试。涉及的配置文件Github源码场景如下通过windows登录Linux服务器的Jupyter notebook（开发环境都在Linux中），windows中只需有个浏览器即可。然后在windows下开发、调试开始达到上述需求。 2.安装python和jupyter notebook（spark部署略可参考我其他博文，无spark也没关系） xiaolei@ubuntu:~$ sudo apt install python xiaolei@ubuntu:~$ sudo pip install jupyter 3.配置Linux服务器上的jupyter notebook（重要配置文件Github源码） 3.1.生成jupyter notebook配置文件jupyter官方配置 #主要.jupyt...

2016-11-25

601

简介 Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中...

2016-11-25

587

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。