开源大数据周刊-第49期-低调大师

开源大数据周刊-第49期

2017-04-20 594

资讯

实时流数据分析——2017 年的 27 个预测
概述：根据Markets & Markets的预测，流数据分析市场将从 2016 年的 30 8 亿美元增长到 2021 年的 137 亿美元。各个企业都将快速意识到他们需要利用实时数据集成和流数据分析来获得更有价值的信息、使数据变得更安全以及保持增长
高清无码，2017全球大数据产业版图！
汇聚了大数据生态的相关产业版图和全景版图。
Caffe2正式发布！新框架有何不同？贾扬清亲自解答
今天凌晨召开的F8大会上，Facebook正式发布Caffe2~随着人工智能的发展，在训练深度神经网络和大规模人工智能模型以及部署各机器的计算量时，通常要在大量数据中心或超级计算机的支持下完成。

技术

Apache Spark & Apache Zeppelin的安全状态
本讲义出自Vinay

微信关注我们

原文链接：https://yq.aliyun.com/articles/73952

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

115期：在线大数据技术峰会回顾合集！

本期头条票选最美云上大数据暨大数据技术峰会上，阿里云飞天一部计算平台高级专家无庸为大家带来题为“高可用大数据计算服务如何持续发布和演进”的演讲。本文先对MaxCompute架构进行了介绍，接着重点介绍在大数据计算服务下，高可用服务持续改进和发布的工具，包括Playback工具、Flighting工具和灰度上线、细粒度回滚等，点击查看。 • 【资料合集】在线大数据技术峰会：讲义PDF+活动视频！ • 提速1000倍！阿里率先采用Intel Optane SSD • 东京见闻：快速走红日本市场阿里云的三大秘密 • MaxCompute SQL 现状与展望 • 双管齐下，MaxCompute数据上云与生态 • 阿里云机器学习平台编程模型演进之

2017-04-20

589

引言：在多台机器上分布数据以及处理数据是Spark的核心能力，即我们所说的大规模的数据集处理。为了充分利用Spark特性，应该考虑一些调优技术。本文每一小节都是关于调优技术的，并给出了如何实现调优的必要步骤。本文选自《Spark GraphX实战》。 1 用缓存和持久化来加速 Spark 我们知道Spark 可以通过 RDD 实现计算链的原理：转换函数包含在 RDD 链中，但仅在调用 action 函数后才会触发实际的求值过程，执行分布式运算，返回运算结果。要是在同一 RDD 上重复调用 action 会发生什么？ RDD 持久化一般 RDD 不会保留运算结果，如果再次调用 action 函数，整个 RDD 链会重新运算。有些情况下这不会有问题，但是对于许多机器学习任务和图处理任务，这就是很大的问题了。通常需要多次迭代的算法，在同一个 RDD 上执行很多次，反复地重新加载数据和重新计算会导致时间浪费。更糟糕的是，这些算法通常需要很长的 RDD 链。看来我们需要另一种方式来充分利用集群可用内存来保存 RDD 的运算结果。这就是 Spark 缓存（缓存也是 Spark 支持...

2017-04-21

504

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。