首页 文章 精选 留言 我的

精选列表

搜索[依赖配置],共10039篇文章
优秀的个人博客,低调大师

实现Spark部署 依赖供应商还是"自力更生"?

Apache Spark用户经常面临一个困境:继续获取来自供应商的支持还是更新版本,使用具有更新功能的快速移动的开源软件? Novantas公司将Spark数据处理引擎作为商业Hadoop发行版的一部分。这样使得分析服务和软件提供商与Spark版本的Hadoop软件包支持的Spark版本捆绑在一起,因此,它不一定能立即访问新的Spark功能 例如,Novantas在今年年初开发的基于Hadoop的应用程序中使用了Spark 1.4,以帮助银行的分析团队在内部系统中找到相关的客户和财务数据。该版本由Apache软件基金会于2015年6月发布,去年9月被Spark 1.5取代,1月被1.6取代。但是要升级,Novantas将不得不通过Cloudera放弃Spark支持。 “我们不想使用不受支持的版本,”纽约公司Novantas解决方案技术部门CTO和工程总监Kaushik Deka说。这是因为应用程序是该部门第一次真正使用Hadoop和Spark。坚持使用Spark 1.4不太理想。Deka说,他希望当Novantas移动到一个新的技术版本可以解决问题。 这样的考虑在大数据环境中是常见的,其通常涉及以快速的速度更新的开源技术。Spark的情况尤其突出:在2014年7月到2016年7月之间,通过Apache共有18个版本,Spark 2.0版本一般都可以使用。 为了更好地使用新功能,一些组织已经避开了供应商提供的Spark支持,并自行部署了基本的Apache Spark软件。 例如,Synchronoss技术公司在2014年从Hadoop供应商MapR获得Spark。但移动管理公司Bridgewater的大数据分析平台高级主管Suren Nathan表示,公司有时直接升级到Apache Spark的新版本,以获得所需的功能。“现在,我的团队可以非常熟练地使用Spark,”他说。 Webtrends公司也一直使用基本的Spark软件。“我们正试图尽可能保持现有的发布,”来自美国的在线活动跟踪公司首席技术官Peter Crossley说,“市场上没有其他技术像这种技术一样快。” Crossley表示,他更喜欢通过Hadoop供应商Hortonworks获得支持的Spark版本。为了尽可能做到这一点,他的团队与Hortonworks合作开发了一个“双轨发布计划”,供应商去年3月加快了Sparkand与Hadoop相关的其他大数据技术的交付。 本文转自d1net(转载)

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册