Cloudera 发布自助式数据科学开发环境原生支持 R、Python、Scala 和各大开源框架-低调大师

Cloudera 发布自助式数据科学开发环境原生支持 R、Python、Scala 和各大开源框架

2017-08-01 539

相关技术来自于 Cloudera 去年收购的数据科学初创公司 Sense.io。该产品的最大特点是原生支持 Apache Spark、Hadoop 和 R、Python、Scala 等开发语言。开发者能在 Cloudera 的企业平台上同时使用这些工具和语言，这将加速数据分析项目从研发到最终产品的过程。

Cloudera 高级副总裁 Charles Zedlewski 表示：

“Cloudera 专注于提升数据科学和工程团队的使用体验，尤其是想要用 Spark 来协助数据处理和机器学习，来对分析任务进行扩展的用户。对 Sense.io 的收购，以及其团队的加入，为该产品提供了牢固的基石。Data Science Workbench 向我们的客户，提供了开展大规模自助式数据科学工作的能力。”

Charles Zedlewski (中

微信关注我们

原文链接：https://yq.aliyun.com/articles/178075

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

反思｜分布式框架是必须的吗？

【原文编者的话】本文主要讲述了通过规范化处理流程，可以使用相同的处理流程来处理流式或者批量处理任务，例如Hadoop和Storm，从而提高重用性。当有人问起该如何处理大数据问题时，他们总是被指引到现存的产品中，例如Hadoop或者Storm。虽然这些产品非常棒，但也引发了一些问题。首先，就我个人的经验来看，为了获得最佳的处理结果，你必须使用这些框架首选的语言或者虚拟机编写你的代码，典型的就是JVM。当语言或者虚拟机不适用时，就意味着你必须重写你的代码来适应这些框架。同样，像Hadoop和Storm这两种框架所做的事情非常不一样，这就给代码的重用增加了更大的困难。如果你想做流式和批量处理分析，你就需要这两种框架。当然，有些方法能够做到这一点，但我不清楚这种方法是否有更多的选择性，或者这种方法是否很难进行维持。目前，我正在使用一个分布式系统并且它没有使用任何上述技术。这个分布式系统运行的很好，虽然它不完美，但是它的确实现了。这就引发我思考分布式框架是否是必须的。实际上，MapReduce和Streaming框架的真正区别是什么?数据通过不同的处理流程串行化，这仅仅是如何将数据链接到一起...

2017-08-02

478

没错，虽然大型机向来更擅长处理指定的事务型任务，但其同样可以支撑大数据与机器学习等负载类型。事实上，将二者加以结合能够带来相当积极的实际意义。纽约市的众多历史、商业乃至人文建筑过去几年来可谓饱受摧残。最新的受害者之一正是历史悠久的华尔道夫酒店，其在重新装修后不到一周即告停业，且可能未来三年都不会重新开放。报道称，其中将保留300到500个客房，但建筑本身的大部分面积都将转换为豪华公寓。难道我们没有办法在进行公寓建设的同时，继续保留华尔道夫的传统酒店功能? 答案是肯定的，至少从数据与分析角度来看完全可行。就在上周华尔道夫酒店宣布倒闭的同时，IBM公司恰好在那里举办了一项活动——讽刺的是，蓝色巨人的宣传结论正是新旧工作负载能够有效共存。正如很多现代客户仍然喜欢下榻华尔道夫酒店，不少企业也在继续将关键性工作负载运行在大型机之上。这主要是考虑到对这些系统进行迁移将带来企业无法承担的风险性与业务中断后果。然而随着新型工作负载的重要性不断提升，大型机供应商应如何解决此类难题?IBM公司给出了自己的解决方案：宣布在Z系列大型机上支持机器学习型工作负载。 Spark入驻大型机这一举措的意义无需赘...

2017-08-02

527

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。