微软发布 .Net for Apache Spark ：用什么语言开发大数据都可以-低调大师

微软发布 .Net for Apache Spark ：用什么语言开发大数据都可以

2019-05-21 584

4 月 24 日，在 Spark+AI 峰会上，我们很高兴地宣布推出 .NET for Apache Spark。Spark 是一种流行的开源分布式处理引擎，用于分析大型数据集。Spark 可用于处理批量数据、实时流、机器学习和即席查询（ad-hoc query）。

.NET for Apache Spark 旨在使 .NET 开发人员可以跨所有 Spark API 来访问 Apache® Spark™。到目前为止，Spark 已经可以通过 Scala、Java、Python 和 R 来访问，但尚不能通过 .NET 来访问。

我们计划在 open（作为.NET Foundation 成员项目）中为 Apache Spark 开发 .NET，同时与 Spark 和 .NET 社区一起开发，以确保开发人员能够在这两方面都做得很好。

本文将

微信关注我们

原文链接：https://yq.aliyun.com/articles/703257

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里云HBase SQL（Phoenix）服务深度解读

阿里云HBase SQL服务简介云HBase2.0是阿里云对社区HBase2.0的深度定制，在内核层面做了大量优化升级，并提供全球多活、备份恢复、冷存储等企业级特性，目前已被广泛应用于车联网、社交、推荐、画像等场景。阿里云HBase SQL基于Phoenix 5.0版本，为云HBase2.0赋予NewSQL特性，降低kv接口使用复杂性，并提供Schema、Secondary Indexes、View 、Bulk Loading(离线大规模load数据)、Atomic Upsert、Salted Tables、Dynamic Columns、Skip Scan等特性的能力，大大降低了用户的使用门槛（关于更多Phoenix的介绍可以参考：HBase进化之从NoSQL到NewSQL，凤凰涅槃成就Phoenix）。阿里云HBase团队将S

2019-05-21

697

众所周知，Spark是一个快速、通用的大规模数据处理平台，和Hadoop的MapReduce计算框架类似。但是相对于MapReduce，Spark凭借其可伸缩、基于内存计算等特点，以及可以直接读写Hadoop上任何格式数据的优势，使批处理更加高效，并有更低的延迟。实际上，Spark已经成为轻量级大数据快速处理的统一平台。Spark作为一个数据计算平台和框架，更多的是关注Spark Application的管理，而底层实际的资源调度和管理更多的是依靠外部平台的支持： Spark官方支持四种Cluster Manager：Spark standalone cluster manager、Mesos、YARN和Kubernetes。由于我们TalkingData是使用Kubernetes作为资源的调度和管理平台，所以Spark On Ku

2019-05-22

608

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。