微软发布 .Net for Apache Spark ：用什么语言开发大数据都可以-低调大师

微软发布 .Net for Apache Spark ：用什么语言开发大数据都可以

2019-05-21 592

4 月 24 日，在 Spark+AI 峰会上，我们很高兴地宣布推出 .NET for Apache Spark。Spark 是一种流行的开源分布式处理引擎，用于分析大型数据集。Spark 可用于处理批量数据、实时流、机器学习和即席查询（ad-hoc query）。

.NET for Apache Spark 旨在使 .NET 开发人员可以跨所有 Spark API 来访问 Apache® Spark™。到目前为止，Spark 已经可以通过 Scala、Java、Python 和 R 来访问，但尚不能通过 .NET 来访问。

我们计划在 open（作为.NET Foundation 成员项目）中为 Apache Spark 开发 .NET，同时与 Spark 和 .NET 社区一起开发，以确保开发人员能够在这两方面都做得很好。

本文将

微信关注我们

原文链接：https://yq.aliyun.com/articles/703257

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里云HBase SQL（Phoenix）服务深度解读

阿里云HBase SQL服务简介云HBase2.0是阿里云对社区HBase2.0的深度定制，在内核层面做了大量优化升级，并提供全球多活、备份恢复、冷存储等企业级特性，目前已被广泛应用于车联网、社交、推荐、画像等场景。阿里云HBase SQL基于Phoenix 5.0版本，为云HBase2.0赋予NewSQL特性，降低kv接口使用复杂性，并提供Schema、Secondary Indexes、View 、Bulk Loading(离线大规模load数据)、Atomic Upsert、Salted Tables、Dynamic Columns、Skip Scan等特性的能力，大大降低了用户的使用门槛（关于更多Phoenix的介绍可以参考：HBase进化之从NoSQL到NewSQL，凤凰涅槃成就Phoenix）。阿里云HBase团队将S

2019-05-21

715

众所周知，Spark是一个快速、通用的大规模数据处理平台，和Hadoop的MapReduce计算框架类似。但是相对于MapReduce，Spark凭借其可伸缩、基于内存计算等特点，以及可以直接读写Hadoop上任何格式数据的优势，使批处理更加高效，并有更低的延迟。实际上，Spark已经成为轻量级大数据快速处理的统一平台。Spark作为一个数据计算平台和框架，更多的是关注Spark Application的管理，而底层实际的资源调度和管理更多的是依靠外部平台的支持： Spark官方支持四种Cluster Manager：Spark standalone cluster manager、Mesos、YARN和Kubernetes。由于我们TalkingData是使用Kubernetes作为资源的调度和管理平台，所以Spark On Ku

2019-05-22

629

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。