从 Spark 到 Kubernetes — MaxCompute 的云原生开源生态实践之路-低调大师

从 Spark 到 Kubernetes — MaxCompute 的云原生开源生态实践之路

2019-05-15 644

2019年5月14日，喜提浙江省科学技术进步一等奖的 MaxCompute 是阿里巴巴自研的 EB 级大数据计算平台。该平台依托阿里云飞天基础架构，是阿里巴巴在10年前做飞天系统的三大件之分布式计算部分。10年后的今天，MaxCompute已经是可以承载EB级的数据存储能力，百PB级的单日计算能力，公共云覆盖国内外十几个国家和地区，专有云包含城市大脑在内部署超过100+套的阿里巴巴的统一计算平台。

这里要说的是，MaxCompute依托于阿里云的飞天基础架构，与今天业界常见的依托虚拟机技术 + 开源引擎的云原生方案有很大的不同。

随着联合计算平台的推出，MaxCompute 从可以无缝集成 Spark，到今天可以通过提供标准的 Kubernetes 拥抱更加丰富的开源生态，一直秉承“保持自研优势，拥抱开源生态”的原则，走出了一条与众不

微信关注我们

原文链接：https://yq.aliyun.com/articles/702620

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【直播资料下载】HBase多语言访问

内容概要: 非JAVA语言需要通过Thrift访问HBase，了解Thrift整体架构和基本原理，详细介绍HBase Thrift接口最佳实践，快速入门讲师介绍：修者——阿里巴巴-云hbase内核开发高级工程师点击链接入群 https://dwz.cn/Fvqv066s 或扫码进群直播链接：https://yq.aliyun.com/live/1089PPT下载：https://yq.aliyun.com/download/3550

2019-05-16

665

1.NameNode(管理节点)Namenode 管理着文件系统的命令空间(Namespace)。它维护着文件系统树以及文件树中所有的文件和文件夹的元数据(metadata)，元数据包括编辑日志(edits)和镜像文件。管理这些信息的文件有两个，分别是Namespace 镜像文件(fsimage)和编辑日志文件，编辑日志主要是记录对hdfs进行的修改。镜像文件主要是记录hdfs的文件树形结构。这些信息被Cache在RAM中，当然，这两个文件也会被持久化存储在本地硬盘。Namenode记录着每个文件中各个块所在的数据节点的位置信息，但是他并不持久化存储这些信息，因为这些信息会在系统启动时从数据节点重建。2.DataNode(工作节点) Datanode是文件系统的工作节点，他们根据客户端或者是namenode的调度存储和检索数据，并且定期向namenode发送他们所存储的块(block)的列表。没有namenode,文件系统是无法使用的。事实上,如果运行namenode服务的服务器坏掉,文件系统上的所有文件将会丢失。因为我们不知道如何根据DataNode的块进行重建文件。所有对NameN...

2019-05-16

755

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。