Alluxio 2.9版本5大更新亮点详解
全球首创的开源数据编排软件开发商Alluxio,近日宣布2.9免费开源社区版和2.9企业版正式对外发布!
本文将为您快速盘点2.9的那些更新亮点:
2.9正式版本(GA)具备较强的稳定性、良好的支持性以及企业级特性。本文将介绍Alluxio的新架构以及该架构如何赋能世界头部企业在跨区域、跨计算引擎与存储系统的大数据分析和AI 应用场景下实现增长、增强敏捷性。
Alluxio 2.9 版本增加了跨环境集群同步功能,支持横向扩展的多租户架构;显著改进在Kubernetes上部署的工具集和指南,增强了Alluxio的可管理性;此外,新版本还通过优化S3 API 实现安全性和性能上的提升。
企业可以通过Alluxio打造跨计算和跨存储的多云数据平台。Alluxio可以与Spark、Presto、Trino、PyTorch 和 Tensorflow 等一起部署于任何云平台,如 AWS、GCP 和 Azure。同时,Alluxio还可以部署在私有云数据中心或公有云在 Kubernetes 上使用。
Alluxio社区版功能亮点
以下功能Alluxio 2.9社区版和企业版均支持
Master节点健康状态监测
Alluxio master 现在定期检查各类资源的综合使用情况,包括 CPU 和内存使用情况,以及通过几个影响性能的内部关键数据架构推断系统的整体状态。可以通过查看 master.system.status 指标获取Master节点健康状态:
- 闲置
- 正常运行
- 繁忙
- 过载
关于如何使用此功能,可点击“详细信息”查看文档,了解有关监测功能的更多内容。
Worker 节点上的分页式存储(试验功能)
新版本支持更细粒度的存储。以往Alluxio只支持64MB块存储,新版本支持1MB的分页级存储,数据能以更细的颗粒度缓存在Alluxio worker 节点上。
此功能是为了通过提高缓存的效率而增强性能,当应用首次访问底层存储时,可以减少读放大。
可查看文档,了解如何使用:
Alluxio企业版功能亮点
下列功能仅限于Alluxio企业版
新增跨环境集群同步功能
租户隔离可有效防止不同团队在访问共享数据湖存储时产生竞争。Alluxio通过新增的跨集群同步功能,提高了在Kubernetes上跨租户或跨环境部署多个Alluxio集群时的可扩展性。
多Alluxio集群的联合(federation)是通过元数据同步实现的。不同的Alluxio实例之间知道各自对于元数据的修改情况,实现元数据的互通,从而自动保持元数据同步。当部署卫星集群架构时,此功能尤其有用,数据生产者在更新数据湖时可与数据消费者实现隔离。
开始部署前,可通过点击查看文档
新增Kubernetes Operator,提升Alluxio的可管理性
在Kubernetes上运行Alluxio有助于将部署策略标准化,使得数据技术栈可移植到任何环境。新版本增加了Alluxio Operator,可简化多个Alluxio集群的部署和管理。
管理员如今可以通过CRD(自定义资源)轻松部署和管理Alluxio。使用Alluxio Operator可降低管理多个Alluxio实例的负担。
开始部署前,可点击查看文档,了解详情。
强化S3 API安全性
新版本进一步强化了S3 API功能,管理员可通过统一命名空间来集中管理身份验证和访问控制策略,实现无论是在本地还是跨云异构存储均能达到统一的安全保护。
新版本增加了对S3 API开放式身份验证协议的支持,确保在处理Alluxio的用户请求之前对其进行验证。这项新功能允许数据平台团队连接到身份管理系统(例如 PingFederate),并使用单点登录 (SSO)。
开始部署前,可点击查看文档,了解详情。
想要了解更多关于Alluxio的干货文章、热门活动、专家分享,可点击进入【Alluxio智库】:

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Service Mesh 的下一站是 Sidecarless 吗?
文|田阳 (花名:烈元) MOSN Maintainer 专注云原生等技术领域 本文3042字 阅读10 分钟 1.背景 Service Mesh被越来越多的公司认可并实践,在实际落地过程中也遇到了形形色色的问题,同时架构也在持续演进去解决这些问题:有的从初始的 DaemonSet mode 转变为 Sidecar mode,如 Linkerd ;有的从做 CNI 延伸到 Service Mesh 场景, 结合 eBPF 使用 DaemonSet mode,如 Cilium ;如今 Istio 也新增了 Ambient Mesh ,支持 DaemonSet mode 作为其主推模式。 不难看出一个演进趋势就是围绕着是否需要 Sidecar 而展开,那么 Service Mesh 的下一站将会是 Sidecarless 吗?本文将对目前的社区趋势做一个简要分析, 最后也将介绍蚂蚁在这方面的探索和实践。 2. 社区趋势 2.1 Cilium Cilium[1]是目前最火的云原生网络技术之一,基于革命性的内核技术 eBPF,提供、保护和观察容器工作负载之间的网络连接。 在 6 月份,Cili...
- 下一篇
Uber应用分享 | 使用 Parquet Page Index 加速 Presto 查询
引言 当前,数据量呈快速增长态势,给诸如 Presto 等查询引擎带来了挑战。 Presto 作为一种流行的交互式查询引擎,具有可扩展、高性能并可与 Hadoop 进行平滑集成的特性。随着数据量的增长,Presto 需要读取更大的数据块并将其加载到内存中,继而导致IO、内存占用增大以及 GC 时间变长等。 Apache Parquet 是一种可用于高效存储和检索数据的开源列式文件格式,提供高效的数据压缩和编码方案,性能更优,能批量处理复杂的数据。 我们先前已经采取了一些措施来加快 Presto 对 Parquet 数据的读取速度,但需要读取的数据量依旧很大。从 Java 版本的 Parquet(parquet-mr 1.11.0) 开始,Parquet 添加了一个名为 Page Index 的特性,通过在列块(column chunk)中过滤不必要的 Parquet 页(page)来加快查询速度。 本文就该特性、移植到 Presto 的状态以及基准测试结果进行了介绍。 统计信息 Parquet 文件元数据包含有关文件中数据的最小/最大值的统计信息。对于一个给定 filter 的查询而言...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS8安装Docker,最新的服务器搭配容器使用
- Linux系统CentOS6、CentOS7手动修改IP地址
- 2048小游戏-低调大师作品
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS8编译安装MySQL8.0.19
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2整合Thymeleaf,官方推荐html解决方案