新一代大数据管家 DataSophon 1.2.0 正式发版
DataSophon 是一个国产开源的大数据管理平台,在兼顾传统 Hadoop 组件的同时又支持新一代大数据组件栈,并且支持云原生的能力,致力于快速实现大数据组件部署、管理、监控以及自动化运维管理,旨在帮助用户快速构建稳定、高效、自愈、可弹性伸缩的大数据云原生平台。项目自开源以来,得到了很大关注,社区发展迅速,近日 DataSophon 社区正式发布了 1.2.0 版本,带来了诸多改进和新功能的更新,具备更高的可用性和稳定性,欢迎大家下载使用。
Github: https://github.com/datavane/datasophon
Gitee: https://gitee.com/datavane/datasophon
欢迎 使用、关注、star、fork
新特性解读
1.2.0 版本,作为 DataSophon 开源之后发布的第一个版本,因此团队非常重视。在该版本全面支持了 Apache Doris,通过 DataSophon 可以便捷的部署、管理、监控 Doris。除此以外本次新增了初始化模块,可以自动完成集群环境初始化工作,避免因环境不一致导致集群安装失败的问题;还优化服务指令执行流程等... 该版本新增了诸多新功能、优化和修复了很多问题。
1. 全面支持 Apache Doris
Apache Doris 是基于 MPP 架构的新一代开源实时数据仓库,以极速易用的特点被人们所熟知, 在实时数仓和数据分析领域越发流行,本次 DataSophon 对 Doris 做了全面的支持,现在可在 DataSophon 上轻松的完成 Apache Doris 的集群部署和运维管理。
集群部署
在 Doris 集群部署方面,本次的新版本能够自动将 Apche Doris 的 Follower、Observer、Be 等多种角色添加到集群中,全程界面化操作,动动鼠标即可完成,部署进度一目了然,大大省去了手动添加角色的麻烦,轻松实现集群的快速扩展和管理。
集群监控
对于 Apache Doris 集群的各项监控指标,也重点做了支持。您可以的在 DataSophon 中获得 Doris 集群的实时指标的各项信息,包括集群的节点数、详情、连接信息、运行状态和 CPU、JVM、内存、磁盘大小和 IO 的使用情况... 。此外,您还可以查看集群的任务运行情况和其他详细信息,以便更好地了解集群的运行状况。
集群运维
在集群运维方面 DataSophon 支持对 Doris 整个集群、FE、BE 节点进行启动、停止、重启等常规操作,同时支持了对 Doris FE、BE 节点进行在线扩/缩容。可以很轻松的设置 Doris 的监控指标和告警,Apache Doris 各项参数也可以很方便的进行单个或批量设置,同时提供进入Doris 的原生WebUI 的入口,DataSophon 中 提供的各种丰富的运维操作可以极大的方便用户去运维管理 Doris 。
2. 新增多个监控指标
本次新增了多个生产环境中普遍关心的运维指标,旨在满足大数据集群生产环境中的关键需求。这些运维指标的引入,使得用户能够更加有效地管理大数据集群,提高集群性能,降低故障率,从而实现高效运维。主要新增指标如下:
-
HDFS 整个集群的客户端连接数。
-
NameNode 丢失的块数。
-
DataNode RPC 被调用次数。
-
DataNode RPC 队列积压长度。
-
DataNode RPC 平均处理时间。
-
ResouceManager RPC 队列平均处理时间。
-
ResouceManager RPC 队列积压长度。
-
NodeManager Container 启动个数。
-
NodeManager Container 正在运行个数。
-
NodeManager Container 初始化中个数。
-
NodeManager 磁盘损坏个数。
3. 新增初始化模块
在集群部署过程中,都需要进行集群环境初始化,例如配置主机名、配置免密登录、安装离线 yum 源等初始化环境操作。DataSophon 通过 datasophon-init 模块自动初始化安装和配置所需的依赖项,省去手动安装和配置的繁琐步骤,从而大大提高部署效率,减少因集群环境不一致导致集群安装失败的风险。
同时为了方便运维人员操作和使用,系统不仅提供了友好的用户界面还提供了二次开发接口。通过自定义扩展二次开发,可以实现与不同类型的操作系统的兼容,满足不同用户的需求。这样一来,用户可以根据自己的实际情况进行灵活的配置和部署,提高了工作效率和准确性。
4. 其他改进和更新
1、升级 SpringBoot 版本为 2.6.1。
2、新增项目启动时自动创建数据表和初始化数据功能。
3、优化服务指令执行流程,避免出现服务指令进度卡死的情况。
4、优化 Hive 默认使用 Hive on YARN 环境配置。
5、新增集群删除功能。
6、修复不选择安装的服务实例时依然生成服务指令的问题。
7、修复租户管理中租户列表分页不生效的问题。
8、修复服务角色实例警告报警状态无法恢复的问题。
9、修复租户管理租户列表和用户组列表未按集群隔离的问题。
10、修复 Doris 安装部署时,未自动生成 Doris BE 数据目录的问题。
11、修复 HDFS 安装部署时出现找不到 keystore 文件的问题。
12、 修复项目启动时出现的 "because it exists, maybe from xml file" 错误。
新官网上线
本次 DataSophon 上线了新官网,也完善了相关使用文档。在此感谢 Apache StreamPark 社区提供的技术支持,感谢 @songjianet、@haitaodesign 对官网的贡献。
感谢贡献者
DataSophon 开源社区的发展,离不开广大用户群体的积极反馈和宣传布道,更离不开贡献者们的无私贡献,感谢对此版本做出贡献的每一位贡献者。
致谢名单(排名不分先后):
88fantasy、a19920714liou、haitaodesign、WujieRen、thomasg19930417、AllDataDC、zhaoxiaoyi、liu-hai、gtk96、lnnlab、javaht、hzluting、zhzhenqin、liugddx、zq0757、chenss-1、zhu-mingye、zhangdw123、liuxin319、whybeyoung、hitozhu、green241、chyueyi、zhegemingzimeibanquan、songjianet
加入我们
DataSophon 项目自开源以来,得到了很大关注,社区发展迅速, 越来越多的用户开始在生产环境部署使用 DataSophon,开发者也逐渐变多。如果 DataSophon 项目对您有帮助,请在 Gitee 或 Github 搜索 DataSophon 支持一下,点击 star 加关注。
我们时刻明白项目只有真正解决问题, 给用户带来实际的价值才是立命之本,大力发展社区和贡献者才有出路, 目前我们正在努力构建发展社区,我们坚信道阻且长,行则将至,竭诚欢迎广大的开发者和我们一起建设 DataSophon 项目,共同推动项目的发展。
💻 项目地址:
https://github.com/datavane/datasophon
https://gitee.com/datavane/datasophon
🧐 提交问题和建议:https://github.com/datavane/datasophon/issues
🥁 贡献代码:https://github.com/datavane/datasophon/pulls
💁♀️ 官方文档:https://datasophon.github.io/datasophon-website
关于Datavane
Datavane 是一个专注于大数据领域的开源组织(社区),由一群大数据领域优秀的开源项目作者共同创建,旨在帮助开源项目作者更好的建设项目、为大众提供高质量的开源软件,宗旨是:只为做一个好软件。目前已经聚集了一批优质的开源项目,涉及到数据集成、大数据组件管理、数据质量等。
在 Datavane 社区中,所有的项目都是开源开放、代码质量和架构设计优质的高潜力项目。社区保持开放中立、协作创造、坚持精品,鼓励所有的开发者、用户和贡献者积极参与我们的社区、共同合作,创新创造,建设一个更加强大的开源社区。
官 网:www.datavane.org
Github: https://github.com/datavane
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
【店滴云】民宿物联网业务管理系统拥抱 hyperf
店滴云民宿管理系统1.4发布,借助hyperf提升物联网响应速度 我们很高兴地宣布,店滴云民宿管理系统迎来了1.4版本的重要更新!本次更新旨在优化系统性能,提升用户体验,并借助hyperf框架加快物联网响应速度。 在本次更新中,我们重点关注了用户体验的提升。首先,我们新增了用户角色管理功能,允许房东和房客创建个人资料,从而更好地管理住宿预订和住宿体验。同时,我们优化了系统界面,使之更加简洁易用,帮助用户更快速地找到所需功能。 在性能方面,我们借助hyperf框架对物联网响应速度进行了优化。通过引入并行处理和异步操作,我们显著提高了系统吞吐量和响应速度。这意味着用户可以更快地获取设备状态、实时数据等信息,从而更高效地管理民宿运营。 为帮助用户更好地理解和使用更新后的系统,我们准备了详细的用户指南。在指南中,我们将引导用户完成系统配置、角色设定、设备连接等操作,并提供常见问题解答。请用户在升级前确保充分了解并掌握使用方法,以最大程度地发挥新版本系统的优势。 总之,店滴云民宿管理系统1.4版本的更新为用户带来了诸多新功能和性能优化。我们相信,借助本次更新,用户将能更高效地管理民宿运营,并获得...
- 下一篇
PlayEdu v1.4 发布,机构培训解决方案
官网:https://playedu.xyz PlayEdu 是基于 SpringBoot3 + Java17 + React18 开发的企业内部培训系统。它专注于提供私有化部署方案,包括视频,图片等资源的内网部署。目前主要支持有本地视频上传播放、学员邮箱登录、无限级部门、无限级资源分类、学员在线学习等主要功能。 更新 新增 Window AD 域登录和部门同步功能 新增资源菜单、分类菜单、文件上传权限 新增PC学院端口学习禁止多窗口播放 兼容安卓版本钉钉 修复学员批量导入返回列表数据未刷新Bug 修复线上课添加无章节切换到有章节数据未清空Bug 修复部门学员学习进度明细导出超过第二页数据为空bug 源代码 https://gitee.com/playeduxyz/playedu https://github.com/playedu/playedu 页面展示
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- CentOS8编译安装MySQL8.0.19
- Red5直播服务器,属于Java语言的直播服务器
- 设置Eclipse缩进为4个空格,增强代码规范
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Linux系统CentOS6、CentOS7手动修改IP地址
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题