新一代大数据任务调度系统 Apache DolphinScheduler 1.3.7 发布-低调大师

新一代大数据任务调度系统 Apache DolphinScheduler 1.3.7 发布

2021-08-19 750

在1.3.7版本中，我们在Doker&k8s这里做了许多优化，比如提高python home的兼容性，镜像支持多架构，尤其是 docker-compose [改进][Docker] Docker 镜像应该支持多架构，如 docker-compose 中的 arm64，系统默认参数优化等等，同时对于一些用户体验的问题做了相关优化，欢迎关注这个版本。

Feature/Update
[#5405][改进]Docker 和 K8s 改进计划第 2 轮
[#5858][改进][Docker] Docker 镜像支持多架构，如 docker-compose 中的 arm64
[#5706]改进][公共] fastjson 版本升级
[#5577][改进][UI] 项目页面显示项目名称
[#5567][改进][UI] 用户分享URL链接的时候添加增加项目ID，
[#5475][改进][Api]远程上传文件系统失败后清除本地tmp文件
[#5468][改进][Net]复杂网络环境下优化IP获取
[#5467][改进][UI] 解决浏览器兼容问题，如IE、360等。[#5570][改进][Worker] 更新worker.properties 配置文件
BUGFIX
[#5719][Bug][K8s] Ingress ERROR io.k8s.api.networking.v1beta1.IngressSpec.tls: got "map", expected "array" On TLS enabled
[#5699][Bug][UI] 更新用户信息错误
[#5596][Bug][Python] dolphinscheduler_env.sh 中 python_home 和 datax_home 配置冲突
[#5559][Bug][Master Server] Master Server 已关闭，但进程仍在中
[#5581][Bug][Mysql] MySQL 部分字段长度调整
[#5578][Bug][Master] ServerNodeManager WorkerGroupListener 数据监听无序，导致特殊情况下会出现获取数据失败
[#5550][Bug][Master] 当worker宕机后，Kill Yarn任务时出现NPE
[#5549][Bug][WorkerServer] SqlTask NPE
[#5431][Bug][K8s] Master 和 Worker 无法在 1.3.6 中使用自定义 DNS 获得正确的地址

1.3.7 下载地址：https://dolphinscheduler.apache.org/en-us/download/download.html

Apache DolphinScheduler 社区介绍

新一代大数据任务调度 - Apache DolphinScheduler 继 11 月 19 日由 InfoQ 举办、在 300+ 参评项目中脱颖而出获得 “2020 年度十大开源新锐项目” 和 “2020 年度最具人气新锐项目” 以来，近期社区又荣获 OSCHINA 年度 “最佳技术团队” 称号，非常欢迎更多小伙伴加入到贡献队伍中来，为中国的开源崛起贡献自己的一份力量。

DolphinScheduler 介绍

Apache DolphinScheduler(incubator) 于 17 年立项， 19 年 3 月开源，8 月进入 Apache 孵化器，21年3月毕业成为Apache顶级项目。据不完全统计，已有 400+ 公司在生产上使用。DolphinScheduler 致力于“解决大数据任务之间错综复杂的依赖关系，使整个数据处理流程直观可见”。DolphinScheduler以 DAG(有向无环图) 的方式将 Task 组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。DolphinScheduler 专注于以下 6 个主要能力

Apache 组织崇尚 “社区大于代码”，DolphinScheduler 目前微信用户群近 4000 人，社区目前有 200 + 贡献者，来自 80+ 家公司、机构和高校(部分统计)

文档贡献者：

代码贡献者：

部分用户案例

据不完全统计，目前已经有 400 + 家公司及机构采用 DolphinScheduler 在生产环境使用，以下是部分案例(排名不分先后)

此外，还有 1700+ 用户注册了 demo 试用，欢迎大家先体验，十分欢迎对比哈。

参与贡献

随着国内开源的崛起，DolphinScheduler迎来了蓬勃发展，为了做更好用的调度，真诚欢迎热爱开源的伙伴加入到开源社区中来，为中国开源崛起献上一份自己的力量，青春在开源上留下一点印记

参与 DolphinScheduler 社区有非常多的参与贡献的方式，包括：

贡献第一个PR(文档、代码) 我们也希望是简单的，第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度

社区汇总了以下适合新手的问题列表：https://github.com/apache/dolphinscheduler/issues/4124

如何参与贡献链接：https://dolphinscheduler.apache.org/en-us/community/development/contribute.html

文档github 地址：https://github.com/apache/dolphinscheduler-website

来吧，DolphinScheduler开源社区需要您的参与，为中国开源崛起添砖加瓦吧，哪怕只是小小的一块瓦，汇聚起来的力量也是巨大的

如果您想参与贡献，却发现上述方法都搞不明白，也没关系，我们有个开发者种子孵化群，可以添加微信(dailidong66) 手把手教会您，添加时请说明想参与贡献哈

DolphinScheduler开源社区非常期待您的参与。

喜欢❤️ DolphinScheduler 的话，别忘了 Star 收藏一下哟～

微信关注我们

原文链接：https://www.oschina.net/news/156246/dolphinscheduler-1-3-7-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

微服务架构如何避免大规模故障？

微服务架构通过一种良好的服务边界划分，能够有效地进行故障隔离。但就像其他分布式系统一样，在网络、硬件或者应用级别上容易出现问题的机率会更高。服务的依赖关系，导致在任何组件暂时不可用的情况下，就它们的消费者而言都是可以接受的。为了能够降低部分服务中断所带来的影响，我们需要构建一个容错服务，来优雅地应对特定类型的服务中断。本文基于一些在RisingStack的顾问咨询与开发经验，介绍了如何运用一些最常用的技术和架构模型，去构建与维护一个高可用的微服务系统。如果你不熟悉本文中的模式，并不意味着你做错了什么。毕竟构建一个高可用的系统需要很多额外的付出。 *微服务架构的风险 The Risk of the Microservices Architecture 微服务的架构将应用的逻辑移动到一个服务里面，服务之间通过网络层进行通信交互。通过网络通信交互的方式取代了内存的调用，同时需要多个物理和逻辑组件之间的相互协作，给系统带来了额外的延迟性与复杂性。分布式系统复杂性的增加，导致了特定网络故障的可能性变得更大。微服务允许你实现优雅的服务降级，因为组件可以被单独的设置为失败。团队可以独立地设计...

2021-08-19

485

CNCF技术监督委员会[1]（TOC）投票通过了将 KEDA 作为 CNCF 孵化项目的决定。 KEDA[2]（Kubernetes Event-Driven Autoscaling，Kubernetes 事件驱动自动伸缩）是 Kubernetes 的单用途事件驱动自动伸缩器，可以很容易地添加到 Kubernetes 集群中，以伸缩应用程序。它旨在简化应用程序的自动伸缩，并通过支持伸缩至零来优化成本。 KEDA 成立于 2019 年 5 月，是微软和 Red Hat 的合作伙伴，并于2020 年 3 月[3]加入 CNCF 沙箱。自从加入沙箱项目以来，该项目的最终用户数量迅速增长，其中包括阿里巴巴[4]、CastAI[5]、毕马威、Meltwater、微软等用户[6]。项目团队由来自微软、红帽和 Codit3 个组织的 4 名维护人员[7]组成。在沙箱中，该团队还添加了 TriggerAuthentication 和 ClusterTriggerAuthentication，允许用户将身份验证信息移出应用程序，提供生产级安全性并允许重用。在社区的帮助下，KEDA 的伸缩器从 12 个...

2021-08-19

839

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。