首页 文章 精选 留言 我的

精选列表

搜索[k],共10000篇文章
优秀的个人博客,低调大师

近 80k star,这个强大的 Open WebUI 自托管 AI 项目不能错过

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台,完全支持离线运行。它支持多种 LLM(大型语言模型)运行器,如 Ollama 和 OpenAI 兼容 API,并内置了用于 RAG 的推理引擎,使其成为一个强大的 AI 部署解决方案。 更多信息,请查看我们的Open WebUI 文档。 Open WebUI 的关键特性⭐ 🚀轻松设置:使用 Docker 或 Kubernetes(kubectl、kustomize 或 helm)无缝安装,支持:ollama和:cuda标签的镜像,体验无忧。 🤝Ollama/OpenAI API 集成:轻松集成 OpenAI 兼容 API,与 Ollama 模型一起进行多样化的对话。自定义 OpenAI API URL,连接到LMStudio、GroqCloud、Mistral、OpenRouter 等。 🛡️细粒度权限和用户组:管理员可以创建详细的用户角色和权限,确保安全的用户环境。这种细粒度的控制不仅增强了安全性,还能为用户带来定制化的体验,培养用户的归属感和责任感。 📱响应式设计:在桌面电脑、笔记本电脑和移动设备上享受无缝体验。 📱移动设备上的渐进式 Web 应用(PWA):通过我们的 PWA 在移动设备上享受类似原生应用的体验,提供离线访问 localhost 和无缝用户界面。 ✒️🔢完整支持 Markdown 和 LaTeX:通过全面支持 Markdown 和 LaTeX,提升你的 LLM 体验,实现更丰富的交互。 🎤📹免提语音/视频通话:通过集成的免提语音和视频通话功能,体验无缝沟通,让聊天环境更加动态和互动。 🛠️模型构建器:通过 Web UI 轻松创建 Ollama 模型。通过Open WebUI 社区集成,创建和添加自定义角色/代理、自定义聊天元素以及轻松导入模型。 🐍原生 Python 函数调用工具:通过在工具工作区中内置代码编辑器支持,增强你的 LLM。通过添加纯 Python 函数,实现与 LLM 的无缝集成。 📚本地 RAG 集成:借助开创性的检索增强生成(RAG)支持,开启聊天互动的未来。你可以直接在聊天中加载文档,或通过#命令在查询前访问文档库中的文件。 🔍RAG 的网络搜索:使用SearXNG、Google PSE、Brave Search、serpstack、serper、Serply、DuckDuckGo、TavilySearch、SearchApi和Bing等提供商进行网络搜索,并将结果直接注入到聊天体验中。 🌐网络浏览功能:通过在#命令后跟上 URL,将网站无缝集成到聊天体验中。此功能允许你将网络内容直接融入对话中,提升互动的丰富度和深度。 🎨图像生成集成:通过使用 AUTOMATIC1111 API 或 ComfyUI(本地)以及 OpenAI 的 DALL-E(外部)等选项,无缝融入图像生成能力,为你的聊天体验增添动态视觉内容。 ⚙️多模型对话:轻松与多种模型同时互动,发挥它们的独特优势,获得最佳响应。通过并行使用多种模型,提升你的体验。 🔐基于角色的访问控制(RBAC):通过限制权限确保安全访问;只有授权人员可以访问你的 Ollama,模型创建/拉取权限仅限管理员。 🌐🌍**多语言支持*/:通过我们的国际化(i18n)支持,用你偏好的语言体验 Open WebUI。加入我们,共同扩展支持的语言!我们正在积极寻找贡献者! 🧩管道、Open WebUI 插件支持:通过Pipelines 插件框架,将自定义逻辑和 Python 库无缝集成到 Open WebUI 中。启动你的 Pipelines 实例,将 OpenAI URL 设置为 Pipelines URL,探索无限可能。示例包括函数调用、用户速率限制以控制访问、使用 Langfuse 等工具进行使用情况监控、通过 LibreTranslate 进行实时翻译以支持多语言、有毒信息过滤等。 🌟持续更新:我们致力于通过定期更新、修复和新功能来改进 Open WebUI。 想了解更多关于 Open WebUI 的特性吗?请查看我们的Open WebUI 文档,获取全面的概述! 🔗还要查看 Open WebUI 社区! 别忘了探索我们的姊妹项目Open WebUI 社区,在这里你可以发现、下载和探索定制化的 Modelfiles。Open WebUI 社区为通过 Open WebUI 增强你的聊天互动提供了广泛的可能性!🚀

优秀的个人博客,低调大师

28.1K Star!Json格式可视化交互式图表-JSON-Crack

应用简览 JSON Crack 是一款免费的开源数据可视化应用程序,能够将 JSON、YAML、XML、CSV 等数据格式可视化为交互式图表。凭借其直观且用户友好的界面,JSON Crack 可以轻松探索、分析和理解即使是最复杂的数据结构。 主要功能 深色模式。 支持多种视图以便查看 JSON:图形化、树视图、JSON 视图等 使用 AI 转换和过滤数据。 导出到 PNG、SVG、JPEG 和剪贴板。 通过触摸手势支持缩放和平移。 支持 JSON、YAML、CSV、XML、TOML 等数据格式... JQ、JSON 架构、解码 JWT、生成类型和接口。 广泛的工具 - 搜索图、json 路径、验证、保存到云... 可嵌入 iframe 小部件。 应用特色 一、视图模式 支持拓扑图与树形图视图模式,使用户能够根据需求选择适合的数据展示方式,增强数据结构的可视化理解,同时图形界面还可以折叠以及修改数据。 二、支持多种格式 适用于 JSON、YAML、CSV、XML、TOML 等多种数据格式,尽管 TOML 支持仍在完善中,扩大了应用的适用范围。 三、Json 文件和 URL 导入数据 允许用户直接从本地文件或通过 URL 导入 JSON 数据,提供了一个灵活且高效的数据处理方式。 四、图形模式快捷键 集成快捷键操作,包括旋转布局、折叠展开节点和聚焦特定元素,简化了图形界面的操作,提升用户体验。 安装指南 进入云原生应用市场 搜索 JSON-Crack 进入详情,选择包类型(本应用支持,docker安装,ram安装) 点击安装,执行相应命令即可。如有疑问可参阅使用文档或加入社区 关于云原生应用市场 云原生应用市场是一个汇聚了各类开源软件的应用市场,不仅可以作为你自己的 Helm Chart 仓库,提供丰富多样的Helm应用,还有 Docker 应用、Rainbond 应用模板、信创应用等多种选择。 官网:https://hub.grapps.cn/ 微信群:关注 云原生应用市场 公众号加入技术交流群

优秀的个人博客,低调大师

6.6k Star! 一款高度自定义配置导航聚合页— Heimdall

互联网充满了无穷无尽的信息和网站,这可能让人感到信息过载。导航页的强大之处在于,它为用户提供了一个聚焦点,能够快速访问他们经常使用的网站,无需每次输入网址或进行繁琐的搜索。 应用简览 Heimdall 是一款开源的自托管的应用仪表板,旨在帮助用户集中管理他们的网络服务、应用程序和资源。可以根据自身需求和兴趣个性化定制导航页,将最常访问的网站汇聚在一个便捷的地方。这使得用户能够在同一个页面上一览我们自己常用网站,无需频繁切换不同的标签或窗口,维护了一个整洁而高效的浏览体验。 主要功能 个性化仪表板: Heimdall 提供一个可自定义的仪表板,用户可以添加、移动和组织他们常用的应用、服务和链接,以满足其需求。 应用程序和服务集成: 用户可以将各种网络应用程序和服务集成到 Heimdall 仪表板中,包括网站、自托管的应用、Docker 容器、云服务等,从而在一个位置方便地访问它们。 外观和主题自定义: Heimdall 允许用户自定义仪表板的外观和主题,包括选择不同的布局、颜色方案和图标,以满足他们的审美偏好。 搜索功能: Heimdall 具备强大的搜索功能,可以同时支持谷歌、Bing、DuckDuckGo 等多种搜索引擎。 安全性和身份验证: 用户可以添加安全性措施,例如用户名和密码或其他身份验证方法,以确保只有授权用户可以访问仪表板,帮助保护敏感信息和资源。 多用户支持: Heimdall 支持多用户,这意味着团队成员可以共享一个仪表板,并根据权限级别进行访问和编辑,促进协作和资源共享。 开源和免费: Heimdall 是一个开源项目,完全免费使用,用户可以根据需要进行自定义和修改,使其适应特定要求。 快速链接: 用户可以轻松添加快速链接到他们最喜欢的网站,以便快速访问。 应用特色 一、支持多种搜索引擎 Heimdall 支持多种搜索引擎,使用户能够根据他们的偏好选择其首选搜索引擎,并在仪表板中快速访问这些搜索引擎。 二、自定义上传背景 可以轻松自定义仪表板的背景,通过上传自己喜欢的图像或选择其他背景选项,让仪表板更具个性。 三、编辑可配置项 Heimdall 提供了广泛的编辑和配置选项以及预览功能,用户可以根据自己的需求调整仪表板的布局、颜色、字体等可配置项,以满足个性化需求。 四、管理界面 Dashboard 通过 Heimdall 的直观管理界面,用户能够轻松管理和配置他们的仪表板,包括添加、删除和组织应用程序、设置权限等。 五、支持添加多用户 Heimdall 具备多用户支持功能,这意味着多个用户可以共享同一个仪表板,并根据权限级别进行访问和编辑,适用于团队共享和协作的场景。 安装指南 进入云原生应用商店 搜索 Heimdall 进入详情,选择包类型(本应用支持,docker安装,ram安装) 点击安装,执行相应命令即可。如有疑问可参阅使用文档 或加入社区 关于云原生应用市场 云原生应用市场是一个汇聚了各类开源软件的应用市场,不仅可以作为你自己的 Helm Chart 仓库,提供丰富多样的Helm应用,还有 Docker 应用、Rainbond 应用模板、信创应用等多种选择。 官网:https://hub.grapps.cn/ 微信群:关注 云原生应用市场 公众号加入技术交流群

优秀的个人博客,低调大师

9k Star! 一款灵活、强大、易用的开源运维平台——Spug

运维平台是运维管理任务的重要组成部分,它主要负责监控系统的运行情况,及时发现系统的故障,其中包括性能分析、监控、故障诊断等。 同时,运维管理平台可以通过简单的操作完成系统的配置和更新,以及自动管理系统的日常运行。 应用简览 Spug是面向中小型企业设计的轻量级无Agent的自动化运维平台,整合了主机管理、主机批量执行、主机在线终端、应用发布部署、在线任务计划、配置中心、监控、报警等一系列功能。 主要功能 批量执行: 主机命令在线批量执行 在线终端: 主机支持浏览器在线终端登录 文件管理: 主机文件在线上传下载 任务计划: 灵活的在线任务计划 发布部署: 支持自定义发布部署流程 配置中心: 支持KV、文本、json等格式的配置 监控中心: 支持站点、端口、进程、自定义等监控 报警中心: 支持短信、邮件、钉钉、微信等报警方式 优雅美观: 基于 Ant Design 的UI界面 开源免费: 前后端代码完全开源 应用特色 一、清爽简约的页面设计 Spug采用了经典的布局方式,将左侧作为导航栏,右侧用于显示内容目录。这种布局符合人们从左到右的阅读习惯,因此成为默认的访客页面布局。这种设计有助于用户更轻松地浏览和导航网站内容,提供了直观的阅读体验。 二、批量操作的便捷性 Spug具备维护命令模板和批量远程执行命令两个重要功能,通常用于执行一些临时任务,例如批量安装/卸载依赖包等。 三、智能任务计划 Spug拥有任务计划功能,用户可以在界面中轻松创建和管理任务,包括定时任务和一次性任务等。此外,用户还可以通过界面方便地操作任务,如执行、暂停和删除等。 四、直观的监控数据展示 Spug提供了丰富的监控指标,用户可以通过监控面板直观地了解服务器的状态和性能。监控指标包括CPU使用率、内存使用率、磁盘空间、网络流量等,使用户能够随时监控服务器的健康状况。 五、强大的用户权限管理 Spug拥有完善的用户权限管理功能,支持用户创建、角色分配和权限控制。用户可以根据需求精确控制不同用户对功能和资源的访问权限,从而提高系统的安全性。 安装指南 进入云原生应用商店 搜索 Spug 进入详情,选择包类型(本应用支持,docker安装,ram安装) 点击安装,执行相应命令即可。如有疑问可参阅使用文档 或加入社区 关于云原生应用市场 云原生应用市场是一个汇聚了各类开源软件的应用市场,不仅可以作为你自己的 Helm Chart 仓库,提供丰富多样的Helm应用,还有 Docker 应用、Rainbond 应用模板、信创应用等多种选择。 官网:https://hub.grapps.cn/ 微信群:关注 云原生应用市场 公众号加入技术交流群

优秀的个人博客,低调大师

17.9k Star!奥巴马与白宫都在使用的开源网站建站程序——WordPress

博客最初的名称是Weblog,由web和log两个单词组成,按字面意思就为网络日记,后来喜欢新名词的人把这个词的发音故意改了一下,读成we blog,由此,blog这个词被创造出来。中文意思即网志或网络日志,是一种在线日记型式的个人网站,借由帖子、图片或视频来记录生活、抒发情感或分享信息。 应用简览 WordPress是一个以PHP和MySQL为平台的自由开源的博客软件和内容管理系统。根据2019年10月的全球统计数据,超过34.7%的网站采用WordPress构建,这意味着每3个网站中就有1个使用WordPress,无论是个人博客还是美国白宫官方网站都在其中。如果按照1.72亿个活跃网站的总数来估算,目前大约有6000万个网站正在使用WordPress。其含金量可见一斑。 主要功能 内容管理 WordPress可用于管理各种类型的内容,不仅限于博客文章。 主题和外观 WordPress提供了各种主题和外观。用户可以选择现成的主题或自定义设计主题。 插件扩展 用户可以通过安装插件来扩展WordPress的功能,这些插件可以用于添加各种功能。 用户和权限管理 WordPress具有灵活的用户角色和权限管理系统,允许站点管理员控制不同用户的访问级别和权限。 搜索引擎优化(SEO) WordPress具有优化内容以提高搜索引擎排名的功能,还有许多SEO插件可供选择。 多语言支持 WordPress支持多语言内容,使您能够创建多语言站点,以满足全球受众的需求。 应用特色 一、多语言支持 WordPress的系统提供多语言界面,其中包括中文,以满足不同地区和用户的语言需求。这意味着用户可以在最熟悉和舒适的语言环境下使用WordPress。 二、海量主题 WordPress拥有一个庞大的主题库(接近一万两千套主题),其中包含各种各样的主题供用户选择。这些主题具有不同的外观和风格,从简约的博客主题到专业的企业主题,再到创意的艺术和摄影主题,应有尽有。这意味着用户可以轻松地根据其网站的用途和品味选择适合的主题。 三、丰富的插件生态 WordPress的插件生态系统是其成功的一个关键因素之一。它拥有一个庞大而多样化的插件市场,为用户提供了许多可用于扩展和增强其网站功能的选项。 四、SEO优化 WordPress是一个在搜索引擎优化(SEO)方面表现出色的平台。它提供了一系列内置功能和插件,帮助用户优化他们的网站以提高在搜索引擎中的可见性和排名。 五、活跃的社区 WordPress社区是一个多层次、互帮互助的生态系统,提供广泛的技术支持、教育资源、开发合作机会和包容性环境,为推动WordPress平台的不断发展和创新发挥了至关重要的作用,拥有庞大而充满活力的社区。 安装指南 进入云原生应用商店 搜索 WordPress 进入详情,选择包类型(本应用支持,docker安装,ram安装) 点击安装,执行相应命令即可。如有疑问可参阅使用文档 或加入社区 关于云原生应用市场 云原生应用市场是一个汇聚了各类开源软件的应用市场,不仅可以作为你自己的 Helm Chart 仓库,提供丰富多样的Helm应用,还有 Docker 应用、Rainbond 应用模板、信创应用等多种选择。 官网:https://hub.grapps.cn/ 微信群:关注 云原生应用市场 公众号加入技术交流群

优秀的个人博客,低调大师

21.8k start! 目前最强大、可扩展性最强的文档项目 -- Wiki

Wiki是一种在网络上开放且可供多人协同创作的超文本系统,由美国人沃德·坎宁安于 1995年首先开发,这种超文本系统支持面向社群的协作式写作,同时也包括一组支持这种写作。沃德·坎宁安将 Wiki定义为“一种允许一群用户用简单的描述来创建和连接一组网页的社会计算系统”。 Wiki站点可以有多人(甚至任何访问者)维护,每个人都可以发表自己的意见,或者对共同的主题进行扩展与探讨。 应用简览 Wiki.js 是一款基于Node.js的开源、现代、轻量级和强大wiki应用程序。其界面简洁且美观、功能丰富且强大。适合做小团队的知识库,一方面方便管理和阅读,另一方面还能协同创作。 主要功能 界面简洁美观:样式精美,友好易用 权限管理灵活:根据角色和需求,精确控制权限,确保系统安全和高效运行 支持多种编辑器: code(可编写 html 页面),markdown(在编辑页面可看到页面效果),visual editor(功能强大的文本编辑器,所见即所得) 多种用户验证方式:包括Github、Gitlab、Auth0等,应用灵活,确保多样性用户需求得以满足 多种备份存储方式:Amazon S3、SFTP、Azure Blob Storage等,也可选择本地文件备份,支持每日备份 强大搜索功能:支持全局和关键字搜索,确保快速定位所需信息 支持网站分析工具:Google Analytics、百度统计、Matomo、StatCounter等等,共多达十几种 多语言支持 :提供多语言界面,包括中文,以适应不同地区和用户的需求 应用特色 一、多语言支持 Wiki.js的系统提供多语言界面,其中包括中文,以满足不同地区和用户的语言需求。这意味着用户可以在最熟悉和舒适的语言环境下使用Wiki.js。 二、界面简洁美观 Wiki.js提供了一个内置的UI设计,它的美观程度相对较高。同时,它采用了经典的布局方式,将左侧用作导航侧栏,右侧用于显示目录。这个布局符合人们从左到右的阅读习惯,因此也是默认的访客页面布局。这种布局设计有助于用户更轻松地浏览和导航网站内容,提供了一种直观的阅读体验。 三、支持多种编辑器 Code编辑器:对于那些擅长编写HTML页面或需要更高度定制的用户,Wiki.js提供了Code编辑器,让用户能够自由编写HTML代码,实现精确的页面设计和功能。 Markdown编辑器:对于喜欢简洁、结构化文本的用户,Wiki.js支持Markdown编辑器。在编辑页面时,用户可以立即看到Markdown代码的渲染效果,使用户可以更直观地编辑和预览内容。 Visual Editor:如果用户需要一个强大的文本编辑器,但不想与代码互动,Wiki.js提供了Visual Editor,这是一个所见即所得的编辑器。它具有丰富的功能,让用户可以直接编辑内容,无需编写代码,使编辑变得更加简单和直观。 四、权限管理灵活 Wiki.js提供了高度灵活的权限管理系统,允许用户根据不同角色和特定需求,精确控制用户权限。这确保了系统在安全性和高效性方面运行良好。无论是限制访问特定功能、页面或数据,还是分配不同级别的管理权限,都可以根据用户的需求进行精细调整,以满足组织内不同角色的要求,同时确保敏感信息的保护和系统的合规性。 五、多种用户验证方式。 Wiki.js支持多种用户验证方式,包括Github、Gitlab、Google等,这些验证方式非常灵活,可以满足不同用户的多样性需求。不管是希望使用现有的身份验证凭据,还是需要单点登录来简化访问流程,我们都提供了适用的解决方案。这使得用户可以以自己熟悉和信任的方式访问系统,提高了用户体验,同时保障了安全性。无论您的用户群体多么多样化,Wiki.js都有适合的验证方式来满足他们的需求。 六、多样化的备份存储选择 Wiki.js提供多种备份存储方式,以满足用户的数据保护需求,包含但不限于以下几种存储方式: Amazon S3:将备份存储在Amazon S3对象存储中,确保数据的高可用性和可靠性。 SFTP:使用SFTP协议将备份传输到远程服务器,以确保数据的安全传输。 Azure Blob Storage:选择Azure Blob Storage作为备份存储选项,将数据存储在Microsoft Azure云中。 本地文件备份:如果用户更倾向于将备份存储在本地环境中,Wiki.js也支持本地文件备份选项,以满足特定的需求。 此外,Wiki.js还提供每日备份功能,以确保用户的数据随时都能得到备份并保持最新。这一系列备份存储选择旨在为用户提供灵活性和可靠性,以确保数据的安全性和可恢复性。 七、积极支持多种网站分析工具 包括但不限于以下几种: Google Analytics:借助Google Analytics,您可以深入了解网站访问者的行为、来源和流量,以便做出更明智的决策。 百度统计:百度统计是中国用户常用的分析工具,可提供详细的网站数据和用户洞察。 Matomo:Matomo(以前称为Piwik)是一个开源的网站分析平台,让您完全掌控数据,并提供高级的分析功能。 StatCounter:StatCounter提供了实时网站分析,以及各种有用的统计数据,以帮助您了解访问者的习惯。 这仅是多达十几种网站分析工具中的一小部分。Wiki.js支持这些工具以满足用户的多样性需求,无论是需要基本的访问统计还是深入的用户行为分析,都能在Wiki.js平台上找到适合的解决方案。Wiki.js的目标是为用户提供详尽的网站数据,以便更好地了解和优化在线业务。 安装指南 进入云原生应用商店 搜索 Wiki 进入详情,选择包类型(本应用支持,docker安装,ram安装) 点击安装,执行相应命令即可。如有疑问可参阅使用文档 或加入社区 关于云原生应用市场 云原生应用市场是一个汇聚了各类开源软件的应用市场,不仅可以作为你自己的 Helm Chart 仓库,提供丰富多样的Helm应用,还有 Docker 应用、Rainbond 应用模板、信创应用等多种选择。 官网:https://hub.grapps.cn/ 微信群:关注 云原生应用市场 公众号加入技术交流群

优秀的个人博客,低调大师

BIGO 如何做到夜间同时运行 2.4K 个工作流实例?

点亮 ⭐️ Star · 照亮开源之路 GitHub:https://github.com/apache/dolphinscheduler ​ 精彩回顾 近期,BIGO 的大数据研发工程师许名勇在社区线上 Meetup 上给大家分享了主题为《DS 及 SPARK 在 BIGO 的应用和改进》的演讲。 主要介绍了 BIGO 如何使用 DophinScheduler 来调度以 SPARK 为主的多种类型的离线任务,以及为了满足业务需求、提升用户使用体验,在 DS 和 Spark 上所做的各种改进。 讲师介绍 ​ 许名勇 Bigo 大数据研发工程师 文章整理:白鲸开源-曾辉 今天的演讲会围绕下面三点展开: Apache DolphinScheduler 应用概况 Apache DolphinScheduler 改进 Apache Spark 改进 DS 应用概况 01 为什么选择DS? 我们原来的调度平台用过很多个,无一例外都碰到一些难以满足自身需求的痛点问题: **Oozie :**查看日志不便,缺少任务状态统计、工作流数量多了后存在调度压力等; Airflow : 需要用 python 代码来绘制 DAG,存在一定使用门槛; **Crontab:**就更原始了,而且是单点,使用不便。 经过调研后,我们最后选择 DS 调度沿用至今,因为在一定层面上 DS 满足我们所有的需求。 对于我们团队内部来说,主要的优势是: 能对工作流 DAG 可视化进行编辑,简单易用,日志查看也比较方便。 去中心化的多 master 多 worker 架构,可以线性扩展,从而保证了高可用。 支持的任务类型很丰富,契合大数据生态,方便定制和改造。 还支持补数,这个功能很实用。 当然,**选择 Apache DolphinScheduler 还有一个契机,**我们正在自研一站式的数据开发平台,需要一个新的工作流调度系统,综合所有的因素最终促成了我们选择海豚调度。 02 DS 集群概况 DS 在我们生产环境运行有1年时间了,目前部署的情况是:1台 alert 服务,3台 api 服务,10 台 master 9台 worker,这些服务混合部署在10台物理机上。 ​ 改造后的 DS 任务基本都是提交到 Yarn 上运行, Yarn 集群规模目前是有 2000 多台 node manager 节点,集群总共有 500 多 T内存、10多万 core。 ​ ​ ​ 03 DS 作业概况 关于作业情况,目前已经完成了最主要的 Oozie 工作流迁移,现在日均调度 1.8W 多个工作流实例,5W 多个任务实例。 ​ 在夜里高峰时段同时有 2400 多个工作流实例运行,这些实例主要以 Spark、Sparksql、Shell、Python、Sqoop 节点为主。 2 DophinScheduler 改进 01 用户体验提升 为了提升用户体验,我们围绕降低开发成本,简化任务配置做了很多改进。 **打通 OA ,免去注册。**方便用户登录。对于这种公司内部系统来说,还需要注册显然是不太方便的。 然后在 DAG 编辑页面完成开发、上线、树形图查看、运行、定时管理等一站式操作,尽量让用户在一个页面就能完成工作流的各个操作。 ​ 在树形图页面聚合了单个工作流定义的所有实例列表,这样可以更加清晰的看到属于当前工作流的实例。 **首页提供定时调度概况。**展示调度的实例成功与否的状态,这样用户对自己的定时调度最近运行的情况就可以一目了然, 增加页面分层级树形导航条,提供在项目、工作流、树形图页面快速切换等等。 因为用户是以项目为粒度组织工作流,一个用户可能会有多个项目,这个快速切换可以方便用户从一个项目下的工作流快速切到另一个项目下的工作流,提高用户的开发效率。关于工作流的体验改进我们还做了很多,因为篇幅有限,我就不展开来讲。如果您对此有兴趣,欢迎来社区跟我探讨。 在依赖选择方面,简化了依赖节点的配置。 原先配置一个依赖节点,是要先选择项目,再选择工作流,用户反馈使用起来不太方便,因此我们做了相关改进,在配置依赖节点的时候可以直接按工作流ID、工作流名称或工作流 owner 来搜索依赖工作流进行配置。 搜索配图 我们还在首页的详情页面,提供了便捷查看上游依赖实例详情的入口,让用户一眼就能看到当前工作流实例的上游是哪个实例没有完成。 ​ 这样可以在出现任务延迟的时候方便排查是不是上游还没完成导致的。 **除此之外,**还新增了一张表来记录工作流的上下游关系,在保存和更新工作流定义的时候去更新这个依赖表,然后提供了工作流依赖关系查看功能,以树形图的形式展示一个工作流的所有上游或是下游。 ​ 我们还支持了下游依赖的批量替换。比如,一个工作流可能有很多下游,这时因为业务需求可能希望用新的工作流替换原先这个工作流,就可以用这个功能同时把下游依赖也替换掉。 ​ 在补数方面,我们做了比较大的改进,其中最常见的业务场景,就是可以支持触发下游,用户在补数的时候可能会希望当前工作流补完了,带动下游工作流也一起补。 ​ 那这种情况下补数去触发下游,其实也是一个工作流实例的 DAG 了,因此我们不仅支持查看补数的进度,还可以知道当前补数是补到哪个工作流的哪个调度时间。 ​ 限制同一个调度时间的实例同时运行。这是因为如果一个下游有多个上游开始触发下游补数时,这个下游可能会补数补重,也就是同时有两个相同调度时间的补数实例在跑,当然用户如果误补数的话也有这种情况发生,所以我们做了限制来避免同时跑。 **告警管理,**我们把超时告警和失败告警整合到了定时调度配置页面来一起设置,并支持告警到值班组。因为我们实际需求是只需要对定时调度的实例去告警,其他手动运行或是补数的实例不需要告警,因此这两个超时和失败告警整合到定时调度配置页面,在配置调度的时候去配置告警。 ​ 告警人可以填值班组,而不仅仅是用户,值班组里的成员每天都会排班。 超时和失败告警我们改成了用户如果没处理会每小时发一次告警,原先是发送一次就没了,这有可能会让用户遗漏,导致工作流没有得到及时处理。 如果用户不需要处理这个实例或者单纯想取消告警,我们也在实例上提供了取消告警的选择。用户也可以在工作流上屏蔽告警,并且可以同时屏蔽下游。在屏蔽时间范围内将不会发送告警。 最后还提供了工作流定时调度到期提醒功能。如果工作流即将到期,将会发送通知给用户,前端页面也会增加醒目的提示提醒用户工作流快过期了,要及时延期,避免影响工作流的正常调度。 02 系统层面改进 **Worker 支持任务无需重跑的 failover。**以前 Worker 重启,Worker 上正在运行的任务需要 Kill 重新提交。 这就有几个问题: 任务运行时间比较长,直接 kill 重跑代价大; 重跑比较浪费集群资源; 限制 worker 同时运行任务数量的上限; 我们对此的优化是改造任务提交方式,不管是 shell,还是 python,java 都提交到 yarn 上去执行,不在 Worker 本地执行。 对于 spark 和 spark-sql 任务,以 cluster 模式提交到 yarn 上,client 提交完成后进程立马结束,不在 Worker 上驻留。 同时在任务实例里记录提交到 yarn 上后的 app id 信息,提交成功后开启异步任务 track 在 yarn 上的执行状态。 如果 Worker 宕机,容错后可以由其他 Worker 接管这个任务,继续 track 在 yarn 上的运行状态。这样就实现了无需任务重跑的 failover。 **Worker 任务只提交一次。**我们目前使用的还是 1.3.8 版本,容错的时候有个比较大的问题,就是会把master/worker 启动后的实例也容错,这会导致任务重复提交,由于我们是把任务提交到 yarn 上执行,重复提交表现就是:同一个任务实例同一时间会在 yarn 上有多个作业在执行。 这会导致工作流跑的数据不对,另一个就是会严重堵塞集群,影响其他工作流的正常运行。 针对这个问题,我们做了相对应的措施。 在实例表增加一个字段,master/worker 容错时根据字段来来判断实例是否需要容错。 是在 master 端重试分发 task 时,优先分发到上一次分发的 worker。 提交到 yarn 的 task 设置 yarn tags,failover 后的 task 重新分发到 worker 后如果没有 app id 信息,则通过 yarn tags 检查 yarn 上该 task 是否已经提交或者在运行了。 通过这些措施来保证 worker 提交任务只提交一次。 **降低对数据库的压力。**目前使用的这个版本 master 对线程的使用过重,对数据库有比较大的压力。每个工作流实例和任务实例都独占一个线程,状态轮询存在很多数据库 IO 操作。 另外一个是依赖节点,比如存在24小时依赖类型,这种依赖类型每个小时实例需要查一次状态,一个依赖项就要查 24 次数据库,如果这种依赖节点比较多,又是集中在某几个时刻运行,那就有可能并发查询的量过大,导致数据库活跃连接数过高,甚至打满数据库连接池,造成严重的后果。 我们对此做的优化是: 增大工作流实例和任务实例状态轮询的间隔; 实例表增加索引,加快 sql 查询速度; 依赖节点查询上游实例状态时通过随机化分散查询,降低同时查询的并发数; 增加缓存,减少不必要的重复查询; 这些措施一定程度上增加了依赖节点的执行时间,但避免了数据库活跃连接数过高的问题,提升了系统的稳定性。 支持 Spark 任务灰度 针对 Spark 节点和 sql 节点我们是以 Spark-submit 或者 Spark-sql 方式提交的,如果要变更 Spark,那在对 Spark 任务灰度的时候存在几个问题: 单个任务灰度可以添加 spark.yarn.archive 参数来指定 Spark 版本,但如果要批量灰度就不方便了; 我们也可以在 Worker 级别灰度,这样无法指定具体的工作流,也不好控制灰度规模。 因此,我们开发了灰度管理的功能。可以在前端操作,批量添加一批工作流到灰度列表,添加到灰度列表的工作流在 master 分发任务到 worker 时,应用上灰度信息。 并且可以按照任务类型和工作流 owner 筛选工作流来灰度,当工作流从灰度列表移除就表示取消灰度。 这样,就可以比较方便的对任务进行灰度升级。 3 Spark 改进 01 小文件合并 关于小文件合并,众所周知,小文件与 hdfs 是不友好的,太多的小文件会给 hdfs 带来严重的性能瓶颈。 而Spark作业并行度高的话又容易产生小文件,因此小文件合并对于 Spark 来说是十分有必要的。 小文件合并的实现方案有很多,比如可以在最后增加一个 shuffle 来控制文件数量。 ​ **我们的方案是:**在文件 commit 过程中去实现的。首先看 Spark 任务的文件提交机制,在 driver 端会先 setupJob,然后在 executor 端执行 task 的时候 setupTask,创建 task 临时目录,在 commitTask 的时候将数据文件从 task 临时目录转移到 job 临时目录。 最后 driver 端执行 commitJob 方法,将各个 task 任务提交的数据文件,从 Job 临时目录转移到 Job 的最终目标目录。 小文件合并方案是:在 driver 端 setup job 时,在 Job 最终目标目录下创建临时的 merge 目录,然后按照正常的流程将数据写到这个临时目录,在 driver commit job 之后,所有的数据文件都已经转移到了这个临时目录中。 此时去计算这个临时目录下每个分区路径下的数据文件的平均大小,如果只有一个文件或大于指定的阈值,就不需要合并,可以直接移动到最终目标目录。 如果小于指定阈值,则按照分区路径下文件大小之和除以阈值来计算合并后的文件数量,然后将分区路径下的文件读成 HadoopRDD 或 FileScanRDD,再按照计算的合并后文件数量进行 coalesce 操作,然后启动一个 Spark Job 将 RDD 数据写到最终目标目录中。 这个小文件合并方案在我们线上也应用了很长时间,虽然需要启动一个额外的 job,但仍然带来了较大的收益。比如,它大大减少了文件数量,减轻 NameNode 的负载压力。也降低了 Spark 作业 driver OOM 出现的概率,提高了数据读取效率,加快了执行速度。 02 AQE优化 ​ **关于 AQE 的优化。**AQE 是 Spark3 的重要功能,通过收集运行时的统计信息,来动态调整后续的执行计划。AQE **主要有三个优化场景:**动态分区合并、动态调整 Join 策略以及动态优化倾斜 Join ,实现原理就不在这里赘述了。 AQE 的进一步优化。 第一点,分区合并可以让 reducer 处理的数据量适中,但如果物理计划中存在 expand 算子,会导致数据膨胀,即使 reducer 读取的数据量适中但经过数据膨胀之后,也会造成极大性能倒退,这种情况不适合进行分区合并或是需要调整分区合并的大小,针对这种情况,我们选择了针对这个 stage 不进行分区合并的操作。 ​ ​ ​ 第二点,目前倾斜 Join 优化是根据分区数据量的大小来判断是否存在倾斜的,**扩展倾斜 Join,**可以支持收集分区的行数信息,这样既可以根据分区数据量大小,也可以根据分区的行数来判断一个分区是否倾斜。 **第三点,**我们利用收集到的行数信息,在合并分区时还会根据数据量大小和行数的比值来决定是否进行分区的合并。 AQE 的优化我们也上线了很长时间,可以说对大部分作业都缩短了运行时间,提高了执行效率。经过统计,开启 AQE 优化后,我们集群整体作业的平均运行时间缩短了 10%。 今天的分享就到这里,如果大家对我文章内容有任何问题,可以在社区里面来找我交流,感谢大家聆听和关注。 参与贡献 随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。 参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括: ​ 贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。 社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689 非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22 如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html 来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。 参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手 Leonard-ds ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。 添加小助手时请说明想参与贡献,来吧,开源社区非常期待您的参与。

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码