首页 文章 精选 留言 我的

精选列表

搜索[k],共10000篇文章
优秀的个人博客,低调大师

8.1k Star! 一分钟,搭建个人专属的音乐服务——Navidrome

音乐服务器是一种用于存储、管理和传输音乐文件的服务器软件或硬件设备。它们通常用于创建自己的音乐库、流式传输音乐、分享音乐以及远程访问音乐。 应用简览 Navidrome是一款全功能的开源音乐服务器应用,它提供了音乐库管理、多媒体格式支持、智能播放、用户权限控制以及跨平台可用性等多种功能,为音乐爱好者提供了完善的音乐管理和播放解决方案。 主要功能 资源使用率极低。即使在简单的 Raspberry Pi Zero 和旧硬件设置上也能正常运行。 处理非常大的音乐收藏。 几乎可以传输任何可用的音频格式。 读取并使用您精心策划的所有元数据。 对合辑(各种艺术家专辑)和盒装(多光盘专辑)的大力支持。 多用户,每个用户都有自己的播放次数、播放列表、收藏夹等。 多平台,可在 macOS、Linux 和 Windows 上运行。还提供了Docker镜像。 即用型、官方、Raspberry Pi二进制文件和 Docker 镜像可用。 自动监控您的库的更改、导入新文件并重新加载新元数据。 基于Material UI和React-Admin 的主题化、现代和响应式Web 界面。 即时**转码。**可以为每个用户/玩家设置。支持 Opus 编码。 翻译成17 种语言并且还在增加。 完全支持播放列表,可以选择自动导入.m3u文件并保持同步。 智能/动态播放列表(类似于 iTunes)。 共享专辑/歌曲/播放列表的公共链接。 应用特色 一、多语言并且支持多主题切换 Navidrome以其多语言支持和多主题切换功能而脱颖而出。这意味着可以轻松切换应用程序的语言,以适应您的首选语言,同时根据视觉偏好选择不同的主题。这使得Navidrome变得更加个性化,无论是喜欢清新亮丽的外观,还是更喜欢暗色调主题,都可以找到最适合自己主题。 二、移动端兼容适配 Navidrome的移动端兼容适配能够在各种移动设备上无缝访问和操作您的音乐库。无论您使用智能手机还是平板电脑,Navidrome都会根据不同屏幕尺寸和操作方式进行适配,提供优质的移动音乐体验。可以随时随地流式传输音乐,无需担心兼容性问题。 三、自定义添加收藏歌单 Navidrome允许自定义添加和管理自己的收藏歌单。可以轻松创建、编辑和组织歌单,将自己最喜欢的歌曲和专辑整理在一起。这为音乐爱好者提供了一个便捷的方式,可以根据不同的情绪和场合创建自己的音乐歌单,使音乐体验更加个性化。 四、多用户支持 Navidrome支持多用户访问,这意味着您可以与家人或朋友分享您的音乐库,并分配不同的权限给每个用户。这有助于维护音乐库的安全性和隐私性,确保每个用户只能访问他们被授权的内容。 五、歌手视图概览 Navidrome的歌手视图概览功能使您能够深入了解每位歌手的音乐作品。您可以查看他们的专辑、单曲和歌曲,以及了解更多关于歌手的信息。这为音乐爱好者提供了更全面的音乐浏览体验,有助于发现新的音乐天赋。 六、格式转码 Navidrome的格式转码功能使你能够将音频文件转换为不同的格式,以满足不同设备和播放器的要求。这对于那些拥有多种设备和音频格式的用户来说非常有用,使他们可以轻松地将音乐转换为所需的格式,而无需担心兼容性问题。这为音乐收藏家提供了更多的自由和灵活性。 安装指南 进入云原生应用商店 搜索 Navidrome 进入详情,选择包类型(本应用支持,docker安装,ram安装) 点击安装,执行相应命令即可。如有疑问可参阅使用文档 或加入社区 关于云原生应用市场 云原生应用市场是一个汇聚了各类开源软件的应用市场,不仅可以作为你自己的 Helm Chart 仓库,提供丰富多样的Helm应用,还有 Docker 应用、Rainbond 应用模板、信创应用等多种选择。 官网:https://hub.grapps.cn/ 微信群:关注 云原生应用市场 公众号加入技术交流群

优秀的个人博客,低调大师

14.3k Star! 一款简洁优雅、可自由扩展的开源论坛平台-Flarum

应用简览 Flarum 是一款轻量级的开源论坛软件。 它响应快速、简便易用,与传统论坛程序不同,Flarum采用现代响应式设计,确保用户可以在各种设备上轻松访问论坛。 此外,Flarum具备打造成功社区所需的所有功能。它拥有丰富的扩展和插件,提供了足够的灵活性,以满足不同社区的需求。 主要特性 快速、简单。 不杂乱不臃肿,没有复杂的依赖关系。 Flarum 使用 PHP 构建,因此很容易被部署。 界面采用高性能且小巧的 JavaScript 框架 Mithril。 漂亮、响应式。 以人为本的论坛软件。 Flarum 被精心设计以在不同平台间保持一致性和直观性,开箱即用。 强大、可扩展。 你可以定制化、扩展或集成 Flarum 以满足你的社区需求。 免费、开源。 Flarum 以 MIT 许可证 发布。 应用特色 一、现代化的UI设计,多语言支持 Flarum 采用了现代化的用户界面,拥有清晰的布局和直观的导航,提供了卓越的用户体验。无论是发表帖子、回复评论还是浏览主题,都能够轻松找到所需的功能。 同时 Flarum 还支持多国语言,包含中文、繁体中文、英文、法文、俄文、日语等等。 二、数据统计,自定义论坛外观 Flarum 默认提供了一个数据仪表盘,帮助你更好的了解论坛用户、主题等的增长情况。 此外,Flarum 支持自定义外观,你可以选择合适的色调作为论坛风格,同时还支持自定义页眉、页脚及 CSS 样式。 三、丰富的插件及活跃的社区 Flarum 拥有一个强大的插件系统,允许你根据需要扩展和定制论坛功能。社区管理员和开发人员可以轻松添加各种插件,从社交媒体集成到安全性增强功能,以满足不同社区的需求。 例如你可以安装 Oauth 插件,对接 Github、Gitlab、Discord 等第三方服务。 或者安装浏览统计插件,查看有哪些人浏览过网站或主题。 安装指南 进入云原生应用商店 搜索 Flarum 进入详情,选择包类型(本应用支持,docker安装,ram安装) 点击安装,执行相应命令即可。如有疑问可参阅使用文档 或加入社区 关于云原生应用市场 云原生应用市场是一个汇聚了各类开源软件的应用市场,不仅可以作为你自己的 Helm Chart 仓库,提供丰富多样的Helm应用,还有 Docker 应用、Rainbond 应用模板、信创应用等多种选择。 官网:https://hub.grapps.cn/ 微信群:关注 云原生应用市场 公众号加入技术交流群

优秀的个人博客,低调大师

15.1k Star! 一个不用会 Nginx 的反向代理神器-Nginx Proxy Manager

应用简览 Nginx Proxy Manager 是一个开源的反向代理工具,不需要了解太多 Nginx 或 Letsencrypt 的相关知识,即可快速将你的服务暴露到外部环境,并且支持 SSL 配置。 主要特性 基于 Tabler 的美观且安全的管理界面 无需了解 Nginx 即可轻松创建转发域、重定向、流和 404 主机 支持使用 Let's Encrypt 免费 SSL 或提供您自己的自定义 SSL 证书 提供主机的访问列表和基本 HTTP 身份验证 超级用户可用的高级 Nginx 配置 用户管理、权限和审核日志 应用特色 一、无需了解 Nginx 即可对外暴露你的服务 不需要了解太多 Nginx 相关知识,即可使用 Nginx Proxy Manager 将你本地服务对外暴露,并在任何地方进行连接。 二、支持免费 SSL 证书且证书可以自动更新 Nginx Proxy Manager 内置的 Let‘s Encrypt 允许你免费保护你的Web服务。证书甚至可以自动续订! 三、多用户支持、支持权限管理和审计日志 Nginx Proxy Manager 支持多用户同时使用,你可以将其他用户配置为查看或管理他们自己的主机。并拥有完全访问权限。同时还支持审计各个用户的操作行为。 四、支持群晖、HomeAssistant、Proxmox LXC 等多种集成方式 Nginx Proxy Manager 有多种第三方插件,支持集成到 HomeAssistant Hass.io plugin、UnRaid / Synology、Proxmox Scripts、nginxproxymanagerGraf 等系统。 安装指南 进入云原生应用商店 搜索 Nginx Proxy Manager 进入详情,选择包类型(本应用支持,docker安装) 点击安装,执行相应命令即可。如有疑问可参阅使用文档 或加入社区 关于云原生应用市场 云原生应用市场是一个汇聚了各类开源软件的应用市场,不仅可以作为你自己的 Helm Chart 仓库,提供丰富多样的Helm应用,还有 Docker 应用、Rainbond 应用模板、信创应用等多种选择。 官网:https://hub.grapps.cn/ 微信群:关注 云原生应用市场 公众号加入技术交流群

优秀的个人博客,低调大师

基于 CoreDNS 和 K8s 构建云原生场景下的企业级 DNS

容器作为近些年最火热的后端技术,加快了很多企业的数字化转型进程。目前的企业,不是在使用云原生技术,就是在转向云原生技术的过程中。在容器化进程中,如何保持业务的平稳迁移,如何将现有的一些服务设施一并进行容器化迁移,也是众多企业较为关注的点。 以 DNS 为例,如何构建一个云原生的企业 DNS 系统? CoreDNS 简介 CoreDNS 是一个 Go 语言编写的灵活可扩展的 DNS 服务器,在 Kubernetes 中,作为一个服务发现的配置中心,在 Kubernetes 中创建的 Service 和 Pod 都会在其中自动生成相应的 DNS 记录。Kubernetes 服务发现的特性,使 CoreDNS 很适合作为企业云原生环境的 DNS 服务器,保障企业容器化和非容器化业务服务的稳定运行。 构建企业 DNS 服务器时,一般会有以下需求: 用户外网域名访问服务; 混合云业务迁移、数据共享、容灾; 开发代码 IP 写死导致架构可用性、弹性无法实现; 统一 DNS 管理需求,含上下级平台对接; DNS 劫持等网络安全风险; 存量代码固定域名访问; 集群外域名访问; 相比于 Bind 开源方案或 Windows Server DNS 商业 DNS 服务器,CoreDNS 有以下优势: 无商业许可要求,降低投资成本; 轻量化,通过插件实现功能添加; 支持 DNS,DNS over TLS,DNS over HTTP/2,DNS over gRPC 协议; 提供 kubernetes 服务发现; 支持对接 Route53/Google Cloud DNS/AzureDNS; 支持集成 Prometheus, OpenTracing,OPA,带来更全面的运维体验; 支持整合容器管理平台,提供统一 DNS 系统运维。 构建企业云原生 DNS 前,对 CoreDNS 做一个更深入的了解。 CoreDNS 运行原理与插件介绍 CoreDNS 基于 Caddy 框架实现模块化设计,每个插件承载相应的具体功能,对于 DNS 系统而言,CoreDNS 使用 File,ETCD 插件等加载 DNS 记录,使用 Kubernetes 插件实现集群服务发现,外部 DNS 请求到达 CoreDNS 后,根据插件调用链依次处理 DNS 请求。 CoreDNS 社区官方提供了 50 多种插件,开发者亦可根据需求开发个性化的外部插件。CoreDNS 常用插件如下图,根据使用场景,可分为运维、DNS 处理、后端数据存储等三个类别。 CoreDNS 定义 Corefile 配置文件,服务器在加载 Corefile 后处理 DNS 请求,对于以下插件,只需在 Corefile 中引用即可,之后 CoreDNS 会使用插件链进行调用,插件链可参考以下链接: https://github.com/coredns/coredns/blob/master/plugin.cfg 设计一个基于 CoreDNS 的分层 DNS 架构 在熟悉 CoreDNS 特性后,可设计企业的 DNS 架构: DNS 架构以外网 DNS、内网 DNS、分区 DNS 组成: 外网 DNS: 使用 DNSSEC、DOT、DOH 等保障 DNS 安全; 缓存 DNS 记录; 构建 DNS 实例自动伸缩,应对高 QPS 需求; 内网 DNS: Kubernetes 服务发现; 构建上游 DNS 区域; 分区 DNS: 建立开发、测试、UAT、生产等区域 DNS; NodeLocalDNS 提高性能; 设置转发器处理递归 DNS 请求; KubeSphere 部署 CoreDNS 由于 CoreDNS 是一个 CNCF 毕业的云原生项目,是目前支持云原生最好的一个 DNS 服务器,用户可直接在 KubeSphere 应用商店一键安装。KubeSphere 提供了基于 Helm 模板的应用商店,支持云原生应用的生命周期管理,提供开发人员应用上传、测试,版本提交,应用管理人员进行审核、发布等流程管理。用户在应用商店选择 CoreDNS 应用后,可按需部署于不同集群的不同项目中,并自定义应用模板配置: 服务发现与 DNS 配置 部署 CoreDNS 后,对于运维人员来说,CoreDNS 的配置大体分为两类:一类为 Kubernetes 配置,一类为 DNS 配置。CoreDNS 提供了 Kubernetes 插件,支持在 kubernetes 集群中读取区域数据,并根据 Pod 和 Service 的域名记载相应的 A 记录和 PTR 记录。 这是一个 Kubernetes 集群中的 CoreDNS corefile 默认配置,CoreDNS 会在 53 端口读取 cluster.local 后缀的 Kubernetes 集群 A 记录和 PTR 记录。并将 CoreDNS 收集到的监控指标通过 9153 端口输出到集群内的 Prometheus。而 Kubernetes 不同类型 Service 的 DNS 记录格式,CoreDNS 也有相应标准进行记录。 设置完 Kubernetes 后,可以设置其他业务需求的 DNS 配置,如: 设置不同的存根域; 设置存根域静态 DNS 条目; 面对存量代码,设置域名重写; 面对集群外服务,设置 DNS 转发; 设置日志和监控集成; 设置缓存、健康、就绪检查及链路追踪; 根据以上配置,就构建了一个基础的企业云原生 DNS 系统: DNS 服务暴露 对于集群外的服务而言,存量业务可能还是一些虚拟化和裸机的应用,若和集群网络无法互联,如何在业务迁移时访问新的 DNS 服务? KubeSphere 提供了一个开源项目——OpenELB 来解决云原生环境下的服务暴露问题,这是一个 CNCF 的沙箱项目。OpenELB 通过物理环境的交换机使用 BGP 协议将 LoadBalancer 类型服务的 ExternalIP 宣告出去,在 IP 可达的环境下集群外部业务即可通过 EIP 访问 Kubernetes 服务资源。 对于集群外需要设置 DNS 服务器的服务资源,可通过 OpenELB 使用 EIP 暴露 CoreDNS ,即可访问 DNS 服务 。 在 KubeSphere 3.3 版本,用户可在开启集群网关 / 项目网关时,在网关访问 LoadBalancer 模式下,选择“OpenELB”负载均衡提供商,之后创建的 LoadBalancer 服务都会从 OpenELB 建立的 EIP Pool 中分配 EIP,供集群外部访问。 DNS 监控运维 为保障 CoreDNS 稳定运行,运维人员还需在基础设施侧完善 DNS 系统的日志、监控、告警、通知功能,KubeSphere 提供了简单易用的监控面板、日志管理与落盘,多维度的告警策略和消息,以及对接多个企业应用(邮件,钉钉, 企业微信)的通知系统,时刻关注业务运行状态。 此处以一个系统管理员视角,展示了在 KubeSphere 日志系统搜寻 NXDOMAIN 类型 DNS 回复的结果。 通过 KubeSphere 自定义监控面板,设置一个基于 CoreDNS 指标的监控面板,KubeSphere 内置了众多监控面板,用户可直接使用模板构建亦可使用 PromQL 创建面板: 通过 KubeSphere 告警和通知组件,用户可基于预置规则模板(CPU、内存、磁盘、网络、异常率)或使用 PromQL 语句自定义告警规则,此处定义当 CoreDNS CPU 用量大于等于 0.1Core 系统触发告警: KubeSphere 针对租户设计了通知模板,包含多种通知系统集成,此处使用邮件将“重要告警”,“危险告警”条件的告警消息发送给邮件接收人。 当告警触发后,即可在告警消息和通知历史处查看到相应的条目,此时用户也会收到一封告警邮件了: 在高并发 DNS 请求场景中,还需对 CoreDNS 进行自动伸缩设计,通常考虑到服务高可用性和性能考量,可参考以下计算规格和调度策略设计: 副本打散,跨可用区 / 节点。 避免所在节点 CPU、内存过高。 通常设计副本数为 2。QPS 与 CPU 消耗正相关,单 CPU——1w+QPS Kubernetes 集群下,CoreDNS 副本数与集群节点配置 1:8。 业务峰值 CPU 占用 >1Core,水平扩容。 通过 KubeSphere 自动伸缩机制,可设置基于 CPU 用量的自动伸缩策略,保障 CoreDNS 在瞬时高并发场景稳定运行。 总结 以上就是建设一个云原生的 DNS 系统的全部内容了,可以看出,在云原生时代,新的技术层出不穷,IT 系统的部门和人员也越发趋于协同作战,以往构建一个 DNS 系统可能只需要安装一套稳定能进行 DNS 解析的系统,并实现主备切换即可。在应用驱动基础架构转型的云原生时代,基础服务应用还更需要考虑异构系统的连接,灵活简便的安装升级管理,更强大的可靠性和自愈能力,日志监控通知系统的完善,还有更适合实际业务需求的弹性设计,来加速应用现代化,推动业务应用持续转型。 本文由博客一文多发平台 OpenWrite 发布!

优秀的个人博客,低调大师

star 4k+ 的 JPress 博客系统发布新版,修复 Log4j 漏洞问题

JPress 是一个使用 Java 开发的类似 WordPress 的产品,具有完善的模板和插件功能,并在此基础上新增了在线商城、会员中心以及和微信深度整合的功能。 到目前为止, 已经有10w+ 网站使用JPress 进行驱动,其中包括多个政府机构,200+上市公司,中科院、红+字会等。然而,JPress不仅仅只是建站,我们认为不管世界的互联网发生什么样的变化,APP、小程序都需要有网站支持,这才是我们的切入点。 JPress v4.2.0 发布本来可以晚点发布的,但 Log4j 漏洞的爆出,为了保证用户能够及时升级,因此决定在第一时间发布了修复版本。 另外:JPress 正在参加2021年度OSC中国开源项目评选~ JPress 在 2022 也将会有大动作,来更好的服务大家,麻烦大家给 JPress 投一票。 JPress 投票地址: https://www.oschina.net/project/top_cn_2021/?id=12 JPress v4.2.0 更新内容如下: 新增:添加后台验证码开关,方便在某些场景下进行自动化测试 新增:支持发布0元的商品,支付金额为 0 时,直接支付成功,感谢@AlienJunX 新增:插件安装目录自定义的功能,方便安装插件后,在编译清空 target 目录时,插件仍然可用 优化:完善文章模块添加收藏功能,感谢@吓死猫的老鼠 优化:Option 系统配置允许传入空数据,用于清空配置 优化:调整上传默认附件大小,图片默认为 10MB,其他文件默认为 100MB 优化:升级 Jboot、Log4j2 等到最新版本 修复:后台自定义非法关键字无效的问题 修复:通过 API 删除 Option 可能不及时生效的问题 修复:插件依赖外部 jar ,在某些情况下可能会导致无法被安装的问题 修复:微信 H5 支付成功返回页面后出现 500 错误,感谢@AlienJunX 修复:文章插入附件,当出现附件文件过大错误时,页面没有提示的问题 修复:CKEditor 编辑器 图片无法粘贴上传的问题 说的再多,不如亲自一试。 在 阿里云(腾讯云)上一键通过 8080 端口运行 wget https://gitee.com/JPressProjects/jpress/raw/master/install.sh && bash install.sh 8080 一键运行视频教程:http://www.ketang8.com/course/study?chapterId=184 通过 Docker 上运行 curl -O https://gitee.com/JPressProjects/jpress/raw/master/docker-compose.yml && docker-compose up -d 通过 Eclipse 或者 Idea 等开发工具运行 1、在本地安装好 Java、Maven 等开发环境 2、将源码下载、并导入 eclipse 或者 idea 3、在项目的根目录,执行mvn clean install命令进行编译 4、在开发工具,右键运行starter/src/main/java/io.jpress.Starter下的main()方法 5、通过浏览器访问http://127.0.0.1:8080,进行自动安装 交流 官网:http://www.jpress.io 文档:http://doc.jpress.io 论坛社区:点击这里 插件列表:点击这里

优秀的个人博客,低调大师

1.2k star 轻量且小巧的逻辑编排引擎

目前LiteFlow参与了《2021年度OSC中国开源项目评选》活动,希望大家能为LiteFlow投上你宝贵的一票,投票地址为: https://www.oschina.net/project/top_cn_2021/?id=578 更新日志 LiteFlow v2.6.5正式发布!中央仓库可直接依赖到。 本次LiteFlow的更新为小版本更新,更新日志如下: 增强 #I4IDB0 hutool依赖版本冲突,升级了hutool版本 https://gitee.com/dromara/liteFlow/issues/I4IDB0 修复 #I4HZYN 使用When操作同一个Node时,会造成Tag标签的线程不安全 https://gitee.com/dromara/liteFlow/issues/I4HZYN 介绍 LiteFlow是一款轻量且小巧的逻辑编排引擎。标准化的组件,低成本且多样化的配置,让你的系统快速实现低耦合,高复用。 并且可通过配置实现任意线程的多场景编排。支持多配置源,平滑热刷新等。 具体特性如下: 复杂业务的解耦编排利器,为所有组件提供统一化的实现方式 基于规则文件来编排流程,支持xml,json,yml三种规则文件写法方式 框架中提供本地文件配置源,zk配置源的实现 框架提供自定义配置源,只需实现一个接口,即可从任何地方加载配置源 支持SpringBoot的自动装配,也支持Spring的配置和非Spring的项目 提供串行和并行2种模式,提供常见常见的表达式语句 可以定义脚本语言节点,支持QLExpress和Groovy两种脚本 组件可以支持重试,每个组件均可自定义重试配置和指定异常 提供无级嵌套的显式子流程模式,隐式子流程模式 数据槽隔离机制,在多并发下上下文独立而稳定 支持优雅平滑热刷新特性 对系统损耗极低,可以稳定运行在核心业务大规模的微服务中 自带简单的监控,能够知道每个组件的运行耗时排行 如果你想了解更多,请点击以下地址进行了解: 项目官网: https://liteflow.yomahub.com gitee托管仓库: https://gitee.com/dromara/liteFlow github托管仓库: https://github.com/dromara/liteflow

优秀的个人博客,低调大师

面对大规模 K8s 集群,这款诊断利器必须要“粉一波”!

作者|段超 来源|尔达 Erda 公众号 背景 我们是一家做商业软件的公司,从一开始我们就把软件交付流程做的非常标准且简单,所有的软件都是基于我们的企业数字化平台 Erda(现已开源)来交付,底层基于 Kubernetes,为企业提供 DevOps、微服务治理、多云管理以及快数据管理等云厂商无绑定的 IT 服务。 ​ 随着我们服务的客户数量越来越多,如今我们管理着相当规模数量的 Kubernetes 集群,集群的稳定性决定了服务质量以及对外口碑,很长一段时间内我们在这件事情上都显得很被动,经常会出现 Erda 支持同学或者客户将问题反馈到我们说:有业务出现了问题,需要我们协助查询一下是不是平台导致的,然后我们上去一顿操作最后解决问题,答复客户。看似专业且厉害,急用户之所急,实则无章无法,一地鸡毛。 通常我们依赖监控系统来提前发现问题,但是监控数据作为一个正向链路,很难覆盖到所有场景,经常会有因为集群配置的不一致性或者一些更底层资源的异常,导致即使监控数据完全正常,但是整个系统依然会有一些功能不可用。对此,我们做了一套巡检系统,针对系统中一些薄弱点以及一致性做诊断,美中不足的是,这套系统的扩展性不是很好,对集群跟巡检项的管理也相对粗暴了一点。 ​ 最后,我们决定做一个更加云原生的诊断工具,使用 operator 来实现集群跟诊断项的管理,抽象出集群跟诊断项的资源概念,来解决大规模 Kubernetes 集群的诊断问题,通过在中心下发诊断项到其他集群,并统一收集其他集群的诊断结果,来实现任何时刻都可以从中心获取到其他所有集群的运行状态,做到对大规模 Kubernetes 集群的有效管理以及诊断。 ​ Kubeprober 项目介绍 项目地址: https://github.com/erda-project/kubeprober ​ KubeProber 是一个针对大规模 Kubernetes 集群设计的诊断工具,用于在 Kubernetes 集群中执行诊断项以证明集群的各项功能是否正常,KubeProber 有如下特点: ​ 支持大规模集群:支持多集群管理,支持在管理端配置集群跟诊断项的关系以及统一查看所有集群的诊断结。 云原生:核心逻辑采用 operator 来实现,提供完整的 Kubernetes API 兼容性。 可扩展:支持用户自定义巡检项。 ​ 其核心架构如下: ​ 区别于监控系统,kubeProber 从巡检的角度来证明集群的各项功能是否正常,监控作为正向链路,无法覆盖系统中的所有场景,系统中各个环境的监控数据都正常,也不能保证系统是 100% 可以用的,因此需要一个工具从反向来证明系统的可用性、从根本上做到先于用户发现集群中不可用的点,比如: ​ 集中的所有节点是否均可以被调度,有没有特殊的污点存在等。 pod 是否可以正常的创建、销毁,验证从 Kubernetes,Kubelet 到 Docker 的整条链路。 创建一个 Service,并测试连通性,验证 kube-proxy 的链路是否正常。 解析一个内部或者外部的域名,验证 CoreDNS 是否正常工作。 访问一个 ingress 域名,验证集群中的 ingress 组件是否正常工作。 创建并删除一个 namespace,验证相关的 webhook 是否正常工作。 对 Etcd 执行 put/get/delete 等操作,用于验证 Etcd 是否正常运行。 通过 mysql-client 的操作来验证 MySQL 是否正常运行。 模拟用户对业务系统进行登录、操作,验证业务的主流程是否常常。 检查各个环境的证书是否过期。 云资源的到期检查。 更多... ​ 组件介绍 Kubeprober 整体采用 Operator 来实现核心逻辑,集群之间的管理使用 remotedialer 来维持被纳管集群跟管理集群之间的心跳链接,被纳管集群通过 RBAC 赋予 probe-agent 最小所需权限,并且通过心跳链接实时上报被纳管集群元信息,以及访问 apiserver 的 token,实现在管理集群可以对被管理集群的相关资源进行操作的功能。 ​ probe-master 运行在管理集群上的 operator,这个 operator 维护两个 CRD,一个是 Cluster,用于管理被纳管的集群;另一个是 Probe,用于管理内置的以及用户自己编写的诊断项,probe-master 通过 watch 这两个 CRD,将最新的诊断配置推送到被纳管的集群,同时 probe-master 提供接口用于查看被纳管集群的诊断结果。 ​ probe-agent 运行在被纳管集群上的 operator,这个 operator 维护两个 CRD,一个是跟 probe-master 完全一致的 Probe,probe-agent 按照 probe 的定义去执行该集群的诊断项,另一个是 ProbeStatus,用于记录每个 Probe 的诊断结果,用户可以在被纳管的集群中通过 kubectl get probestatus 来查看本集群的诊断结果。 ​ 什么是 Probe kubeprobe 中运行的诊断计划我们称之为 Probe,一个 Probe 为一个诊断项的集合,我们建议将统一场景下的诊断项作为一个 Probe 来运行,probe-agent 组件会 watch probe 资源,执行 Probe 中定义的诊断项,并且将结果写在 ProbeStatus 的资源中。 我们期望有一个输出可以清晰的看到当前集群的运行状态,因此,我们建议所有的 Probe 都尽可能属于应用、中间件、Kubernets、基础设置这四大场景,这样我们可以在展示状态的时候,自上而下清楚地查看究竟是系统中哪个层面引起的问题。 ​ 目前的 Probe 还比较少,我们还在继续完善,也希望跟大家一起共建。 ​ 自定义 Probe ​ 对比其他诊断工具 目前社区已经有 Kuberhealthy 以及 kubeeye 来做 Kubernetes 集群诊断这件事情。 ​ kuberheathy 提供一套比较清晰的框架可以让你轻松编写自己的诊断项,将诊断项 CRD 化,可以轻松地使用 Kubernetes 的方式来对单个 Kubernetes 进行体检。 ​ kubeeye 同样是针对单个集群,主要通过调用 Kubernetes 的 event api 以及 Node-Problem-Detector 来检测集群控制平面以及各种节点问题,同时也支持自定义诊断项。 ​ kubeprober 做的也是诊断 Kubernetes 集群这件事情,提供框架来编写自己的诊断项。除此之外,kubeprober 主要解决了大规模 Kubernetes 集群的诊断问题,通过中心化的思路,将集群跟诊断项抽象成 CRD,可以实现在中心 Kubernetes 集群管理其他 Kubernetes 诊断项配置、诊断结果收集,未来也会解决大规模 Kubernetes 集群的运维问题。 ​ 如何使用 kubeprober 主要解决大规模 Kubernetes 集群的诊断问题,通常我们选择其中一个集群作为 master 集群,部署 probe-master,其他集群作为被纳管集群,部署 probe-agent。 ​ 安装 probe-master probe-master 使用了 webhook,webhook 的运行需要校验证书,需要先部署一下 cert-manager 的服务: ​ kubectl apply -f https://github.com/jetstack/cert-manager/releases/download/v1.3.1/cert-manager.yaml ​ 然后安装 probe-master: ​ APP=probe-master make deploy 安装 probe-agent 在逻辑上,一个 cluster 资源对应一个 probe-agent,在部署 probe-agent 之前,需要先创建一个 cluster 资源,probe-master 会给每一个 cluster 生成一个 secreykey,用于跟 probe-master 交互的唯一凭证。 ​ kubectl apply -f config/samples/kubeprobe_v1_cluster.yaml kubectl get cluster -o wide #可以获取到集群的secretkey ​ 部署 probe-agent 前,需要先修改 probe-agent 的 configmap: ​ vim config/manager-probe-agent/manager.yaml --- apiVersion: v1 kind: ConfigMap metadata: name: probeagent namespace: system data: probe-conf.yaml: | probe_master_addr: http://kubeprober-probe-master.kubeprober.svc.cluster.local:8088 cluster_name: moon secret_key: 2f5079a5-425c-4fb7-8518-562e1685c9b4 ​ 最后安装 probe-agent: ​ APP=probe-agent make deploy ​ 安装好 probeagent 后我们就可以在 master 集群中看到 cluster 信息。 配置 probe 有了 cluster,我们还需要在 master 集群中创建 probe 资源,比如: ​ kubectl apply -f config/samples/kubeprobe_v1_cron_probe.yaml ​ 使用 kubectl get probe 来查看 probe 列表,使用 kubectl label 来将一个 probe 跟 cluster 关联起来,则对用的 probe-agent 会在本集群内执行相关的诊断项。 ​ kubectl label cluster moon probe/probe-link-test1=true kubectl label cluster moon probe/probe-cron-sample=true ​ 最后,我们可以在被诊断的集群中使用 kubectl get probestatus 来查看诊断本集群的诊断结果。 ​ 欢迎参与开源 当前 kubeprobe 已经发布了第一个版本 0.0.1,还有许多功能不太完善,probe-master 的管理能力还可以进一步的被放大挖掘,probe 的编写也需要更加的简单易用。我们希望跟社区一起共建,共同打造一个大规模 Kubernetes 集群的管理神器。欢迎大家关注、贡献代码和 Star! ​ Erda Github 地址:https://github.com/erda-project/erda Erda Cloud 官网:https://www.erda.cloud/ Contributing to KubeProber:https://github.com/erda-project/kubeprober/blob/master/CONTRIBUTING.md

优秀的个人博客,低调大师

QPS 最高提升 91% | 腾讯云 TKE 基于 Cilium eBPF 提升 k8s Service 性能

前言 Kubernetes 已经成为容器管理领域的事实标准,而网络系统是 Kubernetes 核心部分,随着越来越多的业务部署在 Kubernetes,对容器网络也提出了一些新的需求 怎么提升网络的可观测性,serverless 类产品该需求尤为突出 怎么尽可能减少容器引入的网络性能损耗 上述需求冲击了 iptables,IPVS 等传统防火墙,负载均衡器技术。也促使我们思考容器网络访问链路能否不依赖于节点,进而缩短容器访问链路,提升网络性能 eBPF 是一项革命性技术,它可以以一种安全的方式在内核中许多 hook 点执行程序,该项技术可编程能力强,并且也无需维护内核模块,可维护性好,该项技术为满足上述需求提供了可能。Cilium则是基于 eBPF 技术的容器网络开源项目,提供了网络互通,服务负载均衡,安全和可观测性等解决方案 由此,腾讯云容器服务 TKE 基于 Cilium 和 eBPF 实现了独立网卡模式下的高性能 ClusterIP Service 方案。TKE 致力于提供更高性能、更安全和更易用的容器网络,也因此会不断关注 Cilium 等前沿的容器网络技术方案,后续会推出更多更完善的 Cilium 产品化能力。 独立网卡 Service 方案 TKE 于去年推出了新一代容器网络方案,该方案实现了一个 Pod 独占一张弹性网卡,不再经过节点网络协议栈(default namespace)。而当前的 kube-proxy 实现 ClusterIP 的方案都依赖于在节点侧的网络协议栈里设置相应的 iptables 规则,也因此该方案对于独立网卡方案不再适用。 其中一个解决方案便是 Cilium,Cilium 提供了基于 eBPF 的地址转换能力,从而可支持 ClusterIP Service。但其原生方案仅支持 veth pair 和 ipvlan l3 的数据面,并不支持 Pod 完全不经过节点网络协议栈的数据面,因此不能原生解决独立网卡 ClusterIP 的访问问题。 TKE 由此对 Cilium 加以改造,使其支持了除原生支持的 veth 和 ipvlan l3 的第三种数据面方案,如图(假设 pod 访问 Service IP 为 172.16.0.2),数据面上,将原本挂载到节点侧的 veth 上的 bpf 程序,挂载到 pod 内的独立网卡(同时也是弹性网卡)上,使得 Pod 的网络报文在发出的时候做 DNAT(目的地址转换),而回报文在网卡接收的时候做反向 DNAT,从而支持 ClusterIP 的访问。该数据面方案可作为一个通用方案适配 Ipvlan l2、SRIOV 等数据面场景。 而控制面上,将 Cilium 与 TKE 的 VPC-CNI 模式(含共享网卡模式和独立网卡模式)深度集成,用户无需对业务代码逻辑做任何修改,即可使用 Cilium 的功能特性。 性能对比 本文使用 wrk 工具对 Cilium 的产品化解决方案进行了性能压测,测试保证 Client Pod 和 Server Pod 分布在不同节点。 测试环境: TKE 集群,4 个 CVM节点,配置为 Server S5.2XLARGE8,Client S5.SMALL2。 测试数据表明,基于 Cilium 的独立网卡 ClusterIP 访问方案性能最好。在短连接场景下,其 QPS 相比共享网卡的 iptables 和 ipvs 方案提升48%和74%,相比全局路由的 iptables 和 ipvs 方案提升了62%和91%。在长连接场景下,其 QPS 相比共享网卡的 iptables 和 ipvs 方案提升了33%和57%,而相比全局路由的 iptables 和 ipvs 方案提升了49%和66%。iptables 的性能较 ipvs 性能较好是因为测试环境中 Service 数量还不够多,ipvs 的优势在于大量 Service 的场景。 产品化过程中的相关问题 TKE 团队在实现 Cilium 产品化解决方案过程中,也发现了 Cilium 项目中一些问题,相应的解决方案和 Cilium 支持新数据面方案将于近日以 pr 的形式整理提交给 Cilium 社区。 独立网卡方案下的 ClusterIP 自访问不通 以上方案其实不能完全解决 ClusterIP 访问问题,存在一类特殊的场景会访问不通。这类场景就是 Pod 访问的 ClusterIP,其后端包括其自身。这类场景下,独立网卡的 Pod 发出的网络报文会直接到达 IAAS 层,不符合预期。 由于独立网卡 Pod 内,其实只有两个网络设备:回环设备(lo)和弹性网卡,因此一个简单的思路就是在出报文之前,对自访问流量,通过 bpf_redirect 调用将报文直接转发(redirect)到回环(lo)设备。基于此,TKE 团队修改了 cilium 的相关 bpf 代码,提供了一个解决方案。经过测试,该方案可以解决独立网卡方案下的 ClusterIP 自访问问题。 Cilium 加载 bpf 程序的名字缺失 Cilium 项目的可调试性存在一个问题,其 bpf 程序开发得比较早,底层用了很多老的工具集,例如 tc,来加载 bpf 代码。 老的 tc 基于老的内核版本(<4.15)设计的,它在加载 bpf 程序时,将 bpf 程序的名字忽略了,导致 Cilium 加载的 bpf 程序都是无名字的。这影响了对代码的理解,追踪和调试。 对此 TKE 团队结合较新的内核对 tc 工具进行了修正,使得它加载 bpf 程序时,会正确的传入名字。通过这名字,可以搞清楚实际运行的 bpf 函数具体是哪一个,从而提高 Cilium 的可调试性。 用法 申请 Cilium 支持 ClusterIP 产品化内测开通后,创建 TKE 集群时高级设置中打开 ClusterIP 增强 即可: 总结与展望 本文介绍了 TKE 团队实现的基于 Cilium 和 eBPF 的独立网卡模式下高性能 ClusterIP service 方案,该方案相比当前基于 iptables 和 ipvs 的传统网络方案大量的提升了性能(33%-91%)。 显然,Cilium 提供的能力还不止于此,其基于 eBPF 这项革命性的技术,还提供了安全、可观测性、QoS 等方面的能力,而提供更高性能、更安全和更易用的容器网络正是 TKE 的服务目标,因此,后续 TKE 将会积极参与 Cilium 社区,与社区一道共同推出更强大、更完善的容器网络能力。 参考资料 Cilium 项目官网 eBPF 介绍和参考指南 腾讯云容器服务 TKE 推出新一代零损耗容器网络 Kubernetes Service 【腾讯云原生】云说新品、云研新术、云游新活、云赏资讯,扫码关注同名公众号,及时获取更多干货!!

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码