首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://my.oschina.net/u/4238514/blog/8597106

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

字节跳动 Flink 大规模云原生化实践

本文整理自字节跳动基础架构工程师刘畅,在 Flink Forward Asia 生产实践专场的分享。字节跳动拥有业界领先的 Flink 流式计算任务规模。随着云原生时代的到来,我们开始探索将线上的 Flink 任务从 Hadoop 迁移到 Kubernetes,使得作业云原生化运行。本篇主要从字节跳动 Flink 大规模云原生化实践背景、解决方案、生产实践、未来展望四个方向展开介绍。 一、背景介绍 资源管理演进 字节跳动的大数据资源管理架构,以及 Flink 的部署演进,大致可以分为三个阶段。 第一阶段,完全基于 YARN 的离线资源管理。大规模使用 YARN 管理的大数据集群,有效提升了 Flink 的资源使用率,并降低了资源运营、运维等方面的成本。于此同时,针对 Flink 的特性,对 YARN 做了大量定制研发,如支持 Gang 调度等。在此阶段,Flink集群已经达到了相当大的规模。 第二阶段,离线资源混部阶段。通过构建 YARN 和 K8s 混合部署集群,进一步提升在线和离线的整体资源使用率。并通过混部技术方案,使集群/单机资源利用率都得到显著提升。更高的单机利用率,意味着需...

novel-cloud 2.0.0 发布,微服务技术栈学习型项目

novel-cloud v2.0.0 版本已发布,主要改进包括: [架构]基于 novel 项目进行重构,无缝对接 novel 项目的 Vue3 前端 [架构] Spring Boot 版本升级至 3.x [架构] Spring Cloud 版本升级至 Spring Cloud 2022.x,Spring Cloud Alibaba 2022.x [安装] 简化微服务环境的安装,提供 Docker Compose 编排文件和一键安装开发环境的教程 [依赖] 项目所有相关依赖均升级至主流的新版本 [发布] 计划与 novel 项目的发布周期保持一致 [文档] 文档更新至最新版本 项目简介 novel 是一套基于时下最新Java 技术栈 Spring Boot 3 + Vue 3 开发的前后端分离学习型小说项目,配备保姆级教程手把手教你从零开始开发上线一套生产级别的 Java 系统,由小说门户系统、作家后台管理系统、平台后台管理系统等多个子系统构成。包括小说推荐、作品检索、小说排行榜、小说阅读、小说评论、会员中心、作家专区、充值订阅、新闻发布等功能。 novel-cloud 是 novel...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册