首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://my.oschina.net/go4it/blog/4907309

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

基于SSD的Kafka应用层缓存架构设计与实现

Kafka在美团数据平台的现状 Kafka出色的I/O优化以及多处异步化设计,相比其他消息队列系统具有更高的吞吐,同时能够保证不错的延迟,十分适合应用在整个大数据生态中。 目前在美团数据平台中,Kafka承担着数据缓冲和分发的角色。如下图所示,业务日志、接入层Nginx日志或线上DB数据通过数据采集层发送到Kafka,后续数据被用户的实时作业消费、计算,或经过数仓的ODS层用作数仓生产,还有一部分则会进入公司统一日志中心,帮助工程师排查线上问题。 目前美团线上Kafka规模: 集群规模:节点数达6000+,集群数100+。 集群承载:Topic数6万+,Partition数41万+。 处理的消息规模:目前每天处理消息总量达8万亿,峰值流量为1.8亿条/秒 提供的服务规模:目前下游实时计算平台运行了3万+作业,而这其中绝大多数的数据源均来自Kafka。 Kafka线上痛点分析&核心目标 当前Kafka支撑的实时作业数量众多,单机承载的Topic和Partition数量很大。这种场景下很容易出现的问题是:同一台机器上不同Partition间竞争PageCache资源,相互影响,导致...

超大规模IT软件项目重构经验与实践

超大规模IT软件项目重构经验与实践 大东家 xiaohelong2005@126.com 1.为什么要重构? 一个项目需要重构,一般情况是因为这个项目可维护性差,或者其功能要扩展已无法适应当下的需要。一方比如,支持新的模型扩展;另一方面,面对云化时代,无法从单机升级至并行抑或是分布式云计算支持。 而我们碰到的就是这样一个程序,程序以VC6+MFC构建,代码规模在100多万行至200万行之间,单机程序,根据功能不同分为不同功能方向的子软件构成。站在这个工程所处的时代而言,客观来讲,程序架构设计合理,结构清晰,但这个当时的模式主流更多的是C++模式的应用,而无法站在应用或者模块化的角度进行组织;另一层面,由于程序在数据量大规模模拟时,出于对运行效率和规模的当下需求,原有架构模式必须模块化、并行化方能支持当下业务扩展;第三个层面,代码过于老旧,用的组件已然找不到资料,特别是数据等;第四个层面,代码的注释极少,只有一个固定的作者对其代码类做了解释,再一个就是基本上没有文档(注:在进行了较长一段时间后,拿了一些帮助手册等,对概念理解层面有一定帮助;最后一个层面,代码已经经历了较长时间的更改(包括...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。