首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://my.oschina.net/jenkinszh/blog/3033515

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Kafka连接器深度解读之错误处理和死信队列

Kafka连接器是Kafka的一部分,是在Kafka和其它技术之间构建流式管道的一个强有力的框架。它可用于将数据从多个地方(包括数据库、消息队列和文本文件)流式注入到Kafka,以及从Kafka将数据流式传输到目标端(如文档存储、NoSQL、数据库、对象存储等)中。 现实世界并不完美,出错是难免的,因此在出错时Kafka的管道能尽可能优雅地处理是最好的。一个常见的场景是获取与特定序列化格式不匹配的主题的消息(比如预期为Avro时实际为JSON,反之亦然)。自从Kafka 2.0版本发布以来,Kafka连接器包含了错误处理选项,即将消息路由到死信队列的功能,这是构建数据管道的常用技术。 在本文中将介绍几种处理问题的常见模式,并说明如何实现。 失败后立即停止 有时可能希望在发生错误时立即停止处理,可能遇到质量差的数据是由于上游的原因导致的,必须由上游来解决,继续尝试处理其它的消息已经没有意义。 这是Kafka连接器的默认行为,也可以使用下面的配置项显式地指定: errors.tolerance = none 在本示例中,该连接器配置为从主题中读取JSON格式数据,然后将其写入纯文本文件。注...

Netty内存池之PoolSubpage详解

在Netty内存池中,内存大小在8KB~16M的内存是由PoolChunk维护的,小于8KB的内存则是由PoolSubpage来维护的。而对于低于8KB的内存,Netty也是将其分成了两种情况0~496byte和512byte~8KB。其中,0~496byte的内存是由一个名称为tinySubpagePools的PoolSubpage的数组维护的,512byte~8KB的内存则是由名称为smallSubpagePools的PoolSubpage数组来维护的。本文首先会对tinySubpagePools和smallSubpagePools的整体结构进行说明,然后会讲解Netty是如何仅仅通过抽象出一种PoolSubpage的数据结构来实现对两种不同的内存区间的管理的,最后本文会从PoolSubpage的源码的角度来讲解PoolSubpage的实现原理。 1. tinySubpagePools和smallSubpagePools整体结构 这里我们直接查看这两个PoolSubpage数组的结构: tinySubpagePools和smallSubpagePools在结构上都是由一个数组来实现...

相关文章

发表评论

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Eclipse

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。

JDK

JDK

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。