kafka 三种消费语义
消费语义
at most once:最多消费一次,消息可能会丢失-------log日志
at least once:至少消费一次,但是会重复消费 例如手动异步提交offset
exactly once:正好一次,不丢失,不重复
0.10.0.1不支持,官方说0.11已支持
例子
1.log日志允许丢失 使用第一种
2.log日志算钱的不允许丢,使用第二种+去重+redis
部分公司去重方法,对每一条日志取一个hash值,存放到redis里面,如果redis里面有了,就不放到下游去处理
3.mysql sql语句入库 选择第二种并使用hbase的put保证去重复。
insert into。。。1;
insert into。。。2;
insert into。。。3;
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
EasyLog 更名为 Plumelog
EasyLog最近更名为Plumelog,并且已一个羽毛为logo,寓意保持轻量级简单的专业的日志搜集处理。 再次同时并发布的新版本UI界面: 1.增加小时日志量统计走势图 2.日志详情改成双击展开 3.调整字体大小,使得页面展示更多内容 4.查询条件框可以这点展示 5.更换羽毛logo Plumelog(EasyLog)介绍 无入侵的分布式日志系统,基于log4j、log4j2、logback搜集日志,设置链路ID,方便查询关联日志 基于elasticsearch作为查询引擎 高吞吐,查询效率高 全程不占应用程序本地磁盘空间,免维护 无需修改老项目,引入直接使用
- 下一篇
OSS数据湖实践——parquet格式
数据组织形式、存储格式及Parquet格式介绍 在介绍parquet数据格式之前,我们先介绍数据的几种组织形式以及存储形式。 结构化、半结构化、非结构化数据 结构化数据 结构化数据源对数据定义了一种模式。通过这些关于底层数据的额外信息,结构化数据源提供高效的存储和性能。例如,列式数据存储Parquet和ORC,使得从一个列子集中提取数据更加容易。当数据查询只需要获取一少部分列的数据时,通过遍历每行数据的方式需要查询出过多的数据。基于行的存储格式,如Avro通过高效的序列化存储数据提供了存储优势。但是,这种优势是以复杂性为代价的。例如,由于结构不够灵活,模式转换将成为挑战。 半结构化数据 半结构化数据源是每行记录一个结构,但不需要对整体记录有一个全局的模式定义。因此,每行记录是通过其自身的模式信息对其进行扩充。JSON和XML就是其中最流行的例子。半结构化数据的优势在于通过每行记录自身的描述信息,增强了展示数据信息的灵活性。由于有很多轻量级的解析器用于处理这些记录,因此半结构化数据格式在很多应用中普遍被使用,并且在可读性上存在优势。但是,它的主要缺陷也在于会产生额外的解析开销,不能专门应...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8编译安装MySQL8.0.19
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7,CentOS8安装Elasticsearch6.8.6