解惑 | 为什么我根据时间戳获得的offset为空呢？-低调大师

解惑 | 为什么我根据时间戳获得的offset为空呢？

2020-09-20 677

每一个成功人士的背后，必定曾经做出过勇敢而又孤独的决定。

放弃不难，但坚持很酷~

kafka_2.11-1.1.0

一、前言

最近有一个需求，要查询某一时间戳对应的offset值，于是就想到了使用 ./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --time <timestamp> ，但是我在测试的时候，发现有的时间戳会获取不到offset，是空。但是明明指定的时间戳有上报数据，肯定有对应的 offset 的。于是就谷歌，找到了这篇帖子：

https://stackoverflow.com/questions/30030393/strange-behavior-of-kafka-tool-kafka-tools-getoffsetshell

其中已经有大佬给出了答案，但是我还是不求甚解，但起码知道了和 kafka log segments 有关系。

经过研究实践，明白了其中缘由，所以就有了这篇文章。

二、解惑

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list message-1:9092 -topic test --time 后面的参数可以是 -1、-2、时间戳，其中 -1 会输出最新的 offset ；-2 会输出未过期最小的 offset ；时间戳这里具有迷惑性，它不能根据时间戳获取到精准匹配的 offset 。

Kafka 将数据存储在 “log segments” 里面，log segments 文件的大小受 log.segment.bytes 影响，默认为 1073741824 字节，也就是 1G 。当数据文件累积到 log.segment.bytes 的值以后，就会创建出新的日志文件，文件名称以分段时的那个 offset 命名，如下图所示：

每一个 xxx.log 文件都算作一个 segment，kafka.tools.GetOffsetShell --time 参数匹配的是 xxx.log 文件本身最后的修改时间，而不是偏移量本身的时间戳。

根据上面图片，举几个例子：

当 time 为 2020-09-16 11:59:20 时，获取的 offset 值为空。
当 time 大于等于 2020-09-16 12:00:20 并且 time 小于 2020-09-16 14:09:24 时，获取的 offset 值为 0，匹配的是 xxx.log 文件名称的那个 offset 。
当 time 大于等于 2020-09-16 14:09:24 时，获取的 offset 值为 1049942，匹配的是 xxx.log 文件名称的那个 offset 。
当 time 远大于 2020-09-16 14:09:24 时，获取的 offset 值为最新的 offset 值。

根据以上实践结果得知，一组时间戳均对应着同一个 offset 。所以这个命令 --time <timestamp> 只能匹配个大概的 offset 而已，无法精确。如果精确，可以调用 java api 来封装成接口或工具使用。

三、调用 kafka java api 获取时间戳对应的 offset，并封装成工具脚本

很纳闷，为什么官方不提供获取时间戳对应的精准的 offset 呢？既然官网没有，那我就用 java api 封装一个工具脚本吧。

先展示下效果：

./bin/getoffsetts --broker-list message-1:9092 --topic hiacloud-ts-v3 --time 1600222353353

脚本选项：

其实上面的 getoffsetts 脚本是执行的一个 java 类，java main() 方法。利用了 JCommander 。JCommander 是一个用于解析命令行参数的 Java 框架，利用 @Parameter 来接收命令参数。

在 main() 函数里面，创建 JCommander 对象，将 args 加载进去，

然后使用 consumer.offsetsForTimes(Map timestampsToSearch) 来通过时间戳获取各分区对应的 offset 。

具体的代码已经上传到了

https://github.com/841809077/spring-boot-model/blob/master/src/main/java/com/example/main/OffsetTimestamp.java

可以直接粘贴到自己的项目中使用这个类查询 offset 。

这个项目算是一个快速可复用项目，支持自定义打包、统一异常处理等，感兴趣的可以下载下来看看。

欢迎大家留言讨论

👆 👆 👆

往期推荐

两种实现方式 | 如何查看消费者组的消费情况

Kafka基础（一）：基本概念及生产者、消费者示例

扫一扫，我们的故事就开始了。

如果这篇文章对你有所启发，点赞、转发都是一种支持！

让我知道你在看

本文分享自微信公众号 - 大数据实战演练（gh_f942bfc92d26）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

微信关注我们

原文链接：https://my.oschina.net/u/3610293/blog/4617436

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里云搭建Hadoop集群

1 前言在讲述Hadoop集群搭建之前，首先要了解Hadoop和集群两个名词，Hadoop是由Apache基金会开发的分布式系统基础架构，简单理解就是大数据技术应用的基础。集群可以理解为多台装有hadoop的服务器。搭建Hadoop集群的目的就是为了管理多台服务器，使多台服务器之间能够协调工作。本文选择了3台阿里云服务器。从下图中可以对整个大数据架构有了大体的了解。 Hadoop主要有HDFS（分布式文件存储系统）、Yarn（集群资源管理与调度）和MapReduce（分布式计算框架）组成。Hadoop集群中分为主机（master）和从机（slave），本文配置一台阿里云服务器为主机和从机。其余两台为从机。HDFS（分布式文件存储系统）在主机上称为Namenode节点，在从机上称为Datanode节点。Namenode维护HDFS的文件系统树以及文件树中所有的文件和文件夹的元数据。可以理解为win系统中文件夹属性中的那些信息，Datanode是存储和检索数据的地方。可以理解为win系统中文件夹中实际数据。 Yarn（集群资源管理与调度）在主机上称为ResourceManager节点，在...

2020-09-21

479

在上一篇分享中，我们介绍了ClickHouse的安装部署和简单使用。本文将介绍ClickHouse中一个非常重要的概念—表引擎(table engine)。如果对MySQL熟悉的话，或许你应该听说过InnoDB和MyISAM存储引擎。不同的存储引擎提供不同的存储机制、索引方式、锁定水平等功能，也可以称之为表类型。ClickHouse提供了丰富的表引擎，这些不同的表引擎也代表着不同的表类型。比如数据表拥有何种特性、数据以何种形式被存储以及如何被加载。本文会对ClickHouse中常见的表引擎进行介绍，主要包括以下内容：表引擎的作用是什么 MergeTree系列引擎 Log家族系列引擎外部集成表引擎其他特殊的表引擎温馨提示：本文内容较长，建议收藏表引擎的作用是什么决定表存储在哪里以及以何种方式存储支持哪些查询以及如何支持并发数据访问索引的使用是否可以执行多线程请求数据复制参数表引擎分类引擎分类引擎名称 MergeTree系列 MergeTree 、ReplacingMergeTree 、SummingMergeTree 、 AggregatingMergeTre...

2020-09-21

420

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。