首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://my.oschina.net/u/4746469/blog/4784665

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

关于一次Kafka重复消费问题排查记录的闲谈

  前段时间上线一个新服务,我们的运营在测试的时候,导入了一批数据,结果目标表里的数据是预期数量的2倍,有大量的重复数据,一开始我认为可能是我没有过滤数据类型导致的,我所消费的数据是通过监听数据库的binlog解析后推送到Kafka的数据,我收到kafka消息经过反序列化得到多条数据库表的变动记录,每一条记录都有一个类型:INSERT,UPDATE,DELETE,其实也就是对应SQL的类型,我一开始并没有判断这个类型,而是收到的所有数据都进行后续的处理,运营也说可能是有UPDATE操作的,于是我加了过滤,只处理INSERT类型数据,改好之后想着肯定没问题了,于是让运营再删掉原有数据重新导入一遍,第二天再看结果。   然而第二天,问题依旧......这下可难到我了,想了一会猜测会不会是前面的环节推送的数据就是重复的呢?但是也不能瞎猜,于是我在处理一条数据之前打印上offset,发版后开始观察日志,不一会儿库里出现了重复数据了,我拿到重复的订单号之后去日志中搜索,结果,两条数据的offset是一样的?   看来这真是我消费的问题了,但是之前类似的项目也是同样的消费方式,从来没出现过重复消费...

前端图片预览功能实现

很多时候我们都会有图片上传的功能需求,如果我们先将图片上传到服务器,然后在将返回结果显示在前端,这样的操作性能开销太大,如果图片一多,简直要哭,而且万一还碰到了上传错误要删除的,那简直无法想象了。所以我们需要先将图片在前端展示后,然后由用户确认没有问题了,再统一上传,这样才是比较理想的。 input type=file 相信大家都知道,要在前端实现图片的上传,我们离不开的是一个 <input> type=file 的 input 元素,该元素可以允许用户选择一个或者多个文件。 <input type="file"> 复制代码 此时,我们点击 input 元素,就可以浏览本地文件并选择上传。但是,此时我们只能选择一个文件,而不能多个。这时就需要 <input> 标签的另一个属性 multiple multiple multipla 属性允许用户选择多个文件,他是一个不需要值的属性,也就是说,只要你的 input 标签上出现了这个属性,那么不论其值是什么,他都会支持多文件选择。通常来说我们使用 multiple 只会使用其属性名,而不会给他加值 ...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册