windows 本地测试spark streaming + kafka direct api
windows 本地测试spark streaming + kafka direct api 卡在如下信息出:
“Kafka scala consumer marked as dead for group”
1.环境: kafka server为集群,连接时使用的是hostname:9092方法去连接,程序也不报错, 就是卡在上面的信息出,没有输出。 2.之前已经在集群上使用shell 测试过相应的topic,kafka 和 topic没有问题。 3.所以问题可能出在windows上,最可能就是hosts中的kafka服务器域名配置问题。验证后,果然是。 **解决方法: 修改本地windows上hosts文件,添加对应的主机映射关系即可,保证两者网络通信畅通。** 问题原因: kafka 某个topic 下的某一个机器网络是不通的,导致去获取该机器上的消费组时无法获取到,就标记该组在机器上为死亡状态。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
华泰证券Elasticsearch在日志搜索、日志分析、链路管理系统方面的应用实践
2018Elastic Meetup南京交流会,由华泰证券李文强带来以“华泰证券Elasticsearch应用实践”为题的演讲。本文首先介绍了华泰证券具有系统运维繁琐、日志不能长期保存、日志数据价值没有挖掘、大数据领的一角的特点。接着介绍了它在日志搜索、日志分析和链路管理系统方面的应用实践。最后介绍了华泰证券Elasticsearch在使用中应注意的事项。数十款阿里云产品限时折扣中,赶快点击这里,领劵开始云上实践吧!直播视频回顾以下内容根据现场分享整理而成。 建设背景及现状 背景 在过去,华泰证券具有系统运维繁琐、日志不能长期保存、日志数据价值没有挖掘、大数据领的一角的四个特点。所谓的系统运维繁琐是指系统多、独立建设、服务产生大量日志、运维时需要登陆服务器才能查看日志等,遇到复杂问题时需要一台台地登陆服务器搜索相关日志文件才能定位问题。
- 下一篇
【8.23更新--技术干货全家桶】大数据计算技术共享计划 — MaxCompute技术公开课第二季
2018年5月-6月 MaxCompute 开启大数据计算技术共享计划技术公开课第一季,有超过1500名用户以及大数据爱好者参与到直播学习中来。7月,我们又开启第二季直播,5次大数据技术直播,有近6000名用户、大数据专家、技术牛人、大数据爱好者参与其中。 在前两季的直播中,我们看到了开发者们对大数据的热情和需求,第三季正在火热策划和准备中,请大家摆好姿势,保持期待! 究竟第二季技术共享中有哪些产品和技术干货?错过了第二季直播分享,哪里可以看回放?下资料?来这里,全都有。(往下看吧) 第二季技术干货 1、MaxCompute客户端 - odpscmd操作使用—7月24日 曲宁 阿里巴巴计算平台 产品专家摘要:介绍如何借助客户端命令行工具使用 MaxCompute 服务的基础功能。 分享内容文字稿 直播视频回看 分享资料下载 2、MaxComput
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS8编译安装MySQL8.0.19
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Hadoop3单机部署,实现最简伪集群
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果