首页 文章 精选 留言 我的

精选列表

搜索[Agent 集群服务],共10000篇文章
优秀的个人博客,低调大师

Kafka Docker集群搭建

1. Zookeeper下载 http://apache.org/dist/zookeeper/ http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz 2.Kafka下载 http://apache.org/dist/kafka/ http://mirror.bit.edu.cn/apache/kafka/0.10.0.0/kafka_2.10-0.10.0.0.tgz 3,Zookeeper的Docker镜像制作 可以直接使用Zookeeper镜像 docker pull zookeeper 也可以自己使用Dockerfile制作 #基础镜像使用java,这样可以免于设置java环境 FROM java #作者 MAINTAINER Bonker <bonker@foxmail.com> #定义工作目录 ENV WORK_PATH /opt/zkcluster/zkconf #定义zookeeper文件夹名称 ENV ZOOKEEPER_PACKAGE_NAME zookeeper-3.4.9 #创建工作目录 RUN mkdir -p $WORK_PATH #把zookeeper压缩文件复制到工作目录 COPY ./$ZOOKEEPER_PACKAGE_NAME.tar.gz $WORK_PATH/ #解压缩 RUN tar -xvf $WORK_PATH/$ZOOKEEPER_PACKAGE_NAME.tar.gz -C $WORK_PATH/ #删除压缩文件 RUN rm $WORK_PATH/$ZOOKEEPER_PACKAGE_NAME.tar.gz #给shell赋予执行权限 RUN chmod a+x $WORK_PATH/$ZOOKEEPER_PACKAGE_NAME/bin/zkServer.sh RUN mv $WORK_PATH/$ZOOKEEPER_PACKAGE_NAME/conf/zoo_sample.cfg $WORK_PATH/$ZOOKEEPER_PACKAGE_NAME/conf/zoo.cfg ENTRYPOINT $WORK_PATH/$ZOOKEEPER_PACKAGE_NAME/bin/zkServer.sh start-foreground #ENTRYPOINT ["/bin/sh -c",$WORK_PATH/$ZOOKEEPER_PACKAGE_NAME/bin/zkServer.sh] #CMD [start-foreground] 构建zookeeper docker build -t bonker/zookeeper:3.4.9 . 运行docker docker run -d -p 2181:2181 --name zookeeper3.4.9 bonker/zookeeper:3.4.9 4,Kafka的Docker镜像制作 编写执行脚本kafkaStart.sh sed -i "s/broker.id=0/broker.id=$BROKER_ID/g" $WORK_PATH/$KAFKA_PACKAGE_NAME/config/server.properties $WORK_PATH/$KAFKA_PACKAGE_NAME/bin/kafka-server-start.sh $WORK_PATH/$KAFKA_PACKAGE_NAME/config/server.properties 编写Dockerfile #基础镜像使用java,这样可以免于设置java环境 FROM java #作者 MAINTAINER Bonker <bonker@foxmail.com> #定义工作目录 ENV WORK_PATH /usr/local/work #定义kafka文件夹名称 ENV KAFKA_PACKAGE_NAME kafka_2.10-0.10.0.0 #创建工作目录 RUN mkdir -p $WORK_PATH #把kafka压缩文件复制到工作目录 COPY ./$KAFKA_PACKAGE_NAME.tgz $WORK_PATH/ #把kafka执行脚本复制到工作目录 COPY ./kafkaStart.sh $WORK_PATH/ #给shell赋予执行权限 RUN chmod a+x $WORK_PATH/kafkaStart.sh #解压缩 RUN tar -xvf $WORK_PATH/$KAFKA_PACKAGE_NAME.tgz -C $WORK_PATH/ #删除压缩文件 RUN rm $WORK_PATH/$KAFKA_PACKAGE_NAME.tgz #执行sed命令修改文件,将连接zk的ip改为link参数对应的zookeeper容器的别名 RUN sed -i 's/zookeeper.connect=localhost:2181/zookeeper.connect=zkhost:2181/g' $WORK_PATH/$KAFKA_PACKAGE_NAME/config/server.properties #执行sed命令修改文件,改变brokerId #RUN sed -i "s/broker.id=0/broker.id=$BROKER_ID/g" $WORK_PATH/$KAFKA_PACKAGE_NAME/config/server.properties #CMD $WORK_PATH/$KAFKA_PACKAGE_NAME/bin/kafka-server-start.sh $WORK_PATH/$KAFKA_PACKAGE_NAME/config/server.properties CMD $WORK_PATH/kafkaStart.sh 构建kafka docker build -t bonker/kafka:2.10-0.10.0.0 . 5,安装docker-compose 安装python-pip yum -y install epel-release yum -y install python-pip 安装docker-compose pip install docker-compose 待安装完成后,执行查询版本的命令,即可安装docker-compose docker-compose version 6,运行Dokcer容器 编写docker-compose.yml version: '2' services: zk_server: image: bonker/zookeeper:3.4.9 restart: always kafka_server: image: bonker/kafka:2.10-0.10.0.0 ports: - "9091:9092" environment: BROKER_ID: 1 links: - zk_server:zkhost restart: always message_producer: image: bonker/kafka:2.10-0.10.0.0 ports: - "9092:9092" environment: BROKER_ID: 2 links: - zk_server:zkhost restart: always message_consumer: image: bonker/kafka:2.10-0.10.0.0 ports: - "9093:9092" environment: BROKER_ID: 3 links: - zk_server:zkhost restart: always 启动容器 现在打开终端,在docker-compose.yml所在目录下执行docker-compose up -d,即可启动所有容器 作者:Bonker 出处:http://www.cnblogs.com/Bonker QQ:519841366 "> 本页版权归作者和博客园所有,欢迎转载,但未经作者同意必须保留此段声明, 且在文章页面明显位置给出原文链接,否则保留追究法律责任的权利

优秀的个人博客,低调大师

storm集群的监控

所谓兵马未动,粮草先行,准备将storm用在某个项目中做实时数据分析。无论任何系统,一定要有监控系统并存,当故障发生的时候你能第一个知道,而不是让别人告诉你,那处理故障就很被动了。 因此我写了这么个项目,取名叫storm-monitor,放在了github上https://github.com/killme2008/storm-monitor 主要功能如下:1.监控supervisor数目是否正确,当supervisor挂掉的时候会发送警告。2.监控nimbus是否正常运行,monitor会尝试连接nimbus,如果连接失败就认为nimbus挂掉。3.监控topology是否正常运行,包括它是否正常部署,是否有运行中的任务。 当故障发生的时候通过alarm方法警告用户,开放出去的只是简单地打日志。因为每个公司的告警接口不一样,所以你需要自己扩展,修改alarm.clj即可。我们这儿就支持旺旺告警和手机短信告警。 基本的原理很简单,对supervisor和topology的监控是通过zookeeper来间接地监控,通过定期查看path是否存在。对nimbus的监控是每次起一个短连接连上去,连不上去即认为挂掉。 整个项目也是用clojure写。你的机器需要安装lein和exec插件,然后将你的storm.yaml拷贝到conf目录下,编辑monitor.yaml设定监控参数如检查间隔等,最后启动start.sh脚本即可。默认日志输出在logs/monitor.log。 本文来源于"阿里中间件团队播客",原文发表时间"2011-12-02"

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册