首页 文章 精选 留言 我的

精选列表

搜索[google i/o],共10009篇文章
优秀的个人博客,低调大师

wwwtl222333com/Storm集群I3O9439III2架构分析

史上最通俗易懂的Storm集群架构分析,最大白话的Storm并行度理解 初识Strom:初识实时流处理Storm,掌握其编程模型、核心概念、数据处理流程 一、原理架构图 一个连续运行的主节点组织若干节点工作,构成了一个Storm集群。 在 Storm 集群中,有两类节点:主节点(master node)和工作节点(worker nodes)。◾主节点运行着一个叫做 Nimbus 的守护进程,负责在集群中分发代码,为工作节点分配任务,并监控状态。Supervisor守护进程作为拓扑的一部分运行在工作节点上。◾每一个工作节点上面运行一个叫做Supervisor的节点。Supervisor会监听分配给它那台机器的工作,根据需要启动/关闭工作进程。每一个工作进程执行一个topology的一个子集;一个运行的topology由运行在很多机器上的很多工作进程组成。 ◾Nimbus和Supervisor之间的所有协调工作都是通过Zookeeper集群完成。另外,Nimbus进程和Supervisor进程都是快速失败(fail-fast)和无状态的。所有的状态要么在zookeeper里面, 要么在本地磁盘上。这也就意味着你可以用kill -9来杀死Nimbus和Supervisor进程, 然后再重启它们,就好像什么都没有发生过。这个设计使得Storm异常的稳定。 相关概念的深度解读:◾Nimbus:负责资源分配和任务调度。◾Supervisor:负责接受nimbus分配的任务,启动和停止属于自己管理的worker进程。 ◾Worker:运行具体处理组件逻辑的进程。拓扑是在一个或多个工作进程(worker processes)中运行的,但一个worker只会运行一个topology,不会同时为多个topology服务。每个工作进程都是一个实际的 JVM 进程,并且执行拓扑的一个子集。Storm会在所有的worker 中分散任务,以便实现集群的负载均衡。worker只是一个JVM进程,并不是指1台机器。1台机器可以开启多个worker进程。◾Task:worker中每一个spout/bolt的线程称为一个task. 在storm0.8之后,task不再与物理线程对应,同一个spout/bolt的task可能会共享一个物理线程,该线程称为executor,即:一个executor只会同时运行一个task,即:一个spout/bolt实例,当有多个task的时候,会被轮询调用的。简而言之,就是一个task运行着一个spout/bolt实例。 最后,来张图来展示它们的关系: 现在想象一下,很容易在整个 Storm 集群定义每个 bolt 和 spout 的并行性级别,因此你可以无限的扩展你的拓扑结构。通过增加Storm的并行度,可以大大提高程序运行的效率。 二、大白话理解Storm并行度:worker、executor和task之间的工作机制 1、引言 默认情况下,1个topology默认使用1个worker进程,每个worker进程默认启动1个executor,每个executor默认启动1个task。 注释:一旦启动了一个topology,worker是不能动态调整的,但是executor是可以动态调整的!!! 即:进程数固定,线程可以动态调整!!! new一个Spout就是一个task; new一个bolt又是一个task; ==>一个线程里面就有了两个task!!! ==>为了提高并行度:可以开多个worker,多个executor,而配置多个task(Spout或bolt)是没有效果,只是为了增加逻辑性。 2、通过自定义配置改变Strom的并行度 我们先放一个官网的topology示例,通过该实例配置来一步步的介绍这个理解起来稍微有些复杂的概念: 我们先解读一下上面配置的含义:◾该topology配置了2个worker进程,也就是同样的工作会有2个进程来并行进行,可以肯定地说,2个worker肯定比1个worker执行效率要高很多,但是并没有2倍的差距;◾默认情况下,1个supervisor节点最多可以启动4个worker进程(因为默认配置里面就最多只分配了4个,当然你也可以改这个配置)◾配置了一个 blue-spout,并且为其指定了 2 个 executor,即并行度为2;◾配置了一个 green-bolt,并且为其指定了 2 个 executor,即并行度为2,并设置了4个task;◾配置了一个 yellow-bolt,并且为其指定了 6 个 executor,即并行度为6; 可以看出,这个图片完整无缺地还原了代码里设定的 topology 结构:◾图左最大的灰色方框,表示这个 topology;◾topology 里面刚好有两个白色方框,表示2个 worker 进程;◾每个 worker 里面的灰色方框表示 executor 线程,可以看到2个 worker 方框里各有5个 executor;◾为什么各有5个executor呢? ◾因为代码里面指定的 spout 并行度=2,green-bolt并行度=2,yellow-bolt并行度=6,加起来刚好是10,而配置的 worker 数量为2,那么自然地,这10个 executor 会均匀地分配到2个 worker 里面;◾每个 executor 里面的黄蓝绿(写着Task)的方框,就是最小的处理单元 task 了。◾我们重点看绿色的 Task 方框,与其他 Task 不同的是,两个绿色方框同时出现在一个 executor 方框内。 ◾为什么会这样呢?◾大家回到上文看 topology 的定义代码,topologyBuilder.setBolt("green-bolt", new GreenBolt(), 2).setNumTasks(4),这里面的 setNumTasks(4) 表示为该 green-bolt 指定了4个 task,且 executor 的并行度为2,那么自然地,这4个 task 会均匀地分配到2个 executor 里面; ◾图右的三个圆圈,依次是蓝色的 blue-spout,绿色的 green-bolt 和黄色的 yellow-bolt,并且用箭头指示了三个组件之间的关系。spout 是数据的产生元件,而 green-bolt 则是数据的中间接收节点,yellow-bolt 则是数据的最后接收节点。这也是 DAG 的体现,有向的(箭头不能往回走)无环图。 下节我们将学习Storm的单机环境和分布式环境的搭建、如何提交/查看/杀死Storm作业、Storm UI界面参数介绍,并实战演示storm并行度参数调优以增强我们对Storm并行度的理解

优秀的个人博客,低调大师

Hunt 1.4.0 正式版,不仅仅是 I/O 性能优秀还很实用

Hunt 是一个D语言标准库扩展库,相当于 C++ 中的 boost,核心主要实现事件驱动的网络IO基础库,支持 epoll、iocp、kqueue,拥有优秀的IO性能和友好的API。 此外,它还提供了纯 DLang 实现的 Java 的容器类型和并发模块;提供了 logging、json与对象绑定等常用模块,以及多个工具类,如DataTimeHelper、Timer、MimeType、Configuration、UnitTest等。很多 HuntLabs 研发的框架都依赖这个核心库。 主要更改 进一步增强了网络IO模块在各平台下的稳定性;增减了部分核心模块及容器模块的API; 改进了如 JSON 序列化、values成员生成等模块的实现。 详细更改内容 改进IOCP封装,修复Windows平台下部分数据重复发送的问题; 修正析构函数再次调用带GC操作,导致APP内存随机出错的问题; Map类型添加clone接口; 基于最新的DMD标准库,改进了原子操作getAndSet的实现; 增强JSON序列化操作,支持更复杂的类型结构,并完善了单元测试; 改进混入模板ValuesMemberTempate的实现,保证values成员的线程安全及延迟初始化; 加强了TcpStream模块的异常捕捉,更好地记录跨线程异常; 添加Ignore等更多注解到UnitTest; 移除不常使用到的Radix模块; Float和Double模块新增多个API,并修复部分bug; 改进了调试日志信息提示,力求更准确地描述出错内容。 编译器要求 建议 dmd 2.088+

优秀的个人博客,低调大师

普通o2o公司架构部署

架构方案 web1:192.168.1.211 web1:192.168.1.212 web1:192.168.1.214 部署软件: java tomcat redis主从集群 zookeeper集群 elastcserch集群 ####三台服务器Jdk安装部署 rpm –ivh jdk-7u67-linux-x64.rpm vi /root/.bash_profile 添加内容 JAVA_HOME=/usr/java/jdk1.7.0_67 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME export PATH export CLASSPATH #使变量文件生效 source /root/.bash_profile 测试:java –version ###########redis主从部署 yum -y install gcc vim tar xf redis-3.0.3.tar.gz mv redis-3.0.3 /storage/local/redis-3.0.3 cd /storage/local/redis-3.0.3 make MALLOC=libc && make install redis配置: redis目录:/storage/local/redis-3.0.3 主的redis配置文件,使用默认的配置文件就可以了,如果你需要设计其他参数 从的redis配置文件,添加 #从的redis配置文件,需要添加vim/storage/local/redis-3.0.3/redis.conf daemonizeyes slaveof192.168.1.2116379 启动主从redis redis-server/storage/local/redis-3.0.3/redis.conf 查看主redis信息 #查看主redis的信息redis-cli-h192.168.1.211infoReplication#Replicationrole:master#代表192.168.1.211:6379这台redis是主connected_slaves:1slave0:192.168.9.18,6379,online 查看从redis信息 #查看主redis的信息redis-cli-h192.168.1.212infoReplication#Replicationrole:slave#代表192.168.1.211:6379这台redis是主master_host:192.168.1.212master_port:6379master_link_status:up master_last_io_seconds_ago:4master_sync_in_progress:0slave_priority:100slave_read_only:1connected_slaves:0 配置redis sentinel集群监控服务 1.添加一份redis sentinel 配置文件 vim/storage/local/redis-3.0.3/sentinel.conf##redis-0##sentinel实例之间的通讯端口port26379#master1 port26379 sentinelmonitormymaster192.168.1.21163792 sentineldown-after-millisecondsmymaster5000 sentinelfailover-timeoutmymaster900000 sentinelparallel-syncsmymaster2 2.有配置文件了,那么启动redis sentinel做redis集群监听 redis-sentinel/storage/local/redis-3.0.3/sentinel.conf 监控状态查询 #################ZooKeeper部署 第一步:主机名称到IP地址映射配置 ZooKeeper集群中具有两个关键的角色:Leader和Follower。集群中所有的结点作为一个整体对分布式应用提供服务,集群中每个结点之间都互相连接,所以,在配置的ZooKeeper集群的时候,每一个结点的host到IP地址的映射都要配置上集群中其它结点的映射信息。 例如,我的ZooKeeper集群中每个结点的配置,以slave-01为例,/etc/hosts内容如下所示: vim /etc/hosts 192.168.1.211 slave-01 192.168.1.212 slave-02 192.168.1.214 slave-03 第二步:修改ZooKeeper配置文件 在其中一台机器(slave-01)上,解压缩 tar xf zookeeper-3.3.4.tar.gz,mv zookeeper-3.3.4 zookeeper-3.3.4-node1 修改配置文件 cp zookeeper-3.3.4-node1/conf/zoo_sample.cfg /zoo.cfg vim zoo.cfg tickTime=2000 initLimit=10 syncLimit=5 dataDir=/tmp/zookeeper clientPort=2181 server.1=slave-01:2888:3888 server.2=slave-02:2888:3888 server.3=slave-03:2888:3888 第三步:远程复制分发安装文件 上面已经在一台机器slave-01上配置完成ZooKeeper,现在可以将该配置好的安装文件远程拷贝到集群中的各个结点对应的目录下: scp -r zookeeper-3.3.4-node1/root@192.168.1.211:/storage/local/zookeeper-3.3.4-node2 scp -r zookeeper-3.3.4-node1/root@192.168.1.211:/storage/local/zookeeper-3.3.4-node3 第四步:设置myid 在我们配置的dataDir指定的目录下面,创建一个myid文件,里面内容为一个数字,用来标识当前主机,conf/zoo.cfg文件中配置的server.X中X为什么数字,则myid文件中就输入这个数字 mkdir /tmp/zookeeper web1设置: echo "1" > /tmp/zookeeper/myid web2设置: echo "2" > /tmp/zookeeper/myid web3设置: echo "3" > /tmp/zookeeper/myid 启动 sh /home/storage/local/zookeeper-node1/bin//zkServer.sh start 查看状态 sh /home/storage/local/zookeeper-node1/bin//zkServer.sh status JMX enabled by default Using config: /home/hadoop/installation/zookeeper-3.3.4/bin/../conf/zoo.cfg Mode: leader 或follower(正常) ######################elasticsearch集群部署 tar xf elasticsearch-1.7.1.tar.gz mkdir -pv /storage/local/elasticsearch-cluster vim/storage/local/elasticsearch-node1/conf/elasticsearch.yml cluster.name: elasticsearch-cluster-CentOS node.name: "es-node1" node.master: true node.data: true marvel.agent.enabled: false transport.tcp.port: 9300 http.port: 9200 discovery.zen.ping.multicast.enabled: false discovery.zen.ping.unicast.hosts: ["192.168.1.212:9300", "192.168.1.214:9300"] 3.安装head插件 #进入到节点bin路径 cd /storage/local/elasticsearch-cluster/elasticsearch-node1/bin 安装插件 [root@localhost bin]# ./plugin -install mobz/elasticsearch-head 安装完插件之后会在es节点bin路径同级创建一个plugins目录,存放安装的插件 4.复制一份配置好的节点为elasticsearch-node2 scp -r /home/storage/local/zookeeper-node1/ root@192.168.1.212:/home/storage/local/zookeeper-node1/elasticsearch-node2 scp -r /home/storage/local/zookeeper-node1/ root@192.168.1.212:/home/storage/local/zookeeper-node1/elasticsearch-node3 所有服务器启动服务: sh /home/storage/local/elasticsearch-node1/bin/elasticsearch -d -Xms512m -Xmx512m 状态如图 访问:http://192.168.1.211:9200/_plugin/head/看到三个节点即可 ##########tomcat部署这里略去 附件:http://down.51cto.com/data/2366294 本文转自 msj0905 51CTO博客,原文链接:http://blog.51cto.com/sky66/1710284

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码