在nodejs中创建cluster
简介
在前面的文章中,我们讲到了可以通过worker_threads来创建新的线程,可以使用child_process来创建新的子进程。本文将会介绍如何创建nodejs的集群cluster。
cluster集群
我们知道,nodejs的event loop或者说事件响应处理器是单线程的,但是现在的CPU基本上都是多核的,为了充分利用现代CPU多核的特性,我们可以创建cluster,从而使多个子进程来共享同一个服务器端口。
也就是说,通过cluster,我们可以使用多个子进程来服务处理同一个端口的请求。
先看一个简单的http server中使用cluster的例子:
const cluster = require('cluster'); const http = require('http'); const numCPUs = require('os').cpus().length; if (cluster.isMaster) { console.log(`主进程 ${process.pid} 正在运行`); // 衍生工作进程。 for (let i = 0; i < numCPUs; i++) { cluster.fork(); } cluster.on('exit', (worker, code, signal) => { console.log(`工作进程 ${worker.process.pid} 已退出`); }); } else { // 工作进程可以共享任何 TCP 连接。 // 在本例子中,共享的是 HTTP 服务器。 http.createServer((req, res) => { res.writeHead(200); res.end('你好世界\n'); }).listen(8000); console.log(`工作进程 ${process.pid} 已启动`); }
cluster详解
cluster模块源自于lib/cluster.js,我们可以通过cluster.fork()来创建子工作进程,用来处理主进程的请求。
cluster中的event
cluster继承自events.EventEmitter,所以cluster可以发送和接收event。
cluster支持7中event,分别是disconnect,exit,fork,listening,message,online和setup。
在讲解disconnect之前,我们先介绍一个概念叫做IPC,IPC的全称是Inter-Process Communication,也就是进程间通信。
IPC主要用来进行主进程和子进程之间的通信。一个工作进程在创建后会自动连接到它的主进程。 当 'disconnect' 事件被触发时才会断开连接。
触发disconnect事情的原因有很多,可以是主动调用worker.disconnect(),也可以是工作进程退出或者被kill掉。
cluster.on('disconnect', (worker) => { console.log(`工作进程 #${worker.id} 已断开连接`); });
exit事件会在任何一个工作进程关闭的时候触发。一般用来监测cluster中某一个进程是否异常退出,如果退出的话使用cluster.fork创建新的进程,以保证有足够多的进程来处理请求。
cluster.on('exit', (worker, code, signal) => { console.log('工作进程 %d 关闭 (%s). 重启中...', worker.process.pid, signal || code); cluster.fork(); });
fork事件会在调用cluster.fork方法的时候被触发。
const timeouts = []; function errorMsg() { console.error('连接出错'); } cluster.on('fork', (worker) => { timeouts[worker.id] = setTimeout(errorMsg, 2000); });
主进程和工作进程的listening事件都会在工作进程调用listen方法的时候触发。
cluster.on('listening', (worker, address) => { console.log( `工作进程已连接到 ${address.address}:${address.port}`); });
其中worker代表的是工作线程,而address中包含三个属性:address、 port 和 addressType。 其中addressType有四个可选值:
- 4 (TCPv4)
- 6 (TCPv6)
- -1 (Unix 域 socket)
- 'udp4' or 'udp6' (UDP v4 或 v6)
message事件会在主进程收到子进程发送的消息时候触发。
当主进程生成工作进程时会触发fork,当工作进程运行时会触发online。
setupMaster方法被调用的时候,会触发setup事件。
cluster中的方法
cluster中三个方法,分别是disconnect,fork和setupMaster。
cluster.disconnect([callback])
调用cluster的disconnect方法,实际上会在cluster中的每个worker中调用disconnect方法。从而断开worker和主进程的连接。
当所有的worker都断开连接之后,会执行callback。
cluster.fork([env])
fork方法,会从主进程中创建新的子进程。其中env是要添加到进程环境变量的键值对。
fork将会返回一个cluster.Worker对象,代表工作进程。
最后一个方法是setupMaster:
cluster.setupMaster([settings])
默认情况下,cluster通过fork方法来创建子进程,但是我们可以通过setupMaster来改变这个行为。通过设置settings变量,我们可以改变后面fork子进程的行为。
我们看一个setupMaster的例子:
const cluster = require('cluster'); cluster.setupMaster({ exec: 'worker.js', args: ['--use', 'https'], silent: true }); cluster.fork(); // https 工作进程 cluster.setupMaster({ exec: 'worker.js', args: ['--use', 'http'] }); cluster.fork(); // http 工作进程
cluster中的属性
通过cluster对象,我们可以通过isMaster和isWorker来判断进程是否主进程。
可以通过worker来获取当前工作进程对象的引用:
const cluster = require('cluster'); if (cluster.isMaster) { console.log('这是主进程'); cluster.fork(); cluster.fork(); } else if (cluster.isWorker) { console.log(`这是工作进程 #${cluster.worker.id}`); }
可以通过workers来遍历活跃的工作进程对象:
// 遍历所有工作进程。 function eachWorker(callback) { for (const id in cluster.workers) { callback(cluster.workers[id]); } } eachWorker((worker) => { worker.send('通知所有工作进程'); });
每个worker都有一个id编号,用来定位该worker。
cluster中的worker
worker类中包含了关于工作进程的所有的公共的信息和方法。cluster.fork出来的就是worker对象。
worker的事件和cluster的很类似,支持6个事件:disconnect,error,exit,listening,message和online。
worker中包含3个属性,分别是:id,process和exitedAfterDisconnect。
其中id是worker的唯一标记。
worker中的process,实际上是ChildProcess对象,是通过child_process.fork()来创建出来的。
因为在worker中,process属于全局变量,所以我们可以直接在worker中使用process来进行发送消息。
exitedAfterDisconnect表示如果工作进程由于 .kill() 或 .disconnect() 而退出的话,值就是true。如果是以其他方式退出的话,返回值就是false。如果工作进程尚未退出,则为 undefined。
我们可以通过worker.exitedAfterDisconnect 来区分是主动退出还是被动退出,主进程可以根据这个值决定是否重新生成工作进程。
cluster.on('exit', (worker, code, signal) => { if (worker.exitedAfterDisconnect === true) { console.log('这是自发退出,无需担心'); } }); // 杀死工作进程。 worker.kill();
worker还支持6个方法,分别是:send,kill,destroy,disconnect,isConnected,isDead。
这里我们主要讲解一下send方法来发送消息:
worker.send(message[, sendHandle[, options]][, callback])
可以看到send方法和child_process中的send方法参数其实是很类似的。而本质上,worker.send在主进程中,这会发送消息给特定的工作进程。 相当于 ChildProcess.send()。在工作进程中,这会发送消息给主进程。 相当于 process.send()。
if (cluster.isMaster) { const worker = cluster.fork(); worker.send('你好'); } else if (cluster.isWorker) { process.on('message', (msg) => { process.send(msg); }); }
在上面的例子中,如果是在主进程中,那么可以使用worker.send来发送消息。而在子进程中,则可以使用worker中的全局变量process来发送消息。
总结
使用cluster可以充分使用多核CPU的优势,希望大家在实际的项目中应用起来。
本文作者:flydean程序那些事
本文链接:http://www.flydean.com/nodejs-cluster/
本文来源:flydean的博客
欢迎关注我的公众号:「程序那些事」最通俗的解读,最深刻的干货,最简洁的教程,众多你不知道的小技巧等你来发现!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
使用 Tye 辅助开发 k8s 应用竟如此简单(一)
最近正巧在进行 Newbe.Claptrap 新版本的开发,其中使用到了 Tye 来辅助 k8s 应用的开发。该系列我们就来简单了解一下其用法。 Newbe.Claptrap 是一个用于轻松应对并发问题的分布式开发框架。如果您是首次阅读本系列文章。建议可以先从本文末尾的入门文章开始了解。 安装 Tye 首先,确保已经正确安装了 netcore 2.1 或以上版本的 dotnet SDK。 Tye 目前还处于开发阶段,因此,目前只能安装预览版本进行使用。通过以下链接可以搜索到当前最新的版本,并复制界面上的 CLI 安装。 https://www.nuget.org/packages/Microsoft.Tye/ dotnet tool install --global Microsoft.Tye --version 0.6.0-alpha.21070.5 安装完毕后,在控制台中运行 tye,便可以查看到如下结果: PS C:\tools\Cmder> tye tye: Developer tools and publishing for microservices. Us...
- 下一篇
好未来数据中台实时数据平台演进
摘要:本文由好未来资深数据平台工程师毛祥溢分享,主要介绍批流融合在教育行业的实践。内容包括两部分,第一部分是好未来在做实时平台中的几点思考,第二部分主要分享教育行业中特有数据分析场景。大纲如下: 背景介绍 好未来 T-Streaming 实时平台 K12 教育典型分析场景 展望与规划 Tips:点击文末【链接】即可下载作者分享 PPT 并回顾原版分享视频~ 1.背景介绍 好未来介绍 好未来是一家 2003 年成立教育科技公司,旗下有品牌学而思,现在大家听说的学而思培优、学而思网校都是该品牌的衍生,2010 年公司在美国纳斯达克上市,2013 年更名为好未来。2016 年,公司的业务范围已经覆盖负一岁到 24 岁的用户。目前公司主营业务单元有智慧教育、教育领域的开放平台、K12 教育以及海外留学等业务。 好未来数据中台全景图 上图为好未来数据中台的全景图,主要分为三层: 第一层是数据赋能层 第二层是全域数据层 第三层是数据开发层 首先,数据赋能层。主要是商业智能、智慧决策的应用,包括一些数据工具、数据能力以及专题分析体系,数据工具主要包括埋点数据分析工具、AB 测试工具、大屏工具;数...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8编译安装MySQL8.0.19
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7,CentOS8安装Elasticsearch6.8.6
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- 设置Eclipse缩进为4个空格,增强代码规范
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果