SMProxy,让你的数据库操作快三倍!
中文 | English
SMProxy
喜欢请star
github: https://github.com/louislivi/smproxy
Swoole MySQL Proxy
一个基于 MySQL 协议,Swoole 开发的MySQL数据库连接池。
原理
将数据库连接作为对象存储在内存中,当用户需要访问数据库时,首次会建立连接,后面并非建立一个新的连接,而是从连接池中取出一个已建立的空闲连接对象。
使用完毕后,用户也并非将连接关闭,而是将连接放回连接池中,以供下一个请求访问使用。而连接的建立、断开都由连接池自身来管理。
同时,还可以通过设置连接池的参数来控制连接池中的初始连接数、连接的上下限数以及每个连接的最大使用次数、最大空闲时间等等。
也可以通过其自身的管理机制来监视数据库连接的数量、使用情况等。超出最大连接数会采用协程挂起,等到有连接关闭再恢复协程继续操作。
特性
- 支持读写分离
- 支持数据库连接池,能够有效解决 PHP 带来的数据库连接瓶颈
- 支持 SQL92 标准
- 采用协程调度
- 支持多个数据库连接,多个数据库,多个用户,灵活搭配
- 遵守 MySQL 原生协议,跨语言,跨平台的通用中间件代理
- 支持 MySQL 事务
- 支持 HandshakeV10 协议版本
- 完美兼容 MySQL4.1 - 8.0
- 兼容各大框架,无缝提升性能
设计初衷
PHP 没有连接池,所以高并发时数据库会出现连接打满的情况,Mycat 等数据库中间件会出现部分 SQL 无法使用,例如不支持批量添加等,而且过于臃肿。
所以就自己编写了这个仅支持连接池和读写分离的轻量级中间件,使用 Swoole 协程调度 HandshakeV10 协议转发使程序更加稳定,不用像 Mycat 一样解析所有 SQL 包体,增加复杂度。
环境
- Swoole 2.1+
- PHP 7.0+
安装
(推荐)直接下载最新发行版的 PHAR 文件,解压即用:
https://github.com/louislivi/smproxy/releases/latest
或者使用 Git 切换任意版本:
git clone https://github.com/louislivi/smproxy.git composer install --no-dev # 如果你想贡献你的代码,请不要使用 --no-dev 参数。
运行
需要给予 bin/SMProxy 执行权限。
SMProxy [ start | stop | restart | status | reload ] [ -c | --config <configuration_path> ] SMProxy -h | --help SMProxy -v | --version
Options:
- start 运行服务
- stop 停止服务
- restart 重启服务
- status 查询服务运行状态
- reload 平滑重启
- -h --help 帮助
- -v --version 查看当前服务版本
- -c --config 设置配置项目录
SMProxy连接测试
测试SMProxy与测试MySQL完全一致,MySQL怎么连接,SMProxy就怎么连接。
推荐先采用命令行测试:
(请勿使用MYSQL8.0客户端链接测试)
mysql -uroot -p123456 -P3366 -h127.0.0.1
也可采用工具连接。
没用框架的 PHP 7.2.6
没用:0.15148401260376,用了:0.040808916091919
未使用连接池: 0.15148401260376
使用连接池: 0.040808916091919
ThinkPHP 5.0
未使用连接池:
使用连接池:
Laravel 5.7
未使用连接池:
使用连接池:
MySQL 连接数
未使用连接池:
使用连接池:
请以实际压测为准,根数据量,网络环境,数据库配置有关。
测试中因超出最大连接数会采用协程挂起 等到有连接关闭再恢复协程继续操作,
所有并发量与配置文件maxConns设置的不合适,会导致比原链接慢,主要是为了控制连接数。
交流
QQ群:722124111
配置文件
- 配置文件位于
smproxy/conf
目录中,其中大写ROOT
代表当前 SMProxy 根目录。
database.json
{ "database": { "account": { "自定义用户名": { "user": "必选,数据库账户", "password": "必选,数据库密码" }, "...": "必选1个,自定义用户名 与serverInfo中的account相对应" }, "serverInfo": { "自定义数据库连接信息": { "write": { "host": "必选,写库地址 多个用[]表示", "port": "必选,写库端口", "timeout": "必选,写库连接超时时间(秒)", "account": "必选,自定义用户名 与 account中的自定义用户名相对应" }, "read": { "host": "可选,读库地址 多个用[]表示", "port": "可选,读库端口", "timeout": "可选,读库连接超时时间(秒)", "account": "可选,自定义用户名 与 account中的自定义用户名相对应" } }, "...": "必选1个,自定义数据库连接信息 与databases中的serverInfo相对应,read读库可不配置" }, "databases": { "数据库名称": { "serverInfo": "必选,自定义数据库连接信息 与serverInfo中的自定义数据库连接信息相对应", "maxConns": "必选,该库服务最大连接数,支持计算", "maxSpareConns": "必选,该库服务最大空闲连接数,支持计算", "startConns": "可选,该库服务默认启动连接数,支持计算", "maxSpareExp": "可选,该库服务空闲连接数最大空闲时间(秒),默认为0,支持计算", "charset": "可选,该库编码格式" }, "...": "必选1个,数据库名称 多个数据库配置多个" } } }
-
maxConns
,maxSpareConns
,startConns
- 推荐设置为
server.json
中配置的worker_num
的倍数swoole_cpu_num()*N
- 推荐设置为
-
多个读库,写库
- 目前采取的是随机获取连接,推荐将
maxConns
,startConns
,startConns
至少设置为max(读库,写库)*worker_num
的1倍以上
- 目前采取的是随机获取连接,推荐将
server.json
{ "server": { "user": "必选,SMProxy服务用户", "password": "必选,SMProxy服务密码", "charset": "可选,SMProxy编码,默认utf8mb4", "host": "可选,SMProxy地址,默认0.0.0.0", "port": "可选,SMProxy端口,默认3366 如需多个以`,`隔开", "mode": "可选,SMProxy运行模式,SWOOLE_PROCESS多进程模式(默认),SWOOLE_BASE基本模式", "sock_type": "可选,sock类型,SWOOLE_SOCK_TCP tcp", "logs": { "open":"必选,日志开关,true 开 false 关", "config": { "system": { "log_path": "必选,SMProxy系统日志目录", "log_file": "必选,SMProxy系统日志文件名", "format": "必选,SMProxy系统日志目录日期格式" }, "mysql": { "log_path": "必选,SMProxyMySQL日志目录", "log_file": "必选,SMProxyMySQL日志文件名", "format": "必选,SMProxyMySQL日志目录日期格式" } } }, "swoole": { "worker_num": "必选,SWOOLE worker进程数,支持计算", "max_coro_num": "必选,SWOOLE 协程数,推荐不低于3000", "pid_file": "必选,worker进程和manager进程pid目录", "open_tcp_nodelay": "可选,关闭Nagle合并算法", "daemonize": "可选,守护进程化,true 为守护进程 false 关闭守护进程", "heartbeat_check_interval": "可选,心跳检测", "heartbeat_idle_time": "可选,心跳检测最大空闲时间", "reload_async": "可选,异步重启,true 开启异步重启 false 关闭异步重启", "log_file": "可选,SWOOLE日志目录" }, "swoole_client_setting": { "package_max_length": "可选,SWOOLE Client 最大包长,默认16777216MySQL最大支持包长" }, "swoole_client_sock_setting": { "sock_type": "可选,SWOOLE Client sock 类型,默认tcp 仅支持tcp" } } }
-
user
,password
,port,host
- 为
SMProxy
的账户|密码|端口|地址(非Mysql数据库账户|密码|端口|地址) - 可随意设置用于
SMProxy
登录验证 - 例如默认配置登录为
mysql -uroot -p123456 -P 3366 -h 127.0.0.1
-
SMProxy
登录成功MySQL COMMIT会提示Server version: 5.6.0-SMProxy
- 为
-
worker_num
- 推荐使用
swoole_cpu_num()
或swoole_cpu_num()*N
- 推荐使用
MySQL8.0
-
SMProxy1.2.4
及以上可直接使用 -
SMProxy1.2.4
以下需要做兼容处理MySQL-8.0
默认使用了安全性更强的caching_sha2_password
插件,其他版本如果是从5.x
升级上来的, 可以直接使用所有MySQL
功能, 如是新建的MySQL
, 需要进入MySQL
命令行执行以下操作来兼容:
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY 'password'; flush privileges;
将语句中的 'root'@'%'
替换成你所使用的用户, password
替换成其密码.
如仍无法使用, 应在my.cnf中设置 default_authentication_plugin = mysql_native_password
其他学习资料
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
互联网 Java 工程师进阶知识完全扫盲
高并发架构 消息队列 为什么使用消息队列?消息队列有什么优点和缺点?Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么优点和缺点? 如何保证消息队列的高可用? 如何保证消息不被重复消费?(如何保证消息消费时的幂等性) 如何保证消息的可靠性传输?(如何处理消息丢失的问题) 如何保证消息的顺序性? 如何解决消息队列的延时以及过期失效问题?消息队列满了以后该怎么处理?有几百万消息持续积压几小时,说说怎么解决? 如果让你写一个消息队列,该如何进行架构设计啊?说一下你的思路。 搜索引擎 es 的分布式架构原理能说一下么(es 是如何实现分布式的啊)? es 写入数据的工作原理是什么啊?es 查询数据的工作原理是什么啊?底层的 lucene 介绍一下呗?倒排索引了解吗? es 在数据量很大的情况下(数十亿级别)如何提高查询效率啊? es 生产集群的部署架构是什么?每个索引的数据量大概有多少?每个索引大概有多少个分片? 缓存 在项目中缓存是如何使用的?缓存如果使用不当会造成什么后果? Redis 和 Memcached 有什么区别?Redis 的线程模型是什么?为什么单线程的...
- 下一篇
Kubernetes重大漏洞?阿里云已第一时间全面修复
近日,Kubernetes社区发现安全漏洞 CVE-2018-1002105,阿里云容器服务已在第一时间完成全面修复,敬请广大用户登录阿里云控制台升级Kubernetes版本。 目前Kubernetes开发团队已经发布V1.10.11、V1.11.5修复补丁,阿里云容器服务也已在第一时间完成漏洞全面修复,用户登录阿里云控制台即可一键升级。 更多信息可以移步公告《关于Kubernetes CVE-2018-1002105 提权漏洞的修复公告》 漏洞发现后的措施 具体而言有一下几种情况供大家参考: 1 用户选用阿里云容器服务K8s 影响范围有限,阿里云容器服务ACK一直在推进和保障最小权限原则,默认开启了RBAC,通过主账号授权管理默认禁止了匿名用户访问。同时Kubelet 启动参数为”anonymous-auth=false”,提供了安全访问控
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Windows10,CentOS7,CentOS8安装Nodejs环境
- CentOS8安装Docker,最新的服务器搭配容器使用
- CentOS8编译安装MySQL8.0.19
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Docker使用Oracle官方镜像安装(12C,18C,19C)