技术分享 | MySQL binlog 压缩功能对性能的影响-低调大师

技术分享 | MySQL binlog 压缩功能对性能的影响

2020-11-19 496

作者：蒋乐兴

MySQL DBA，擅长 python 和 SQL，目前维护着 github 的两个开源项目：mysqltools 、dbmc 以及独立博客：https://www.sqlpy.com。

本文来源：原创投稿

*爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。

概要

之前有做过一个 binlog 压缩能节约多少空间的测试，效果上看还是比较理想的，可以节约一半以上的空间。但是这个又引出了一个新的问题，那就是这个功能对性能有多大影响呢？于是我又在测试环境试了一下，测试环境的物理配置如下。

根据之前的经验这套测试环境在 120 个表 + 240 个并发的情况，可以取得一个性能上的极大值；所以在这里就直接使用这个作为测试压力。

8.0.19 场景

第一步：安装。

  
  
  
   
   
   dbma-cli-single-instance --port=3306 --max-mem=131072 \--pkg=mysql-8.0.19-linux-glibc2.12-x86_64.tar.xz install

第二步：创建测试用户。

create user sysbench@'%' identified by 'sysbench';create database tempdb;grant all on tempdb.* to sysbench@'%';

第三步：填充数据并进行压力测试。

  
  
  
   
   
   sysbench --mysql-host=192.168.100.10  --mysql-port=3306 --mysql-user=sysbench \--mysql-password=sysbench --tables=120 --table_size=100000 --mysql-db=tempdb \--time=3600 --threads=240 oltp_read_select prepare
sysbench --mysql-host=192.168.100.10  --mysql-port=3306 --mysql-user=sysbench \--mysql-password=sysbench --tables=120 --table_size=100000 --mysql-db=tempdb \--time=3600 --threads=240 oltp_read_select run

性能表现。

资源消耗情况。

8.0.20 + binlog 压缩

第一步：安装。

  
  
  
   
   
   dbma-cli-single-instance --port=3306 --max-mem=131072 \--pkg=mysql-8.0.20-linux-glibc2.12-x86_64.tar.xz install

第二步：创建测试用户。

  
  
  
   
   
   create user sysbench@'%' identified by 'sysbench';create database tempdb;grant all on tempdb.* to sysbench@'%';
-- dbm-agent 默认会开启 binlog 压缩show global variables like 'binlog_transaction_compression%';+-------------------------------------------+-------+| Variable_name                             | Value |+-------------------------------------------+-------+| binlog_transaction_compression            | ON    || binlog_transaction_compression_level_zstd | 3     |+-------------------------------------------+-------+2 rows in set (0.00 sec)

第三步：填充数据并进行压力测试。

  
  
  
   
   
   sysbench --mysql-host=192.168.100.10  --mysql-port=3306 --mysql-user=sysbench \--mysql-password=sysbench --tables=120 --table_size=100000 --mysql-db=tempdb \--time=3600 --threads=240 oltp_point_select prepare
sysbench --mysql-host=192.168.100.10  --mysql-port=3306 --mysql-user=sysbench \--mysql-password=sysbench --tables=120 --table_size=100000 --mysql-db=tempdb \--time=3600 --threads=240 oltp_read_select run

性能表现。

资源消耗情况。

8.0.20 + binlog 不压缩

第一步: 关闭 binlog 压缩功能。

  
  
  
   
   
   set @@global.binlog_transaction_compression='OFF';
show global variables like 'binlog_transaction_compression%';+-------------------------------------------+-------+| Variable_name                             | Value |+-------------------------------------------+-------+| binlog_transaction_compression            | OFF   || binlog_transaction_compression_level_zstd | 3     |+-------------------------------------------+-------+2 rows in set (0.01 sec)

第二步：进行压力测试。

  
  
  
   
   
   sysbench --mysql-host=192.168.100.10  --mysql-port=3306 --mysql-user=sysbench \--mysql-password=sysbench --tables=120 --table_size=100000 --mysql-db=tempdb \--time=3600 --threads=240 oltp_read_select run

性能表现。

资源消耗情况。

结论

开启 binlog 压缩会对性能有影响，大概会让性能下降 1%，cpu 多消耗 1%。

译文 | 使用 Apache Pulsar Functions 进行简单事件处理

原文链接：https://www.splunk.com/en_us/blog/it/simple-event-processing-with-apache-pulsar-functions.html 本文作者为 David Kjerrumgaard。阅读本文大约需要 10 分钟。本文将深入探讨简单事件处理器。首先介绍基于事件编程器的概念、事件处理器类型、事件处理网络等；最后，介绍 Apache Pulsar Functions SDK，以及一些利用 Functions SDK 提供的状态管理功能的最佳实践。基于事件的编程事件驱动架构（Event-driven Architecture，EDA）的关键特征是事件的核心重要性。在 EDA 中，事件 consumer 遵循基于事件编程（EBP）的编程样式对事件到达作出反应。与面向批处理或过程式编程不同，在 EBP 中，软件系统响应于接收一个或多个事件通知并执行处理，且完全通过事件以异步方式与其他软件组件通信。尽管所有基于事件的应用程序不尽相同，但通常都遵循下图中的结构，事件 producer 将事件引入中间的事件处理框架，该框架负责...

2020-11-19

727

什么是逐帧动画? 逐帧动画，是一种动画技术，其原理即将每帧不同的图像连续播放，从而产生动画效果。承接上一节的代码我们基于上一节的代码来实现一个圆形来回运动的动画效果。上一节的代码如下 import pygame pygame.init() screen = pygame.display.set_mode((640, 480)) # 设置窗口的大小 # 创建一个surface，名字叫background，大小和screen一样 background = pygame.Surface(screen.get_size()) # 用白色填充background；255,255,255是RGB的白色 background.fill((255, 255, 255)) mySurface = pygame.Surface((200, 200)) # 200 x 200 大小的surface mySurface.set_colorkey((0, 0, 0)) pygame.draw.circle(mySurface, (0, 0, 255), (100, 100), ...

2020-11-20

676

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。