技术分享 | MySQL binlog 压缩功能对性能的影响-低调大师

技术分享 | MySQL binlog 压缩功能对性能的影响

2020-11-19 512

作者：蒋乐兴

MySQL DBA，擅长 python 和 SQL，目前维护着 github 的两个开源项目：mysqltools 、dbmc 以及独立博客：https://www.sqlpy.com。

本文来源：原创投稿

*爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。

概要

之前有做过一个 binlog 压缩能节约多少空间的测试，效果上看还是比较理想的，可以节约一半以上的空间。但是这个又引出了一个新的问题，那就是这个功能对性能有多大影响呢？于是我又在测试环境试了一下，测试环境的物理配置如下。

根据之前的经验这套测试环境在 120 个表 + 240 个并发的情况，可以取得一个性能上的极大值；所以在这里就直接使用这个作为测试压力。

8.0.19 场景

第一步：安装。

  
  
  
   
   
   dbma-cli-single-instance --port=3306 --max-mem=131072 \--pkg=mysql-8.0.19-linux-glibc2.12-x86_64.tar.xz install

第二步：创建测试用户。

create user sysbench@'%' identified by 'sysbench';create database tempdb;grant all on tempdb.* to sysbench@'%';

第三步：填充数据并进行压力测试。

  
  
  
   
   
   sysbench --mysql-host=192.168.100.10  --mysql-port=3306 --mysql-user=sysbench \--mysql-password=sysbench --tables=120 --table_size=100000 --mysql-db=tempdb \--time=3600 --threads=240 oltp_read_select prepare
sysbench --mysql-host=192.168.100.10  --mysql-port=3306 --mysql-user=sysbench \--mysql-password=sysbench --tables=120 --table_size=100000 --mysql-db=tempdb \--time=3600 --threads=240 oltp_read_select run

性能表现。

资源消耗情况。

8.0.20 + binlog 压缩

第一步：安装。

  
  
  
   
   
   dbma-cli-single-instance --port=3306 --max-mem=131072 \--pkg=mysql-8.0.20-linux-glibc2.12-x86_64.tar.xz install

第二步：创建测试用户。

  
  
  
   
   
   create user sysbench@'%' identified by 'sysbench';create database tempdb;grant all on tempdb.* to sysbench@'%';
-- dbm-agent 默认会开启 binlog 压缩show global variables like 'binlog_transaction_compression%';+-------------------------------------------+-------+| Variable_name                             | Value |+-------------------------------------------+-------+| binlog_transaction_compression            | ON    || binlog_transaction_compression_level_zstd | 3     |+-------------------------------------------+-------+2 rows in set (0.00 sec)

第三步：填充数据并进行压力测试。

  
  
  
   
   
   sysbench --mysql-host=192.168.100.10  --mysql-port=3306 --mysql-user=sysbench \--mysql-password=sysbench --tables=120 --table_size=100000 --mysql-db=tempdb \--time=3600 --threads=240 oltp_point_select prepare
sysbench --mysql-host=192.168.100.10  --mysql-port=3306 --mysql-user=sysbench \--mysql-password=sysbench --tables=120 --table_size=100000 --mysql-db=tempdb \--time=3600 --threads=240 oltp_read_select run

性能表现。

资源消耗情况。

8.0.20 + binlog 不压缩

第一步: 关闭 binlog 压缩功能。

  
  
  
   
   
   set @@global.binlog_transaction_compression='OFF';
show global variables like 'binlog_transaction_compression%';+-------------------------------------------+-------+| Variable_name                             | Value |+-------------------------------------------+-------+| binlog_transaction_compression            | OFF   || binlog_transaction_compression_level_zstd | 3     |+-------------------------------------------+-------+2 rows in set (0.01 sec)

第二步：进行压力测试。

  
  
  
   
   
   sysbench --mysql-host=192.168.100.10  --mysql-port=3306 --mysql-user=sysbench \--mysql-password=sysbench --tables=120 --table_size=100000 --mysql-db=tempdb \--time=3600 --threads=240 oltp_read_select run

性能表现。

资源消耗情况。

结论

开启 binlog 压缩会对性能有影响，大概会让性能下降 1%，cpu 多消耗 1%。

译文 | 使用 Apache Pulsar Functions 进行简单事件处理

原文链接：https://www.splunk.com/en_us/blog/it/simple-event-processing-with-apache-pulsar-functions.html 本文作者为 David Kjerrumgaard。阅读本文大约需要 10 分钟。本文将深入探讨简单事件处理器。首先介绍基于事件编程器的概念、事件处理器类型、事件处理网络等；最后，介绍 Apache Pulsar Functions SDK，以及一些利用 Functions SDK 提供的状态管理功能的最佳实践。基于事件的编程事件驱动架构（Event-driven Architecture，EDA）的关键特征是事件的核心重要性。在 EDA 中，事件 consumer 遵循基于事件编程（EBP）的编程样式对事件到达作出反应。与面向批处理或过程式编程不同，在 EBP 中，软件系统响应于接收一个或多个事件通知并执行处理，且完全通过事件以异步方式与其他软件组件通信。尽管所有基于事件的应用程序不尽相同，但通常都遵循下图中的结构，事件 producer 将事件引入中间的事件处理框架，该框架负责...

2020-11-19

752

什么是逐帧动画? 逐帧动画，是一种动画技术，其原理即将每帧不同的图像连续播放，从而产生动画效果。承接上一节的代码我们基于上一节的代码来实现一个圆形来回运动的动画效果。上一节的代码如下 import pygame pygame.init() screen = pygame.display.set_mode((640, 480)) # 设置窗口的大小 # 创建一个surface，名字叫background，大小和screen一样 background = pygame.Surface(screen.get_size()) # 用白色填充background；255,255,255是RGB的白色 background.fill((255, 255, 255)) mySurface = pygame.Surface((200, 200)) # 200 x 200 大小的surface mySurface.set_colorkey((0, 0, 0)) pygame.draw.circle(mySurface, (0, 0, 255), (100, 100), ...

2020-11-20

690

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。