PostgreSQL 11 新特性解读: 增加对JIT(just-in-time)编译的支持提升分析型SQL执行效率
关于 JIT
PostgreSQL 11 版本的一个重量级新特性是引入了 JIT (Just-in-Time) 编译来加速SQL中的表达式计算效率。
JIT 表达式的编译使用LLVM项目编译器的架构来提升在WHERE条件、指定列表、聚合以及一些内部操作表达式的编译执行。
使用 JIT 必须在首先编译安装 LLVM ,之后编译安装 PostgreSQL 时设置 --with-llvm
选项,本文主要包括两部分,如下:
- CentOS7 编译安装 LLVM。
- CentOS7 编译安装PostgreSQL 11,启用并演示 JIT。
JIT 使用场景
JIT 常用于CPU密集型SQL(分析统计SQL),执行很快的SQL使用JIT由于产生一定开销,反而可能引起性能下降。
手册 Release说明
Add Just-in-Time (JIT) compilation of some parts of query plans to improve execution speed (Andres Freund)
This feature requires LLVM to be available. It is not currently enabled by default, even in builds that support it.
安装环境
操作系统: CentOS Linux release 7.4.1708 (Core)
硬件环境: 8核4G/80G 的云主机
LLVM安装前提条件
LLVM 安装依赖较多,如下:
The minimum required version of LLVM is currently 3.9 --本实验使用 LLVM 5.0.2 CMake. Version 3.4.3 is the minimum required. --本实验使用 Cmake 3.12.3 Python 2.7 or newer is required --本实验使用 Python 2.7.9 GCC version must be at least 4.8! --本实验使用 gcc 4.8.5
安装 Cmake 3.12.3
下载并编译安装 cmake 3.12.3,如下:
# wget -c https://cmake.org/files/v3.12/cmake-3.12.3.tar.gz # tar xvf cmake-3.12.3.tar.gz # cd cmake-3.12.3 # ./bootstrap # make -j 4 # make install
安装Python 2.7.9
下载并编译安装 python 2.7.9,如下:
# wget -c https://www.python.org/downloads/release/python-279/ # tar jxvf Python-2.7.9.tgz # cd Python-2.7.9 # ./configure # make # make install
安装 LLVM 5.0.2
LLVM 的安装步骤较繁琐,并且编译安装过程时间较长,性能好的机器能减少编译时间,注意操作系统需启用 swap
,否则编译过程中会报错,本人开始编译安装时没有启用 swap
,折腾了很久。
下载LLVM安装介质
在 LLVM官网下载安装介质,如下:
llvm-5.0.2.src.tar.xz cfe-5.0.2.src.tar.xz clang-tools-extra-5.0.2.src.tar.xz compiler-rt-5.0.2.src.tar.xz libcxx-5.0.2.src.tar.xz libcxxabi-5.0.2.src.tar.xz libunwind-5.0.2.src.tar.xz
编译安装LLVM
解压 llvm-5.0.2.src.tar.xz
# cd /opt/soft_bak/ # tar xvf llvm-5.0.2.src.tar.xz # mv llvm-5.0.2.src llvm
解压安装包并重命名,目录结构对应如下,如下:
安装包 | 安装目录 |
---|---|
llvm-5.0.2.src.tar.xz | /opt/soft_bak/llvm |
cfe-5.0.2.src.tar.xz | /opt/soft_bak/tools/clang |
clang-tools-extra-5.0.2.src.tar.xz | /opt/soft_bak/tools/clang/tools/extra |
compiler-rt-5.0.2.src.tar.xz | /opt/soft_bak/projects/compiler-rt |
libcxx-5.0.2.src.tar.xz | /opt/soft_bak/projects/libcxx |
libcxxabi-5.0.2.src.tar.xz | /opt/soft_bak/projects/libcxxabi |
libunwind-5.0.2.src.tar.xz | /opt/soft_bak/projects/libunwind |
LLVM 官网的其它安装包非必须,可根据情况选择。
编译安装 LLVM,如下:
# mkdir -p /opt/soft_bak/llvm_build/ # cd /opt/soft_bak/llvm_build/ # cmake -G "Unix Makefiles" -DCMAKE_INSTALL_PREFIX=/usr/local/llvm -DCLANG_DEFAULT_CXX_STDLIB=libc++ -DCMAKE_BUILD_TYPE="Release" /opt/soft_bak/llvm # make -j 4 # make install
设置环境变量,如下:
export PATH=$PATH:/usr/local/llvm/bin export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/llvm/lib
查看版本
[root@pghost7 ~]# llvm-cat --version LLVM (http://llvm.org/): LLVM version 5.0.2 Optimized build. Default target: x86_64-unknown-linux-gnu Host CPU: broadwell [root@pghost7 ~]# clang --version clang version 5.0.2 (tags/RELEASE_502/final) Target: x86_64-unknown-linux-gnu Thread model: posix InstalledDir: /usr/local/llvm/bin
至此 LLVM 已安装成功。
PostgreSQL 11 安装
安装相关包,如下:
# yum -y install gcc readline readline-devel zlib zlib-devel python-devel
下载PostgreSQL 11 并编译安装,编译时指定 --with-llvm
选项, 如下:
# wget -c https://ftp.postgresql.org/pub/source/v11.0/postgresql-11.0.tar.bz2 # tar xvf postgresql-11.0.tar.bz2 #./configure --prefix=/opt/pgsql_11.0 --with-wal-blocksize=16 -with-pgport=1930 --with-llvm LLVM_CONFIG='/usr/local/llvm/bin/llvm-config' # make wolrd -j 4 # make install-world
设置 .bash_profile
,如下:
export PGPORT=1930 export PGUSER=postgres export PGDATA=/database/pg11/pg_root export LANG=en_US.utf8 export PGHOME=/opt/pgsql_11.0 export LD_LIBRARY_PATH=$PGHOME/lib:/lib64:/usr/lib64:/usr/local/lib64:/lib:/usr/lib:/usr/local/lib export DATE=`date +"%Y%m%d%H%M"` export PATH=$PGHOME/bin:$PATH:. export MANPATH=$PGHOME/share/man:$MANPATH alias rm='rm -i' alias ll='ls -lh'
使用 initdb
初始化数据库,如下:
[pg11@pghost7 pg_root]$ initdb -D /database/pg11/pg_root -E=UTF8 --locale=C -U postgres -W
postgresql.conf 设置以下 JIT 配置参数,其它参数按需配置,这里不贴出,如下:
# - Other Defaults - #dynamic_library_path = '$libdir' jit = on # allow JIT compilation jit_provider = 'llvmjit' # JIT implementation to use
设置 pg_hba.conf,如下:
host all all 0.0.0.0/0 md5
之后启动数据库,如下:
[pg11@pghost7 pg_root]$ pg_ctl start waiting for server to start....2018-10-31 11:13:26.154 CST [19742] LOG: listening on IPv4 address "0.0.0.0", port 1930 2018-10-31 11:13:26.154 CST [19742] LOG: listening on IPv6 address "::", port 1930 2018-10-31 11:13:26.159 CST [19742] LOG: listening on Unix socket "/tmp/.s.PGSQL.1930" 2018-10-31 11:13:26.185 CST [19742] LOG: redirecting log output to logging collector process 2018-10-31 11:13:26.185 CST [19742] HINT: Future log output will appear in directory "log". done server started
JIT 测试
以下大致演示 JIT,测试样例很简单,不做充分的性能测试,有兴趣的朋友可以做 TPC-H 性能测试。
测试数据准备
创建一张5千万的数据表,如下:
CREATE TABLE t_llvm1(a int4, b int4, info text, ctime timestamp(6) without time zone); INSERT INTO t_llvm1 (a,b,info,ctime) SELECT n,n*2,n||'_llvm1',clock_timestamp() FROM generate_series(1,50000000) n;
查看 JIT 相关参数
postgres=# SELECT name,setting FROM pg_settings WHERE name LIKE 'jit%'; name | setting -------------------------+--------- jit | on jit_above_cost | 100000 jit_debugging_support | off jit_dump_bitcode | off jit_expressions | on jit_inline_above_cost | 500000 jit_optimize_above_cost | 500000 jit_profiling_support | off jit_provider | llvmjit jit_tuple_deforming | on (10 rows)
开启 JIT
开启 JIT,执行计划如下:
postgres=# SET JIT = on; SET postgres=# EXPLAIN ANALYZE SELECT count(*),sum(a) FROM t_llvm1 WHERE (a+b) > 10; QUERY PLAN -------------------------------------------------------------------------------------------------------------------------------------------------- Finalize Aggregate (cost=576982.30..576982.31 rows=1 width=16) (actual time=2148.607..2148.608 rows=1 loops=1) -> Gather (cost=576981.86..576982.28 rows=4 width=16) (actual time=2148.457..2153.185 rows=5 loops=1) Workers Planned: 4 Workers Launched: 4 -> Partial Aggregate (cost=575981.86..575981.88 rows=1 width=16) (actual time=2134.919..2134.919 rows=1 loops=5) -> Parallel Seq Scan on t_llvm1 (cost=0.00..555148.48 rows=4166677 width=4) (actual time=105.597..1516.253 rows=9999999 loops=5) Filter: ((a + b) > 10) Rows Removed by Filter: 1 Planning Time: 0.078 ms JIT: Functions: 28 Options: Inlining true, Optimization true, Expressions true, Deforming true Timing: Generation 5.842 ms, Inlining 226.589 ms, Optimization 191.071 ms, Emission 107.027 ms, Total 530.529 ms Execution Time: 2154.870 ms (14 rows)
从以上看出执行计划中包含 JIT 编译信息,执行时间为 2154 ms 左右。
关闭 JIT
关闭 JIT,查看执行计划和扫行时间,如下:
postgres=# SET JIT = off; SET postgres=# EXPLAIN ANALYZE SELECT count(*),sum(a) FROM t_llvm1 WHERE (a+b) > 10; QUERY PLAN ------------------------------------------------------------------------------------------------------------------------------------------------ Finalize Aggregate (cost=576982.30..576982.31 rows=1 width=16) (actual time=2382.035..2382.035 rows=1 loops=1) -> Gather (cost=576981.86..576982.28 rows=4 width=16) (actual time=2381.939..2385.143 rows=5 loops=1) Workers Planned: 4 Workers Launched: 4 -> Partial Aggregate (cost=575981.86..575981.88 rows=1 width=16) (actual time=2371.143..2371.143 rows=1 loops=5) -> Parallel Seq Scan on t_llvm1 (cost=0.00..555148.48 rows=4166677 width=4) (actual time=0.560..1600.125 rows=9999999 loops=5) Filter: ((a + b) > 10) Rows Removed by Filter: 1 Planning Time: 0.083 ms Execution Time: 2385.209 ms (10 rows)
从以上看出执行计划中没有包含 JIT 信息,执行时间为 2385 ms 左右,开启JIT性能提升了9.7% 左右。
参考
- Chapter 32. Just-in-Time Compilation (JIT)
- The LLVM Compiler Infrastructure
- PostgreSQL 已包含对 LLVM JIT 支持的提交性能将飙升
- How to compile PostgreSQL 11 with support for JIT compilation on RHEL/CentOS 7
- PostgreSQL 11 and Just In Time Compilation of Queries
- Speeding up query execution in PostgreSQL using LLVM JIT compiler
- PostgreSQL 11.0 正式版更新版本发布说明
新书推荐
最后推荐和张文升共同编写的《PostgreSQL实战》,本书基于PostgreSQL 10 编写,共18章,重点介绍SQL高级特性、并行查询、分区表、物理复制、逻辑复制、备份恢复、高可用、性能优化、PostGIS等,涵盖大量实战用例!
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
学爬虫,需要掌握哪些Python基础?
入手爬虫确实不要求你精通Python编程,但基础知识还是不能忽视的,那么我们需要哪些Python基础呢? 首先我们先来看看一个最简单的爬虫流程: 第一步要确定爬取页面的链接,由于我们通常爬取的内容不止一页,所以要注意看看翻页、关键字变化时链接的变化,有时候甚至要考虑到日期;另外还需要主要网页是静态、动态加载的。 第二步请求资源,这个难度不大,主要是Urllib,Request两个库的使用,必要时候翻翻官方文档即可 第三步是解析网页。请求资源成功后,返回的整个网页的源代码,这时候我们就需要定位,清洗数据了 谈到数据,第一个要注意的点就是数据的类型,是不是该掌握! 其次,网页上的数据往往排列十分整齐,这多亏了列表,使用大部分网页数据整洁而有规律,所以列表、循环语句是不是也要掌握! 但值得注意得是网页数据不一定都是整齐而有规律的,比如最常见的个人信息,除了必填选项,其他部分我就不爱填,这时候部分信息缺失了,你是不是得先判断一下是否有数据,再进行抓取,所以判断语句是不是也不能少! 掌握以上内容,我们的爬虫基本上能跑起来了,但为了提高代码效率,我们可以借助函数将一个程序分割成多个小部分,每部分负...
- 下一篇
基于C#简单实现的微信网页版接口
一、想法来源 作为程序员,对自己工具不满,就要去改造,对于微信已经厌恶极久了。总有人不合时宜的发语音,总有老板无时无刻的艾特,总有微商群发各种消息。重点是不能忍受语音。当现有客户端不能满足要求,心中无限郁闷,想着做一个客户端,去回怼那些发语音的人。 二、初期准备 最开始想从手机微信客户端动手,奈何抓包看的我头疼,后来想到用Fiddler(比较友好易用)去抓微信网页版,就开始了各种抓包之旅。 三、目录接口 因为是第一次写类似的类库,中间迭代重写了好几次,主要包含CommonTools.dll,HttpHelper.dll跟一个WeChatCore.dll,第一个工具包,提供简单工具类,例如一些扩展方法处理(不包含业务逻辑的),还有一些简单的日志记录之类的。第二个工具包就是简单的http请求,做了一个简单的封装。WeChatCore.dll是核心业务dll主要目录结构如下: 主要目录结构 首先Common文件夹下包含有 Common 包含此三个工具类, CommonMethodCallBackHandlers.cs提供一些方法回调,比如收到信息,...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS8编译安装MySQL8.0.19
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS8安装Docker,最新的服务器搭配容器使用
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合Redis,开启缓存,提高访问速度