您现在的位置是：首页 > 文章详情

python 大型项目实战 0 基础异步操作 mysql 5 倍性能提升案例

日期：2021-05-16点击：476收藏

点击python编程从入门到实践，置顶公众号重磅 python入门资料，第一时间送达

读完需要8分钟

速读仅需 3 分钟

/ python 大型项目实战 0 基础异步操作 mysql 5 倍性能提升案例 /

注:这篇文章核心是介绍 python 中异步使用 mysql 涉及到的文件会比较多，但我保证你看完后能快速使用在自己的项目中来提升并发读写性能。

背景介绍

在平时的开发中你是否会收到来自不同方的抱怨？
eg1:
运营 1:"哎，我们的后台刷新一个页面怎么就这么慢呀，让它快点呀，老是在这里转圈圈，我......"
你:"哦，知道啦。我再看看"。此时的你也在思考，心里想:我设计的表也没问题了呀，也加索引了呀，可就还是慢，我要不再加大一下线程池？要不加一下 cache?
eg2:
领导 1:"小王呀，我看线上监控，你那边负责的项目中读库的性能很差呀，分析一下拿出一个优化方案"
你:"好的，领导我知道了，我追踪一下"，虽硬着头皮应下来了不过此时你内心在想:"领导，我看了半天也是头大，没办法再优化了"。
......
笔者在与面试者沟通的过程中会经常问一个问题:"现在页面发现加载数据很慢，若是你会从那些方面去思考和解决这方面的问题呢？"
能很系统的回答这个问题的面试者寥寥无几，本篇我们不是系统的介绍如何进行优化系统，只是介绍一种提高并发的一种解决方案(业务读写数据层面)

基础必备知识

2.1

databases 简单介绍

首先，我们要介绍一下 databases 模块，我们先看一下官方介绍:
1.Databases gives you simple asyncio support for a range of databases.
2.Databases is suitable for integrating against any async Web framework, such as Starlette, Sanic, Responder, Quart, aiohttp, Tornado, or FastAPI.
3.Requirements: Python 3.6+

一句话总结:在 fastapi 中我们可以通过 Databases 来达到异步操作数据库的目的

2.2

databases 安装

 $ pip install databases You can install the required database drivers with:$ pip install databases[postgresql]$ pip install databases[mysql]$ pip install databases[sqlite]

2.3

databases 案例

 # install# $ pip install databases[sqlite] # Create a database instance, and connect to it.from databases import Database database = Database('sqlite:///example.db')await database.connect() # Create a table.query = """CREATE TABLE HighScores (id INTEGER PRIMARY KEY, name VARCHAR(100), score INTEGER)"""await database.execute(query=query) # Insert some data.query = "INSERT INTO HighScores(name, score) VALUES (:name, :score)"values = [ {"name": "Daisy", "score": 92}, {"name": "Neil", "score": 87}, {"name": "Carol", "score": 43},]await database.execute_many(query=query, values=values) # Run a database query.query = "SELECT * FROM HighScores"rows = await database.fetch_all(query=query)print('High Scores:', rows)

我们可以看到在操作数据库的过程中无论是连接数据库还是进行 CURD 都是加入了关键字 await ，我们知道在 python3.6+之后通过官方提供的 async/await 来处理异步的解决方案，so 我们就知道了可以使用 databases 来达到异步处理数据的目的

fastapi 中引入 databases

3.1

配置数据库的基础信息

首先我们需要在进行配置数据库的基础信息，包括连接的域名、端口、用户名、密码等等。

 # 内容放置在 settings.py 文件中DATABASES = { 'haishiniu_database': { 'url': 'mysql://user1:password1@127.0.0.1:3306/haishiniu_test', 'host': '127.0.0.1', 'port': 3306, 'user': 'user1', 'password': 'password1', 'db': 'haishiniu', 'options': { 'init_command': 'SET foreign_key_checks = 0;', 'charset': 'utf8mb4', 'min_size': 1, 'max_size': 8, 'pool_recycle': 100, } }}

3.2

基于配置生成 mysql 数据库的连接句柄

 # 放置在 connector.py 文件中import databasesimport settingsfrom typing import Any, Dict haishiniu_db_settings: Dict[str, Any] = settings.DATABASES["haishiniu_database"] db_mysql_haishiniu = databases.Database( url=haishiniu_db_settings["url"], **haishiniu_db_settings["options"])

这样就可以得到一个数据库的连接/操作句柄:db_mysql_haishiniu

3.3

在 fastapi 中使用 databases

完成配置、连接之后就可以进行对数据库进行访问操作

 # 配置在 get_table_info.py 中from dataclasses import dataclass @dataclass(frozen=True)class HaishiniuSQL(object): # 获取用户信息sql get_user_info_sql = " select user_name, age, sex from user where user_id =:user_id " haishiniu_sql = HaishiniuSQL()

封装完成 sql 语句之后我们再在主逻辑中引用其完成相应的功能

 from fastapi import FastAPIfrom connector import db_mysql_haishiniufrom get_table_info import haishiniu_sql app = FastAPI() @app.get("/get_user_info/")async def read_user_info(*, user_id: str = None):  user_info = await db_mysql_haishiniu.fetch_all( haishiniu_sql.get_user_info_sql, values={"user_id": user_id}, ) return {"user_info": user_info}