首页 文章 精选 留言 我的

精选列表

搜索[开发者常备桌面小工具],共10002篇文章
优秀的个人博客,低调大师

封装了一个对mysql进行异步IO的小工具

SanicDB 是为 Python的异步 Web 框架 Sanic 方便操作MySQL而开发的工具,是对 aiomysql.Pool 的轻量级封装。Sanic 是异步IO的Web框架,同时用异步IO读写MySQL才能更大发挥它的效率。虽然这个模块叫做 SanicDB,但是它可以用在任何异步IO操作MySQL的地方。 SanicDB的灵感来源于tornado里面的对MySQLdb(MySQL的C语言接口的Python封装)的操作,后来tornado把它去除了,就有人把这部分代码写成一个单独的模块叫做 torndb,torndb是对python-mysql的封装,不能进行异步操作。但是它很简洁,用起来已经非常习惯了。 在用Sanic的时候,发现有异步IO的aiomysql可以用,但是用起来还有点麻烦,于是就着手对aiomysql进行封装,既然aiomysql支持连接池,那就直接封装aiomysql.Pool吧。 代码仓库: https://github.com/veelion/sanicdb 首先,看看它的初始化 class SanicDB: """A lightweight wrapper around aiomysql.Pool for easy to use """ def __init__(self, host, database, user, password, loop=None, sanic=None, minsize=3, maxsize=5, return_dict=True, pool_recycle=7*3600, autocommit=True, charset = "utf8mb4", **kwargs): ''' 前面4个参数是对应数据库的; loop 是你的应用程序中的事件循环(event_loop); sanic 是你的Sanic 应用中的sanic 对象; loop 和 sanic 两者只需提供一个即可,当同时存在时,连接数据库其实用的是sanic里面的loop,这在__init__()代码中可以看到。 minisize 和 maxsize 是连接池的个数限制; return_dict 是返回的数据一条记录为一个dict,key是MySQL表的字段名,value是字段的值; pool_recycle 是连接池重连的时间间隔,MySQL默认的连接闲置时间是8小时; 对MySQL的读写操作方法: async def query(self, query, parameters, *kwparameters): async def execute(self, query, parameters, *kwparameters):async def get(self, query, parameters, *kwparameters): 从代码中可以看到,以上三个函数都是调用的cursor的execute() 执行 SQL 命令,但是query(), get() 用于读操作返回数据,query返回全部数据(list),get只返回一条数据。 execute() 方法用来执行写操作,返回受影响的行ID。 上面三个函数都是一样的: query 是要执行的SQL语句, 后面两个参数是用来参数化执行sql语句的。参数化执行sql是为了防止SQL注入的,那么参数化执行SQL是什么意思呢,举个例子就目标了。 比如,进行用户登录时,我们要执行一条SQL,Python拼接SQL如下: sql = "select * from user where name='%s' and password='%s'" % (input_name, input_password) input_name 和 input_password 都是用户输入的,如果用户想捣鬼,他把input_name 输入成 “ ‘ or 1 = 1 –”,拼接出来的sql就成了: select * from user where name='' or 1 = 1 --' and password='anything' or 后面的 1=1 就是True,而 — 后面都成了注释,这条语句不管input_name, input_password 是什么都可以执行,通过用户验证,达到了注入目的。 参数化执行SQL就是把拼接SQL的任务交给SanicDB(实际上是它后的aiomysql后面的pymysql),我们只把要拼接的参数当做*parameters传给读写方法即可: mydb.query("select * from user where user=%s and password=%s", input_name, input_password) 更高级的封装: query(), get(), execute() 就是基本的操作,在此基础上,做了进一步封装,让写应用更方便: # 检查一个table中是否含有某字段为某值的记录 async def table_has(self, table_name, field, value): # 把一个item插入一个表,item为dict,key是字段名, # ignore_duplicated为True时,遇到唯一索引重复时不报错 async def table_insert(self, table_name, item, ignore_duplicated=True): # 更新一个table的记录,updates是dict,key为字段名 async def table_update(self, table_name, updates, field_where, value_where): 示例 代码仓库中有两个示例: test.py 是在普通asyncio程序中使用异步MySQL的例子 example.py 是在Sanic Web中使用的例子 特别说明一下,Sanic 对象 app 中还没有生成 event_loop 对象(它是在app.run() 之后生成的),所以在Sanic中初始化SanicDB时(app.run())之前,运行sql语句会报错。如果需要创建连接后初始化运行一些SQL操作,可以利用Sanic的Listner: @app.listener('before_server_start') async def setup_db(app, loop): app.db = await db_setup() 文章来源于:猿人学网站的python教程。

优秀的个人博客,低调大师

Python 小工具实战:用问财接口搭建金融数据采集器

前言构建金融数据采集链路时,团队常常在两条路之间反复横跳:要么基于 Tushare / akshare 等开源数据源自行拼接指标,开发成本高且覆盖维度受限;要么采购商业数据终端,预算压力显著。事实上,同花顺旗下的 i 问财(iwencai.com) 提供了一个被低估的结构化入口——它将自然语言问题翻译为内部查询计划,并返回标准化的多维数据。对工程侧而言,这相当于一个"托管的金融查询引擎"。本文的目标是:用 Python 将这一能力封装为可复用、可批量、具备基本健壮性的本地采集工具。我们先在基础版跑通请求链路,再在升级版补齐代理分散、失败重试与并发控制等工程要素。一、工具核心功能与准备工作1. 核心功能该工具围绕三个工程目标设计:自然语言到结构化数据的映射:将一句中文查询转换为字段对齐的数据行,规避自行实现筛选逻辑的成本。分页批量拉取:通过翻页迭代将满足条件的结果集完整导出,而非仅取首页。采集健壮性:以代理分散出口、指数退避重试等手段降低长任务被限流的概率(升级版重点)。2. 环境准备Python 版本:建议 3.10+(使用 from __future__ import annotations 与现代类型标注)。依赖安装:

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册