Python 小技巧:如何实现操作系统兼容性打包?
有一个这样的问题:现要用 setuptools 把一个项目打包成 whl 文件,然后 pip install 在 Windows/Linux 两种操作系统上,但是该项目中有一些依赖库只有 Windows 上才有(例如 pywinauto、pywingui、pywinrm),那么问题是,如何实现打包文件的可兼容性安装?
从打包的角度,这个问题的关键还是看 setup.py 和 requirements.txt 文件。
关于 Python 的包构建分发和 setup.py 的使用,这里有篇文章 写得很好,推荐阅读。另外关于 Python 依赖库的管理(requirements.txt),这篇文章 详细比较了 pip、pipreqs、pigar、pip-tools 和 pipdeptree 等工具,也推荐一读。
有一个比较笨的实现方法:维护两份 requirements.txt 文件,分别用来打包,然后分发给不同操作系统去使用。
但是这样会有麻烦:维护两份依赖文件和两种包文件,本身就挺费劲的,而在生成过程中,每次还得对它们改名以作区分(注意包名有一定的规范约束,乱改的话,pip 可能识别不出),维护成本就很高。
其实,维护软件包在不同操作系统的版本,并不少见。如果你曾留意过不同版本 Python 库文件的话,你会注意到很多库都会按不同操作系统而分发不同的版本。例如,下面是同一版本号的 Numpy 在不同操作系统上的分发版(https://pypi.org/simple/numpy/):
可以看出它根据 macos、linux 和 win 三类操作系统及其位数,分成了 5 个版本。维护这么多版本,肯定是一件麻烦事,但是出现了这样的结果,就意味着 Numpy 官方认为分发不同系统版本是利大于弊的,而且是有办法实现的。
回到我们的问题,是否有必要像 Numpy 那样设法打包成多个操作系统定制的包呢?
答案是否定的。主要的原因:
- Numpy 这么做是因为它是做科学计算的,为了提升效率,它把编译好的 C 拓展文件打包,从而不需要依赖环境上的 libxxx-devel 之类的库。如果你编译安装过 Python,应该有印象需要安装 zlib-devel、openssl-devel 和 libffi-devel 之类的系统依赖。但我们前面的问题比较简单,并不是有不同的编译依赖(系统级),而只是三方库依赖不同(项目级)。
- 另一个主要的原因,Numpy 打包出的不同系统版本,并非简简单单地用 setuptools 之类的 Python 库就能打包,而是要借助标准的镜像进行构建。例如,manylinux 版本的打包,参见 Github(https://github.com/pypa/manylinux),就需要使用官方提供的 Docker 镜像。对于我们的问题,显然不想做到这么麻烦。
简而言之,根据前面的分析,如果要实现操作系统兼容的打包,维护多份依赖文件、使用不同构建包的方法、维护多系统专用的包,方法可行,但并不是很适用。
如果没有新的办法,这不失为一种考虑,但是有没有别的办法了呢?
我曾被这个问题困扰过,但是没有深入去研究解决,直到无意中在loguru
这个用来记录日志的库的 setup.py 中看到:
再翻看大名鼎鼎的requests
库文件,发现还可以这样写:
两个示例都是写在 setup.py 文件中,其实如果我们用 requirements.txt 文件,也可以按这种格式写,然后再读取进来。
这种神奇的写法是怎么回事呢?
它的依据是 2015 年 11 月创建的 PEP-508(以及相关的但已被撤销或拒绝了的 PEP-390、PEP-426、PEP-459、PEP-496),该 PEP 的主要意图是增强 pip 等工具查找软件包的能力。
比较重要的部分就是跟我们的问题相关的,即对操作系统作区分的标识,相关的有:
有了这样的扩展支持,在打包依赖项时,就可以解决兼容性问题了。
例如 colorama 库,如果我们只在 win32 系统才需要依赖,那么在打包时就可以指定:“colorama>=0.3.4 ; sys_platform=='win32' ”;如果不需要限定 win32 系统,而是在 windows 环境都安装,那么可以写成“colorama>=0.3.4 ; platform_system=='Windows' ”。
最终,我们解决了本文开头的问题。这个问题可能比较小众,解决起来也没有什么大文章可做,算是一个小小的 tips 分享给大家吧。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
记录并浅析一次服务器被黑事件
云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 一.基本情况 偶然发现一台web服务器很怪异,其网站页面上增加了一堆外文的页面链接,点击一篇进去之后,内容如下图所示: 该网站是中文网站,绝不可能存在上述的页面内容,同时页面中嵌入一堆的JS代码。很明显,该网站已经被黑,为避免遭受进一步的危害,紧急采取措施让服务器下线。由于该台服务器部署于单位异地远程机房,下线后无法直接对服务器进行分析,只是采取远程协同分析日志文件的方式(拿到一些web日志文件,以及一些异常PHP文档),因此无法实施深入分析。 服务器是windows系统,使用Apache作为web服务器,网站基于PHP+WordPress开发。服务器基本情况: 二.页面简单分析 上图中的JS代码如下表所示: 经过简单分析,很明显上表中的这段代码应该是攻击者的XSS跨站漏洞利用代码,主要用于获取访问该页面的用户的cookie信息,根据函数名称getCookie也很容易得知其功能。 上述代码中base64加密部分解密后后内容如下: 可知,攻击者XSS服务器为193.238.46.57,地址...
- 下一篇
JDK14新特性详解
JDK14新特性详解,2020-03-17正式发布 JDK13新特性详解,2019-09-17正式发布 JDK12新特性详解,2019-03-19正式发布 JDK11新特性详解,2018-09-25正式发布 JDK10新特性详解,2018-03-20正式发布 JDK9 新特性详解,2017-09-21正式发布 JDK8 新特性详解,2014-03-18正式发布 预览版:该功能在当前版本可以使用,如果效果不是很好的话,可能以后的其他版本就会删去该功能。 最终版:该功能在之前版本效果很好,之后的每个版本中都会存在该功能。 1、Switch(最终版) 和之前的jdk12、13功能一样,只不过确定下来为最终版 int numLetters = switch (day) { case MONDAY, FRIDAY, SUNDAY -> 6; case TUESDAY -> 7; case THURSDAY, SATURDAY -> 8; case WEDNESDAY -> 9; }; 2、垃圾回收器(更...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS关闭SELinux安全模块
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS8编译安装MySQL8.0.19