Python技巧 | 一行代码减少一半内存占用
我想与大家分享一些我和我的团队在一个项目中经历的一些问题。在这个项目中,我们必须要存储和处理一个相当大的动态列表。测试人员在测试过程中,抱怨内存不足。下面介绍一个简单的方法,通过添加一行代码来解决这个问题。
图片的结果
下面我来解释一下,它是如何运行的。
首先,我们考虑一个简单的"learning"例子,创建一个Dataltem 类,该类是一个人的个人信息,例如姓名,年龄,地址等。
首先,让我们试着解决一下:
我们得到的答案是56bytes,这似乎占用了很少的内存,相当满意喽。那么,我们在尝试另一个包含更多数据的对象例子:
答案仍然是56bytes,此刻,似乎我们意识到哪里有些不对?并不是所有的事情都第一眼所见那样。
● 直觉不会让我们失望,一切都不是那么简单。Python是一种具有动态类型的非常灵活的语言,对于它的工作,它存储了大量的附加数据。它们本身占据了很多。
例如,sys.getsizeof("")返回33bytes,是的一个多达33个字节的空行!并且sys.getsizeof(1)返回24bytes,一个整个数字占用24个bytes(我想咨询C语言程序员,远离屏幕,不想在进一步阅读,以免对美观失去信心)。对于更复杂的元素,如字典,sys.getsizeof(.())返回272字节,这是针对空字典的,我不会再继续了,我希望原理是明确的,并且RAM的制造商需要出售他们的芯片。
但是,我们回到我们的DataItem类和最初的初学者的疑惑。
这个类,占多少内存?
首先,我们一小写的形式将这个类的完整内容输出:
这个函数将显示隐藏的“幕后”使所有Python函数(类型、继承和其他内容)都能够正常工作的内容。
结果令人印象深刻:
这一切内容占用多少内存?
下边有一个函数可以通过递归的方式,调用getsizeof函数,计算对象实际数据量。
让我们试一试:
我们获得的答案分别为460bytes和484bytes,这结果似乎是真实的。
使用这个函数,你可以进行一系列的实验。例如,我想知道如果DataItem结构放在列表中,数据将占用多少空间。get_size ([d1])函数返回532bytes,显然,这与上面说的460+的开销相同。但是get_size ([d1, d2])返回863bytes,小于以上的460 + 484。get_size ([d1, d2, d1])的结果更有趣——我们得到了871字节,只是稍微多一点,也就是说Python足够聪明,不会再次为同一个对象分配内存。
现在,我们来看一看问题的第二部分。
是否存在减少内存开销的可能呢?
是的,可以的。Python是一个解释器,我们可以在任何时候扩展我们的类,例如,添加一个新的字段:
非常好,但是如果我们不需要这个功能呢?我们能强制解释器来指定类的列表对象使用__slots__命令:
更多信息可以在文档(RTFM)中找到,其中写到“__ dict__和__weakref__”。使用__dict__节省的空间非常大”。
我们确认:是的,确实很重要,get_size (d1)返回…64字节,而不是460字节,即少7倍。另外,创建对象的速度要快20%(请参阅本文的第一个屏幕截图)。
唉,真正使用如此大的内存增益并不是因为其他开销。通过简单地添加元素,创建一个100,000的数组,并查看内存消耗:
我们不使用__slots__占用内存16.8MB,使用时占用6.9MB。这个操作当然不是最好的,但是确实代码改变的最小的。(Not 7 times of course, but it’s not bad at all, considering that the code change was minimal.)
现在的缺点。激活__slots__禁止所有元素的创建,包括__dict__,这意味着,例如,一下代码将结构转换成json将不运行:
这个问题很容易修复,它是足以产生dict编程方式,通过所有元素的循环:
也不可能动态给这个类添加新类变量,但是在这个例子中,这并不是必需的。
今天的最后一个测试。有趣的是整个程序需要多少内存。添加一个无限循环的程序,以便它不结束,看看Windows任务管理器中的内存消耗。
没有 __slots__:
6.9Mb 变成 27Mb … 好家伙, 毕竟, 我们节省了内存, 27Mb 代替 70 ,对于增加一行代码来说并不是一个坏的例子
注意:TraceMelc调试库使用了许多附加内存。显然,她为每个创建的对象添加了额外的元素。如果关闭它,总的内存消耗将少得多,截屏显示两个选项:
这可以使用numpy库,它允许您以C样式创建结构,但是在我的例子中,它需要对代码进行更深入的细化,并且第一种方法就足够了。
奇怪的是在Habré从来没有详细分析使用__slots__,我希望本文将填补这一空缺。
结论
这篇文章似乎是一个anti-Python广告,但并不是。Python非常可靠(为了“降低”Python程序,您必须非常努力),它是一种易于阅读和方便编写代码的语言。这些优点在很多情况下都大于缺点,但是如果您需要最大的性能和效率,您可以使用像numpy这样的库,它是用C++编写的,它可以很快和高效地与数据一起工作。
原文发布时间为:2018-11-29
本文作者:Alex Maison
本文来自云栖社区合作伙伴“机器学习算法与Python学习”,了解相关信息可以关注“机器学习算法与Python学习”。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
手把手教你如何用Python从PDF文件中导出数据(附链接)
有很多时候你会想用Python从PDF中提取数据,然后将其导出成其他格式。不幸的是,并没有多少Python包可以很好的执行这部分工作。在这篇贴子中,我们将探讨多个不同的Python包,并学习如何从PDF中提取某些图片。尽管在Python中没有一个完整的解决方案,你还是应该能够运用这里的技能开始上手。提取出想要的数据之后,我们还将研究如何将数据导出成其他格式。 让我们从如何提取文本开始学起! 使用PDFMiner提取文本 最被大家所熟知的可能是一个叫做PDFMiner的包。PDFMiner包大约从Python 2.4版本就存在了。它的主要目的是从PDF中提取文本。实际上,PDFMiner可以告诉你某文本在分页上具体的位置和字体信息。对于Python 2.4到2.7版本,你可以参考以下网站来了解PDFMiner的更多信息: GitHub – https://github.com/euske/pdfminer PyPI – https://pypi.python.org/pypi/pdfminer/ Webpage – https://euske.github.io/pdfminer/ PD...
- 下一篇
LeetCode | 你不得不了解的哈希算法 !
⒈哈希是什么 ? 问大家一个问题 。如果手机上存储了 1000 个联系人 ,现在要你给小詹打个电话 ,跟他说 ,他老婆喊他回家吃饭 。你会怎么做 ? 当然是按姓名搜索呀 !(假装你有小詹电话号码~)言归正传 ,那你能想到这和哈希表有异曲同工之妙嘛 ? 哈希表简单说可以理解成一个映射关系 ,类似 python 语法中字典的键值对 。根据键(Key)而直接访问在内存存储位置的数据结构。 将任意长度的二进制值串映射为固定长度的二进制值串 ,这个映射的规则就是哈希算法 。原始数据映射得到的二进制值串就是哈希值 。 回到通讯录的例子 ,是不是可以类比 ? 电话号码是原始数据 ,根据哈希算法(这就是你自定义的规则)存储为通讯录备注 。严格来讲二者是有区别的 ,只是为了便于理解 ,若举例不当 ,杠精读者轻喷 。 一个优秀的哈希算法主要有以下几点特征 : ●单方向推导 ,不能从哈希值反向推导出原始数据 ,或者说很困难 。 ●对输入敏感 ,原始数据的微小变化会导致哈希值的大差异 。 ●散列冲突小 ,不同原始数据得到相同哈希值的概率小 。其实最好是避免 ,但是诸如 MD5 这种也难以彻底避免 ,所以只说尽...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7设置SWAP分区,小内存服务器的救世主
- CentOS7安装Docker,走上虚拟化容器引擎之路
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS8安装Docker,最新的服务器搭配容器使用
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7