【python进阶】Garbage collection垃圾回收2-低调大师

【python进阶】Garbage collection垃圾回收2

2018-04-26 646

前言

在上一篇文章【python进阶】Garbage collection垃圾回收1，我们讲述了Garbage collection(GC垃圾回收)，画说Ruby与Python垃圾回收，Python中的循环数据结构以及引⽤计数以及Python中的GC阈值，这一节我们将继续介绍GC模块的一些应用和注意事项，下面开始今天的讲解~~

一、垃圾回收机制

Python中的垃圾回收是以引⽤计数为主，分代收集为辅。

1、导致引⽤计数+1的情况

对象被创建，例如a=23
对象被引⽤，例如b=a
对象被作为参数，传⼊到⼀个函数中，例如func(a)
对象作为⼀个元素，存储在容器中，例如list1=[a,a]

2、导致引⽤计数-1的情况

对象的别名被显式销毁，例如del a
对象的别名被赋予新的对象，例如a=24
⼀个对象离开它的作⽤域，例如f函数执⾏完毕时，func函数中的局部变量（全局变量不会）
对象所在的容器被销毁，或从容器中删除对象

3、查看⼀个对象的引⽤计数

In [1]: import sys

In [2]: a = "hello world"

In [3]: sys.getrefcount(a)
Out[3]: 2

可以查看a对象的引⽤计数，但是⽐正常计数⼤1，因为调⽤函数的时候传⼊ a，这会让a的引⽤计数+1

二、循环引⽤导致内存泄露

引⽤计数的缺陷是循环引⽤的问题

import sys
a = "hello world"
sys.getrefcount(a)

import gc
class ClassA():
    def __init__(self):
        print('object born,id:%s'%str(hex(id(self))))

def f2():
    while True:
        c1 = ClassA()
        c2 = ClassA()
        c1.t = c2
        c2.t = c1
        del c1
        del c2

#把python的gc关闭
gc.disable()
f2()

执⾏f2()，进程占⽤的内存会不断增⼤。

创建了c1，c2后这两块内存的引⽤计数都是1，执⾏ c1.t=c2 和 c2.t=c1 后，这两块内存的引⽤计数变成2.
在del c1后，内存1的对象的引⽤计数变为1，由于不是为0，所以内存1的对象不会被销毁，所以内存2的对象的引⽤数依然是2，在del c2后，同理，内存1的对象，内存2的对象的引⽤数都是1。
虽然它们两个的对象都是可以被销毁的，但是由于循环引⽤，导致垃圾回收器都不会回收它们，所以就会导致内存泄露。

三、垃圾回收

import gc
class ClassA():
    def __init__(self):
        print('object born,id:%s'%str(hex(id(self))))
    #def __del__(self):
    #    print('object del,id:%s'%str(hex(id(self))))

def f3():
    print("-----0------")
    #print(gc.collect())
    c1 = ClassA()
    c2 = ClassA()
    c1.t = c2
    c2.t = c1
    print("-----1------")
    del c1
    del c2
    print("-----2------")
    print(gc.garbage)
    print("-----3------")
    print(gc.collect())#显式执⾏垃圾回收
    print("-----4------")
    print(gc.garbage)
    print("-----5------")

if __name__ == '__main__':
    gc.set_debug(gc.DEBUG_LEAK)#设置gc模块的日志
    f3()

python3结果如下：

-----0------
object born,id:0x7fcd059190f0
object born,id:0x7fcd05919240
-----1------
-----2------
[]
-----3------
gc: collectable <ClassA 0x7fcd059190f0>
gc: collectable <ClassA 0x7fcd05919240>
gc: collectable <dict 0x7fcd05989d48>
gc: collectable <dict 0x7fcd058f24c8>
4
-----4------
[<__main__.ClassA object at 0x7fcd059190f0>, <__main__.ClassA object at 0x7fcd05919240>, {'t': <__main__.ClassA object at 0x7fcd05919240>}, {'t': <__main__.ClassA object at 0x7fcd059190f0>}]
-----5------
gc: collectable <module 0x7fcd059715e8>
gc: collectable <dict 0x7fcd0597af08>
gc: collectable <builtin_function_or_method 0x7fcd0596fdc8>
...

说明:

垃圾回收后的对象会放在gc.garbage列表⾥⾯
gc.collect()会返回不可达的对象数⽬，4等于两个对象以及它们对应的 dict

有三种情况会触发垃圾回收：

调⽤gc.collect(),
当gc模块的计数器达到阀值的时候。
程序退出的时候

四、gc模块常⽤功能解析

gc模块提供⼀个接⼝给开发者设置垃圾回收的选项。上⾯说到，采⽤引⽤计数的⽅法管理内存的⼀个缺陷是循环引⽤，⽽gc模块的⼀个主要功能就是解决循环引⽤的问题。

常⽤函数：

1、gc.set_debug(flags) 设置gc的debug⽇志，⼀般设置为gc.DEBUG_LEAK
2、gc.collect([generation]) 显式进⾏垃圾回收，可以输⼊参数，0代表只检查第⼀代的对象，1代表检查⼀，⼆代的对象，2代表检查⼀，⼆，三代的对象，如果不传参数，执⾏⼀个full collection，也就是等于传2。返回不可达(unreachable objects)对象的数⽬
3、gc.get_threshold() 获取的gc模块中⾃动执⾏垃圾回收的频率。
4、gc.set_threshold(threshold0[, threshold1[, threshold2]) 设置⾃动执⾏垃圾回收的频率。
5、gc.get_count() 获取当前⾃动执⾏垃圾回收的计数器，返回⼀个⻓度为3的列表。

gc模块的⾃动垃圾回收机制

必须要import gc模块，并且 is_enable()=True 才会启动⾃动垃圾回收。
这个机制的主要作⽤就是发现并处理不可达的垃圾对象。
垃圾回收=垃圾检查+垃圾回收
在Python中，采⽤分代收集的⽅法。把对象分为三代，⼀开始，对象在创建的时候，放在⼀代中，如果在⼀次⼀代的垃圾检查中，改对象存活下来，就会被放到⼆代中，同理在⼀次⼆代的垃圾检查中，该对象存活下来，就会被放到三代中。
gc模块⾥⾯会有⼀个⻓度为3的列表的计数器，可以通过gc.get_count()获取。
例如(488,3,0)，其中488是指距离上⼀次⼀代垃圾检查，Python分配内存的数⽬减去释放内存的数⽬，注意是内存分配，⽽不是引⽤计数的增加。例如：

print(gc.get_count())#(590,8,0)
a = ClassA()
print(gc.get_count())#(590,8,0)
del a
print(gc.get_count())#(590,8,0)

3是指距离上⼀次⼆代垃圾检查，⼀代垃圾检查的次数，同理，0是指距离上⼀次三代垃圾检查，⼆代垃圾检查的次数。
gc模快有⼀个⾃动垃圾回收的阀值，即通过gc.get_threshold函数获取到的⻓度为3的元组，例如(700,10,10) 每⼀次计数器的增加，gc模块就会检查增加后的计数是否达到阀值的数⽬，如果是，就会执⾏对应的代数的垃圾检查，然后重置计数器.
例如，假设阀值是(700,10,10)：

当计数器从(699,3,0)增加到(700,3,0)，gc模块就会执⾏gc.collect(0),即检查⼀代对象的垃圾，并重置计数器
当计数器从(699,9,0)增加到(700,9,0)，gc模块就会执⾏gc.collect(1),即检查⼀、⼆代对象的垃圾，并重置计数器
当计数器从(699,9,9)增加到(700,9,9)，gc模块就会执⾏gc.collect(2),即检查⼀、⼆、三对象的垃圾，并重置计数器

注意点

gc模块唯⼀处理不了的是循环引⽤的类都有__del__⽅法，所以项⽬中要避免定义__del__⽅法

import gc
class ClassA():
    pass
    #def __del__(self):
    #    print('object born,id:%s'%str(hex(id(self))))

gc.set_debug(gc.DEBUG_LEAK)
a = ClassA()
b = ClassA()
a.next = b
b.prev = a
print("--1--")
print(gc.collect())
print("--2--")
del a
print("--3--")
del b
print("--3-1--")
print(gc.collect())
print("--4--")

运行结果如下：

--1--
0
--2--
--3--
--3-1--
gc: collectable <ClassA 0x7f599dc690f0>
gc: collectable <ClassA 0x7f599dc69160>
gc: collectable <dict 0x7f599dcdcd48>
gc: collectable <dict 0x7f599dcdcdc8>
4
--4--
gc: collectable <module 0x7f599dcc45e8>
gc: collectable <dict 0x7f599dccdf08>
gc: collectable <builtin_function_or_method 0x7f599dcc2dc8>
...

如果把del打开，运⾏结果为:

--1--
0
--2--
--3--
--3-1--
gc: collectable <ClassA 0x7fb236853128>
gc: collectable <ClassA 0x7fb236853160>
gc: collectable <dict 0x7fb2368c5d48>
gc: collectable <dict 0x7fb2368c5ec8>
object born,id:0x7fb236853128
object born,id:0x7fb236853160
4
--4--
gc: collectable <module 0x7fb2368ad5e8>
gc: collectable <dict 0x7fb2368b6f08>
gc: collectable <builtin_function_or_method 0x7fb2368abdc8>
...

您可以考虑给博主来个小小的打赏以资鼓励，您的肯定将是我最大的动力。thx.

微信打赏

支付宝打赏

作　　者： Angel_Kitty
出　　处：http://www.cnblogs.com/ECJTUACM-873284962/
关于作者：潜心机器学习以及信息安全的综合研究。如有问题或建议，请多多赐教！
版权声明：本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文链接。
特此声明：所有评论和私信都会在第一时间回复。也欢迎园子的大大们指正错误，共同进步。或者直接私信我
声援博主：如果您觉得文章对您有帮助，可以点击右下角【推荐】推荐一下该博文。您的鼓励是作者坚持原创和持续写作的最大动力！

微信关注我们

原文链接：https://yq.aliyun.com/articles/646774

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Tensorflow快餐教程(6) - 矩阵分解

矩阵分解特征向量和特征值我们在《线性代数》课学过方阵的特征向量和特征值。定义：设$A{\in}F^{n{\times}n}$是n阶方阵。如果存在非零向量$X{\in}F^{n{\times}1}$使$AX={\lambda}X$对某个常数${\lambda\in}F$成立，则称$\lambda$是A的特征值(eigenvalue)，X是属于特征值${\lambda}$的特征向量。设$\sigma$是数域F上向量空间V上的线性变换，如果某个非零向量$u{\in}V$被$\sigma$映射到自己的常数倍$\sigma(u)={\lambda}u$，则称常数$\lambda\in{F}$是$\sigma$的特征值，向量u是属于特征值$\lambda$的特征向量。又找$\lambda$又找A确实不是一件容易事。好在，我们可以把这事儿交给T

2018-04-27

663

前言: spring+springmvc+mybatis，称为ssm。ssm可以说是后端程序员必备技能，应该也是目前用得最多的，所以无论如何都要掌握！下面一起来看整合案例。点我下载源码。开发环境:1、开发工具:eclipse 4.7.32、maven 3.5.23、jdk 1.94、tomcat 8.55、mysql 5.7.21 一、项目环境搭建: 1、创建项目: 打开eclipse，file --> new --> maven project --> maven archetype webapp，然后填写好artifactId，点finish即可。若是创建maven项目失败，请参考eclipse创建maven项目失败解决方法2、创建项目目录结构: 创建好项目以后，按照下图创建项目结构: 图片发自简书App 注意:项目刚创建出来可能只有src/main/java，自己创建其他的时候是 new source folder，而不是package。 3、添加依赖: 接下来就是添加依赖，本案例需要如下依赖: <project xmlns="http://maven.a...

2018-04-27

628

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。