背景:9月份有部分数据缺失,这部分数据在邮箱里,需要重新拉取,但是每天几百封邮件,总共有6、7万封邮件,使用stat()和retr(which)结合遍历很
耗时
基于如上背景,初始大致思路为:
使用二分法获取到需要恢复数据时间范围内的中间一个值,也就是第几封邮件,然后分两头遍历,
读取到所有需要的邮件
算法函数:
1、获取到邮件的时间,由于可能收到格林威治时间邮件,所以这里做了相应的处理
- def getTimeStamp(cn):
- messages=mailServer.retr(cn)[1]
- mail = email.message_from_bytes('\n'.encode('utf-8').join(messages))
- date=email.header.decode_header(mail.get('date'))
- utcstr = date[0][0].replace('+00:00','')
- global utcdatetime
- try:
- utcdatetime = datetime.datetime.strptime(utcstr, '%a, %d %b %Y %H:%M:%S +0000 (GMT)')
- localdatetime = utcdatetime + datetime.timedelta(hours=+8)
- localtimestamp = localdatetime.timestamp()
- except:
- utcdatetime = datetime.datetime.strptime(utcstr, '%a, %d %b %Y %H:%M:%S +0800')
- localtimestamp = utcdatetime.timestamp()
- return localtimestamp
2、二分法
- bu_daytimestamp yesterdaytimestamp两个是需要补数据的时间戳
- key_nums=0
- mid2=mailCount
- while 1==1:
- mid=getTimeStamp(round(mailCount))
- mid2=round(mid2/2)
- if mid >bu_daytimestamp:
- mailCount=mailCount-mid2
- elif mid<yesterdaytimestamp:
- mailCount=mailCount+mid2
- elif mid <=bu_daytimestamp and mid >=yesterdaytimestamp:
- key_nums=mailCount
- break
- print(mailCount)
- print(key_nums)
这里只记录算法,后续遍历比较简单,就不展示了
解释下部分参数:
- <pre name="code" class="python">mailCount:总的邮件数量,来源于mailServer.stat()第二个参数</pre><pre name="code" class="python"></pre>
-