Python/MySQL时间的实际应用记录-低调大师

Python/MySQL时间的实际应用记录

2018-07-12 583

前言

网上关于mysq时间、python时间与时间戳等文章很多，翻来翻去找不到头绪，根据不同博客的写法，挑了几个来测试，这里记录一下。

况且，不以实际需求为前提的博文，就是瞎写，估计以后自己都看不懂。

Mysql 时间类型

在数据库建表的时候，通常有5中字段类型让人选择： TIME、DATE、DATETIME、TIMESTAMP、YEAR，它们又各自是什么格式呢？要写的让自己容易记：

TIME类型：存储空间[3 bytes] - 时间格式[HH:MM:SS] - 时间范围[-838:59:59 到 ~ 838:59:59]
DATE类型：存储空间[3 bytes] - 时间格式[YYYY-MM-DD] - 时间范围[1000-01-01 到 9999-12-31] (可以理解为年月日)
DATETIME类型：存储空间[8 bytes] - 时间格式[YYYY-MM-DD HH:MM:SS] - 时间范围[1000-01-01 00:00:00 到 9999-12-31 23:59:59] (可以理解为年月日时分秒)
TIMESTAMP类型：存储空间[4 bytes] - 时间格式[YYYY-MM-DD HH:MM:SS] - 时间范围[1970-01-01 00:00:01 到 2038-01-19 03:14:07] (以秒为计算)
YEAR类型：存储空间[1 bytes] - 时间格式[YYYY] - 时间范围1901 到 2155

根据上面的类型得知，YEAR这种类型用的稍微少一点，TIME用的估计也不多，比较多的还是DATE、DATETIME和时间戳TIMESTAMP

Python 日期和时间

Python提供了三种时间函数，时间模块time、基本时间日期模块datetime和日历模块Calendar，具体的详细介绍和用法在[菜鸟教程-时间和日期:传送A，传送B]有介绍，这里不复制粘贴了。

日历模块Calendar是用的次数比较少的(在爬虫和Django开发的实际应用较少)，出现较多的是time模块和dateteime模块：

time模块 -- 比较接近底层的
datetime模块 -- 基于time新增了很过功能，提供了更多函数

使用对比

1、获取当前时间

import datetime,time

""" 当前时间 """
print(time.time())
print(datetime.datetime.now())

得到的输出结果是：

1516200437.9920225
2018-01-17 22:47:17.992047

2、当前时间格式化

import datetime,time

""" time当前时间 """
localtime = time.localtime(time.time())
print("本地时间为 :", localtime)
gtime = time.strftime('%Y-%m-%d',localtime)
print("可以把时间转换为 :",gtime)
gltime = time.strftime('%Y-%m-%d %H:%M:%S',localtime)
print("可以把时间转换为 :",gltime)
#------------------------------------------------
""" datetime当前时间 """
localtime = datetime.datetime.now()
gtime = datetime.datetime.now().strftime("%Y-%m-%d")
gltime = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
print(localtime)
print(gtime)
print(gltime)

得到的结果是：

本地时间为 : time.struct_time(tm_year=2018, tm_mon=1, tm_mday=17, tm_hour=22, tm_min=55, tm_sec=46, tm_wday=2, tm_yday=17, tm_isdst=0)
可以把时间转换为 : 2018-01-17
可以把时间转换为 : 2018-01-17 22:55:46
#------------------------------------------------
2018-01-18 08:03:18.760582
2018-01-18
2018-01-18 08:03:18

这里可以看出，用两个模块获得的当前时间都不是人类容易阅读的，都需要通过strftime函数进行格式化。

3、文本时间转换

这里我指的是爬虫获取的其他网站的时间，通常有几种格式：

长时间 -- 2018-01-06 18:35:05、2018-01-06 18:35
日期 -- 2018-01-06
月时间 -- 2018-01
时间 -- 18:35:05

通常，爬虫得到的时间都是人阅读的，只不过分隔符不同。并且在入库的时候，我希望他们的时间格式是统一的，年月日时分秒或者年月日，如果可以就用时间戳，方便计算(年月日时分秒对应年月日时分秒，年月日不可直接转换为年月日时分秒)。

遇到日期类型2018-01-06的时间格式，是不可以用函数直接转成长时间2018-01-06 18:35:05格式的，报错。当遇到这种情况，而我又想将时间统一，只能进行转换。转换又分为两种，相同时间格式转换与不同时间格式转换：

第一种情形

目标：2018-01-06 18:35:05 转换为2018-01-06 18:35:05

它有两种方法可以满足

方法一的逻辑是不同格式的时间转换要先转成时间数组，然后再由时间数组格式化成想要的类型：

import datetime,time

a = "2013-10-10 23:40:00"  # 想要转换成 a = "2013/10/10 23:40:00"

timeArray = time.strptime(a, "%Y-%m-%d %H:%M:%S")
otherStyleTime = time.strftime("%Y/%m/%d %H:%M:%S", timeArray)
print(timeArray)
print(otherStyleTime)

从输出结果：

time.struct_time(tm_year=2013, tm_mon=10, tm_mday=10, tm_hour=23, tm_min=40, tm_sec=0, tm_wday=3, tm_yday=283, tm_isdst=-1)
2013/10/10 23:40:00

可以看到，先通过time.strptime把它转换成时间数组，然后通过time.strftime把时间数组格式化成我想要的格式。

方法二，由于最终格式化的时间也是字符串str，所以当遇到这种情况的时候，还可以直接用replace来进行转换：

a = "2013-10-10 23:40:00"  # 想要转换成 a = "2013/10/10 23:40:00"

print(a.replace("-", "/"))

输出结果为：

2013/10/10 23:40:00

第二种情形

目标：2018-01-06 转换为2018-01-06 18:35:05

它也有两种方法可以满足

它的逻辑是将年月日的字符串拼接上时分秒，然后再按照上面的两种方法进行转换，比如：

a = "2013-10-10 "  # 想要转换成 a = "2013/10/10 23:40:00"
ac = a + "00:00:00"
print(ac.replace("-", "/"))

得到输出结果

2013/10/10 00:00:00

第三种情形

目标：2018-01-06 18:35:05 转换为2018-01-06

思路与第一种一致，先转换为时间数组，然后再由时间数组进行格式化：

import datetime,time

a = "2013-10-10 23:40:00"  # 想要转换成 a = "2013/10/10"
timeArray = time.strptime(a, "%Y-%m-%d %H:%M:%S")
otherStyleTime = time.strftime("%Y/%m/%d", timeArray)
print(type(timeArray))
print(otherStyleTime)

得到结果输出为（可以看到timeArray的类型是time.struct_time）：

<class 'time.struct_time'>
2013/10/10

4、时间的比较运算

都知道字符串是不可以进行比较计算的，那么我们就需要用到其他的格式进行。time的strptime转换成时间数组是不可以进行运算的，但是datetime可以。

第一种 ，时间格式相同

import datetime,time

d1 = datetime.datetime.strptime('2012-03-05 17:41:20', '%Y-%m-%d %H:%M:%S')
d2 = datetime.datetime.strptime('2012-03-05 16:41:20', '%Y-%m-%d %H:%M:%S')
delta = d1 - d2
print(type(d1))
print(delta.seconds)
print(delta)

得到的输出是：

<class 'datetime.datetime'>
3600
1:00:00

从结果上可以看到，格式相同的两种时间，可以通过datetime.datetime.strptime进行转换后再运算，在结果中还可以通过.seconds来计算 相差秒数 和通过.days来计算 相差天数

第二种 ，如果时间格式不一样，但是转换后的类型一样，也是可以比较的：

import datetime,time

d1 = datetime.datetime.strptime('2012/03/05 17:41:20', '%Y/%m/%d %H:%M:%S')

d2 = datetime.datetime.strptime('2012-03-05 16:41:20', '%Y-%m-%d %H:%M:%S')
delta = d1 - d2
print(delta.seconds)
print(delta)

这段代码里面时间的字符串形式就不一样，但是通过同样的函数进行转换后就可以比较计算了。

第三种 ，年月日时分秒与年月日的计算，其实原理是一样的，转换后他们的格式都一样，所以也是可以计算的，2012/03/05 17:41:20与2012-03-05的时间相差：

import datetime,time

d1 = datetime.datetime.strptime('2012/03/05 17:41:20', '%Y/%m/%d %H:%M:%S')
d2 = datetime.datetime.strptime('2012-03-01', '%Y-%m-%d')
delta = d1 - d2
print(delta.days,delta.seconds)
print(delta)
print(type(delta))

输出结果是

4 63680
4 days, 17:41:20
<class 'datetime.timedelta'>

通过print的结果可以得到几点信息：
不同格式的时间在转化后是可以进行比较运算的
可以通过.days和.seconds来进行天数与时分秒的展示
计算后得到的数据类型是 'datetime.timedelta' 而不是str类型

比如计算3天后的时间：

import datetime,time

now = datetime.datetime.now()
delta = datetime.timedelta(days=3)
n_days = now + delta
print(type(n_days))
print(n_days.strftime('%Y-%m-%d %H:%M:%S'))

得到的结果是：

<class 'datetime.datetime'>
2018-01-21 10:26:14

用datetime.timedelta取得3天时间，然后将当前时间加上3天，得到的是'datetime.datetime'类型数据，变成人类阅读的格式则需要strftime函数进行格式化，最终得到想要的2018-01-21 10:26:14。

5、时间戳

把字符串时间转换为时间戳：

import datetime,time

a = "2013-10-10 23:40:00"
# 转换为时间数组
timeArray = time.strptime(a, "%Y-%m-%d %H:%M:%S")
# 转换为时间戳:
timeStamp = time.mktime(timeArray)
print(timeArray)
print(timeStamp)

输出结果为：

time.struct_time(tm_year=2013, tm_mon=10, tm_mday=10, tm_hour=23, tm_min=40, tm_sec=0, tm_wday=3, tm_yday=283, tm_isdst=-1)
1381419600.0

可以看到time的时间数组与时间戳并不是同一样东西，他们是有区别的

6、strftime与strptime

这两个是python中常用的

strftime函数：

函数接收以时间元组，并返回以可读字符串表示的当地时间，格式由参数format决定。
time.strftime(format[, t])
format -- 格式字符串。t -- 可选的参数t是一个struct_time对象。
返回以可读字符串表示的当地时间。

import time

t = (2009, 2, 17, 17, 3, 38, 1, 48, 0)
t = time.mktime(t)
print(time.strftime("%Y-%m-%d %H:%M:%S", time.gmtime(t)))

得到结果输出：

2009-02-17 09:03:38

strptime()
函数根据指定的格式把一个时间字符串解析为时间元组。
time.strptime(string[, format])
string -- 时间字符串。format -- 格式化字符串。
返回struct_time对象。

import datetime,time

d1 = datetime.datetime.strptime('20120305 17:41:20', '%Y%m%d %H:%M:%S')
d2 = datetime.datetime.strptime('2012-03-01', '%Y-%m-%d')
print(d1)
print(d2)

得到结果：

2012-03-05 17:41:20
2012-03-01 00:00:00

时间格式与入库

前面铺垫了这么多，最终的目的还是需要入库。这里以4种数据库时间类型为例：

字段名 => 数据类型
r_time => time
r_date => date
r_datetime => datetime
r_timestamp => timestamp

根据最上方所写的Mysql时间类型，可以得出对应的时间格式为：

时间格式 => 数据类型
17:35:05 => time
2018-3-1 => date
2018/3/1 17:35 => datetime
2018/3/1 17:35 => timestamp

time类型

time类型的格式指定为17:35:05，不可替换为（17-35-05或者17/35/05）,会报错

可以简写成17:35，数据库会自动补全后面的00,入库后最终数据17:35:00

如果简写成17，则入库后变成00:00:17

当然，如果更奇葩的写法17:,17:35:这种是会报错的

date类型

date类型的格式指定为2018-3-1与2018/3/1，最终入库格式是（2018-03-01），它会自动补全

可以简写成[18/3/1]、[17/3/1]、[07/3/1]、[97/3/1]，数据库会自动补全前面的年份,入库后最终数据2018-03-01、2017-03-01、2007-03-01、1997-03-01

不可简写成[2017]、[2017/3]，会报错，必须是完整的日期格式

datetime类型

datetime类型的格式指定为2018-3-1 17:35:00和2018/3/1 17:35:00，最终入库格式是2018-03-01 17:35:00

它是date与time的结合，有很多共同特性

可以简写成[18/3/1 17:35:05]、[17/3/1 17:35]、[07/3/1 17]、[97/3/1 17]，数据库会自动补全前面的年份,入库后最终数据2018-03-01 17:35:05、2017-03-01 17:35:00、2007-03-01 17:00:00、1997-03-01 17:00:00。可以看到它自动将时间格式补全成统一格式，这里与time不同的是，如果只写17不写分秒，time会默认将17当成秒，这里则是默认当成小时。

与date一样，年月日不可省略，必须以年月日格式出现

timestamp类型

根据上面的描述，timestamp的入库格式与datetime是一样的，不同的是时间范围和存储空间，它的格式与用法跟datetime一致

微信关注我们

原文链接：https://yq.aliyun.com/articles/629293

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Coding and Paper Letter（六）

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/ESA_DSQ/article/details/81033977 资源整理 1 Coding： 2 Paper: 1 Coding： 1.Python工程，使用networkx，geopandas，mplleaflet在地图上可视化网络流。 map-network 2.R语言包rsample, 用于创建和汇总不同类型的重采样对象的类和函数。 rsample 3.R语言包lomm，lomm软件包为透明且可重现的工作流程，获取和处理空间（地球观测）数据提供了完整的工具链。它为景观生态问题提供了一种基于证据的方法。 lomm 4.R语言包deckard，它为Uber刚刚开源的deck.gl数据可视化框架提供了一个接口。它允许用户：从R交互式渲染数百万个点。在浏览器中可视化数据，无需专门的软件即可提供富有表现力的可视化。使用矢量tilesets而不是raster tilesets。创建非地理空间数据的自定义可视化。 deckard 5.R语言包googleway,提供访问各种Google...

2018-07-13

624

背景有时候爬虫爬过的url需要进行指纹核对，比如Scrapy就是进行指纹核对，如果是指纹重复则不再爬取。当然在入库的时候我还是需要做一次核对，否则如果爬虫有漏掉，进入数据库就不合适了。思路根据Scrapy的指纹生成方式，这次的指纹生成方式也是用hash的MD5对目标URL进行加密，生成固定长度的字符串，然后在数据库里面将字段设置成unique，这样的话在保证url固定长度的情况下还能够保证入库后的唯一性，进最大努力避免出现重复的数据。指纹生成代码新建一个文件，然后在里面编写指纹生成的方法，在使用的时候from import进来，调用方法即可。代码为： import hashlib def get_md5(url): """ 由于hash不处理unicode编码的字符串（python3默认字符串是unicode）所以这里判断是否字符串，如果是则进行转码初始化md5、将url进行加密、然后返回加密字串 """ if isinstance(url, str): url = url.encode("utf-8") md = hashlib.md5() md.update(url)...

2018-07-13

512

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。