python时间处理函数

来源:互联网 发布:linux c mysql编程 编辑:程序博客网 时间:2024/06/01 07:57

不管在哪个领域中(如金融学、经济学、生态学、神经科学、物理学等),时间序列(time series)数据都是一种重要的结构化数据形式。在半个时间点观察或测量到的任何事物都可以形成一段时间序列。很多时间序列是固定频率的,也就是说,数据点是根据某种规律定期出现的(比如15秒、每5分钟、每月出现一次)。时间序列也可以是不定期的。时间序列数据的意义取决于具体的应用场景,主要有以下几种:

  • 时间戳(timestamp),特定的时刻。
  • 固定时期(period),如2007年1月或2010年全年。
  • 时间间隔(interval),由起始和结束时间戳表示。时期(period)可以被看做间隔(interval)的特例。
  • 实验或过程时间,每个时间点都是相对于特定起始时间的一个度量。例如,从放入烤箱时起,每秒钟饼干的直径。

许多技术都可用于处理实验型时间序列,其索引可能是一个整数或浮点数(表示从实验开始算起已经过去的时间)。最简单也最常见的时间序列都是用时间戳进行索引的。

pandas提供了一组标准的时间序列处理工具和数据算法。因此,你可以高效处理非常大的时间序列,轻松地进行切片/切块、聚合、对定期/不定期的时间序列进行重采样等。可能你已经猜到了,这些工具中大部分都对金融和经济数据尤为有用,但你当然也可以用它们来分析服务器日志数据。

说明:

scikits.timeseries库已经停止更新。

1、日期和时间数据类型及工具

Python标准库包含用于日期(date)和时间(time)数据的数据类型,而且还有日历方面的功能。我们主要会用到datetime、time以及calendar模块。datetime.datetime(也可以简写为datetime)是用得最多的数据类型:

[python] view plaincopy在CODE上查看代码片派生到我的代码片
  1. In [3]: from datetime import datetime  
  2.   
  3. In [4]: now = datetime.now()  
  4.   
  5. In [5]: now  
  6. Out[5]: datetime.datetime(2014522194256744055)  
  7.   
  8. In [6]: now.year, now.month, now.day  
  9. Out[6]: (2014522)  
datetime以毫秒形式存储日期和时间。datetime.timedelta表示两个datetime对象之间的时间差:

[python] view plaincopy在CODE上查看代码片派生到我的代码片
  1. In [7]: delta = datetime(201117) -datetime(2008624815)  
  2.   
  3. In [8]: delta  
  4. Out[8]: datetime.timedelta(92656700)  
  5.   
  6. In [9]: delta.days  
  7. Out[9]: 926  
  8.   
  9. In [10]: delta.seconds  
  10. Out[10]: 56700  
可以给datetime对象加上(或减去)一个或多个timedelta,这样会产生一个新对象:
[python] view plaincopy在CODE上查看代码片派生到我的代码片
  1. In [11]: from datetime import timedelta  
  2.   
  3. In [12]: start = datetime(201117)  
  4.   
  5. In [13]: start + timedelta(12)  
  6. Out[13]: datetime.datetime(201111900)  
  7.   
  8. In [14]: start - 2 * timedelta(12)  
  9. Out[14]: datetime.datetime(2010121400)  


2、字符串和datetime的相互转换

利用str或strftime方法(传入一个格式化字符串),datetime对象和pandas的Timestamp对象可以被格式化为字符串:

[python] view plaincopy在CODE上查看代码片派生到我的代码片
  1. In [15]: stamp = datetime(201113)  
  2.   
  3. In [16]: str(stamp)  
  4. Out[16]: '2011-01-03 00:00:00'  
  5.   
  6. In [17]: stamp.strftime('%Y-%m-%d')  
  7. Out[17]: '2011-01-03'  

datetime.strptime也可以用这些格式化编码将字符串转换为日期:

[python] view plaincopy在CODE上查看代码片派生到我的代码片
  1. In [18]: value = '2011-01-03'  
  2.   
  3. In [19]: datetime.strptime(value, '%Y-%m-%d')  
  4. Out[19]: datetime.datetime(20111300)  
  5.   
  6. In [20]: datestrs = ['7/6/2011''8/6/2011']  
  7.   
  8. In [21]: [datetime.strptime(x, '%m/%d/%Y'for x in datestrs]  
  9. Out[21]: [datetime.datetime(20117600), datetime.datetime(20118600)]  
datetime.strptime是通过已知格式进行日期解析的最佳方式。但是每次都要编写格式定义是很麻烦的事情,尤其是对于一些常见的日期格式。这种情况下,你可以用dateutil这个第三方包中的parser.parse方法:

[python] view plaincopy在CODE上查看代码片派生到我的代码片
  1. In [22]: from dateutil.parser import parse  
  2.   
  3. In [23]: parse('2011-01-03')  
  4. Out[23]: datetime.datetime(20111300)  
dateutil可以解析几乎所有人类能够理解的日期表示形式:

[python] view plaincopy在CODE上查看代码片派生到我的代码片
  1. In [24]: parse('Jan 31, 1997 10:45 PM')  
  2. Out[24]: datetime.datetime(19971312245)  
在国际通用的格式中,日通常出现在月的前面,传入dayfirst=True即可解决这个问题:

[python] view plaincopy在CODE上查看代码片派生到我的代码片
  1. In [25]: parse('6/12/2011', dayfirst=True)  
  2. Out[25]: datetime.datetime(201112600)  
pandas通常是用于处理成组日期的,不管这些日期是DataFrame的轴索引还是列。to_datetime方法可以解析多种不同的日期表示形式。对标准日期格式(如ISO8601)的解析非常快。

[python] view plaincopy在CODE上查看代码片派生到我的代码片
  1. In [26]: datestrs  
  2. Out[26]: ['7/6/2011''8/6/2011']  
  3.   
  4. In [27]: pd.to_datetime(datestrs)  
  5. Out[27]:   
  6. <class 'pandas.tseries.index.DatetimeIndex'>  
  7. [2011-07-062011-08-06]  
  8. Length: 2, Freq: None, Timezone: None  
它还可以处理缺失值(None、空字符串等):

[python] view plaincopy在CODE上查看代码片派生到我的代码片
  1. In [28]: idx = pd.to_datetime(datestrs + [None])  
  2.   
  3. In [30]: idx  
  4. Out[30]:   
  5. <class 'pandas.tseries.index.DatetimeIndex'>  
  6. [2011-07-06, ..., NaT]  
  7. Length: 3, Freq: None, Timezone: None  
  8.   
  9. In [31]: idx[2]  
  10. Out[31]: NaT  
  11.   
  12. In [32]: pd.isnull(idx)  
  13. Out[32]: array([FalseFalse,  True], dtype=bool)  
说明:

NaT(Not a Time)是pandas中时间戳数据的NA值。

警告:

dateutil.parser是一个实用但不完美的工具。比如,它会把一些原本不是日期的字符串认作是日期(比如“42”会被解析为2042年的今天)。

datetime对象还有一些特定于当前环境(位于不同国家或使用不同语言的系统)的格式化选项。例如,德语或法语系统所用的月份简写就与英国系统所用的不同。

0 0