Pandas秘籍【第八章】
来源:互联网 发布:java vbs音量 编辑:程序博客网 时间:2024/06/05 19:49
原文:Chapter 8
import pandas as pd
8.1 解析 Unix 时间戳
在 pandas 中处理 Unix 时间戳不是很容易 - 我花了相当长的时间来解决这个问题。 我们在这里使用的文件是一个软件包流行度文件,我在我的系统上的/var/log/popularity-contest
找到的。
这里解释了这个文件是什么。
# Read it, and remove the last rowpopcon = pd.read_csv('../data/popularity-contest', sep=' ', )[:-1]popcon.columns = ['atime', 'ctime', 'package-name', 'mru-program', 'tag']
列是访问时间,创建时间,包名称最近使用的程序,以及标签。
popcon[:5]
pandas 中的时间戳解析的神奇部分是 numpy datetime
已经存储为 Unix 时间戳。 所以我们需要做的是告诉 pandas 这些整数实际上是数据时间 - 它不需要做任何转换。
我们需要首先将这些转换为整数:
popcon['atime'] = popcon['atime'].astype(int)popcon['ctime'] = popcon['ctime'].astype(int)
每个 numpy 数组和 pandas 序列都有一个dtype
- 这通常是int64
,float64
或object
。 一些可用的时间类型是datetime64
[s],datetime64
[ms]和datetime64
[us]。 与之相似,也有timedelta
类型。
我们可以使用pd.to_datetime
函数将我们的整数时间戳转换为datetimes
。 这是一个常量时间操作 - 我们实际上并不改变任何数据,只是改变了 Pandas 如何看待它。
popcon['atime'] = pd.to_datetime(popcon['atime'], unit='s')popcon['ctime'] = pd.to_datetime(popcon['ctime'], unit='s')
如果我们现在查看dtype
,它是<M8[ns]
,我们可以分辨出M8
是datetime64
的简写。
popcon['atime'].dtype
dtype('<M8[ns]')
所以现在我们将atime
和ctime
看做时间了。
popcon[:5]
现在假设我们要查看所有不是库的软件包。
首先,我想去掉一切带有时间戳 0 的东西。注意,我们可以在这个比较中使用一个字符串,即使它实际上在里面是一个时间戳。这是因为 Pandas 是非常厉害的。
popcon = popcon[popcon['atime'] > '1970-01-01']
现在我们可以使用 pandas 的魔法字符串功能来查看包名称不包含lib
的行。
nonlibraries = popcon[~popcon['package-name'].str.contains('lib')]
nonlibraries.sort('ctime', ascending=False)[:10]
好吧,很酷,它说我最近安装了ddd
。 和postgresql
! 我记得安装这些东西。
这里的整个消息是,如果你有一个以秒或毫秒或纳秒为单位的时间戳,那么你可以“转换”到datetime64 [the-right-thing]
,并且 pandas/numpy 将处理其余的事情。
- Pandas秘籍【第八章】
- Pandas秘籍【第二章】
- Pandas秘籍【第三章】
- Pandas秘籍【第四章】
- Pandas秘籍【第五章】
- Pandas秘籍【第六章】
- Pandas秘籍【第七章】
- Pandas秘籍【第九章】
- Pandas 秘籍
- Kali Linux 秘籍 第八章 密码攻击
- Pandas秘籍【第一章】
- Kali Linux Web 渗透测试秘籍 第八章 中间人攻击
- Kali Linux 网络扫描秘籍 第八章 自动化 Kali 工具
- pandas
- pandas
- Pandas
- pandas
- pandas
- 图像的掩膜操作
- 集群管理(8)——不能调用opencv3.1的问题
- 利用itext操作pdf从数据库导出大量数据--添加水印(四)
- poi的意思
- [栈的应用]动态顺序栈的实现、逆波兰表达式
- Pandas秘籍【第八章】
- spring-boot 性能监控
- C++之--继承
- spring资源加载-resource
- [BZOJ3651]网络通信(LCT)
- Contest RankList -- 2017年成都东软学院ACM冬季校赛(热身赛)
- shiro入门
- 【OpenCV入门教程之四】 ROI区域图像叠加&初级图像混合 全剖析
- Pandas秘籍【第九章】