利用numpy和pandas处理csv文件中的时间
来源:互联网 发布:s7200编程视频 编辑:程序博客网 时间:2024/06/06 09:38
环境:numpy,pandas,python3
在机器学习和深度学习的过程中,对于处理预测,回归问题,有时候变量是时间,需要进行合适的转换处理后才能进行学习分析,关于时间的变量如下所示,利用pandas和numpy对csv文件中时间进行处理。
date (UTC) Price
01/01/2015 0:00 48.1
01/01/2015 1:00 47.33
01/01/2015 2:00 42.27
#coding:utf-8import datetimeimport pandas as pdimport numpy as npimport pickle#用pandas将时间转为标准格式dateparse = lambda dates: pd.datetime.strptime(dates,'%d/%m/%Y %H:%M')#将时间栏合并,并转为标准时间格式rawdata = pd.read_csv('RealMarketPriceDataPT.csv',parse_dates={'timeline':['date','(UTC)']},date_parser=dateparse)#定义一个将时间转为数字的函数,s为字符串def datestr2num(s): #toordinal()将时间格式字符串转为数字 return datetime.datetime.strptime(s,'%Y-%m-%d %H:%M:%S').toordinal()x = []y = []new_date = []for i in range(rawdata.shape[0]): x_convert = int(datestr2num(str(rawdata.ix[i,0]))) new_date.append(x_convert) y_convert = rawdata.ix[i,1].astype(np.float32) x.append(x_convert) y.append(y_convert)x = np.array(x).astype(np.float32)"""with open('price.pickle','wb') as f: pickle.dump((x,y),f)"""print(datetime.datetime.fromordinal(new_date[0]),'------>>>>>>',new_date[0])print(datetime.datetime.fromordinal(new_date[10]),'------>>>>>>',new_date[10])print(datetime.datetime.fromordinal(new_date[20]),'------>>>>>>',new_date[20])print(datetime.datetime.fromordinal(new_date[30]),'------>>>>>>',new_date[30])print(datetime.datetime.fromordinal(new_date[40]),'------>>>>>>',new_date[40])print(datetime.datetime.fromordinal(new_date[50]),'------>>>>>>',new_date[50])
结果
将csv文件中的时间栏合并为一列,并转为方便数据分析的float或int类型
阅读全文
0 0
- 利用numpy和pandas处理csv文件中的时间
- 利用numpy和pandas处理csv文件中的时间2
- 利用NumPy和pandas对CSV文件进行写操作
- 使用pandas将numpy中的数组数据保存到csv文件
- Python使用pandas处理CSV文件
- 利用pandas模块读取csv文件和excel表格,并用matplotlib画图
- Pandas处理csv表格
- Pandas处理csv表格
- python用pandas工具包来处理.csv文件,包括读写和切片。
- pandas写入csv文件
- pandas 操作csv文件
- pandas读取csv文件
- pandas将numpy数组写入到csv
- pandas将numpy数组写入到csv
- 利用pandas进行大文件计数处理
- NumPy、SciPy和Pandas
- Pandas Python读取CSV文件中的某一列
- pandas小记:pandas时间序列分析和处理Timeseries
- 画心
- 数据结构之快速排序
- Material Design控件使用(一)
- 牛客一模:编程题
- C语言之链表栈
- 利用numpy和pandas处理csv文件中的时间
- C#虚基类继承与接口的区别
- unity3d调用windows系统dialog选择文件夹的方法
- cannot be read or is not a valid ZIP file
- 25-总结-【cartographer源码分析】系列的第三部分【sensor源码分析】
- Android Okhttp工具类的封装
- 数据结构实验之图论一:基于邻接矩阵的广度优先搜索遍历
- 剑指offer 之 两个栈来实现一个队列
- Material Design控件使用(二)