pandas string转dataframe
来源:互联网 发布:战斗吧剑灵刻印数据 编辑:程序博客网 时间:2024/05/18 02:43
今天业务上碰到用pandas处理一个大文件的内存不够问题,需要做concat 合并多个文件,每个文件数据在1.4亿行左右。当时第一反应是把dataframe分割成多块小文件处理,后面发现即使pandas内存问题解决了,用pickle做保存数据时也会提升内存不够的报错,后来把dataframe对象转化成string,发现内存占用减少了近一半。所以打算用先转成string再dump到离线文件里,官网文档上只有to_string的说明,而从string转dataframe却没有提供直接的函数。
其实很简单,我们可以把string放到一个文件对象里,然后通过read_csv函数来创建dataframe对象。
import sys
if sys.version_info[0] < 3:
from StringIO import StringIO
else:
from io import StringIO
import pandas as pd
TESTDATA=StringIO("""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
""")
df = pd.read_csv(TESTDATA, sep=";")
1 0
- pandas string转dataframe
- Pandas DataFrame
- Pandas(DataFrame)
- pandas-dataframe
- pandas.DataFrame.any与pandas.DataFrame.all
- Pandas之DataFrame操作
- Pandas.Dataframe使用小结
- Pandas之Dataframe操作
- pandas.DataFrame 操作
- Pandas学习:DataFrame
- pandas.DataFrame.to_csv
- Pandas DataFrame操作
- pandas之DataFrame创建
- pandas.Dataframe 的合并
- pandas.DataFrame.iterrows
- pandas.DataFrame.append
- pandas 中 DataFrame
- pandas Dataframe操作笔记
- POJ 3258 River Hopscotch(二分)
- 宏与函数的对比
- OPENCV创建标定板的几种方法
- 计蒜客
- 自定义连接池
- pandas string转dataframe
- Python的结构型设计模式之桥接模式
- 备份的重要性
- 用Python&OpenGL采用数值微分法和中点画圆法写图形学作业——会动的时钟
- Dynamics CRM 流程错误 simultaneous connections limit reached for organization
- Shell全局变量、局部变量与特殊变量笔记总结
- React Native 实战系列二
- ZOJ3202-Second-price Auction
- Eclipse中高亮显示velocity模版页面