python读取文本中数据并转化为DataFrame
来源:互联网 发布:java爬虫可以做什么 编辑:程序博客网 时间:2024/09/21 09:29
在技术问答中看到一个这样的问题,感觉相对比较常见,就单开一篇文章写下来。
从纯文本格式文件 “file_in”中读取数据,格式如下:
需要输出成“file_out”,格式如下:
数据的原格式是“类别:内容”,以空行“\n”为分条目,转换后变成一个条目一行,按照类别顺序依次写出内容。
建议读取后,使用pandas,把数据建立称DataFrame的表格。这样方便以后处理数据。但是原格式并不是通常的表格格式,所以要先做一些简单的处理。
#coding:utf8import sysfrom pandas import DataFrame #DataFrame通常来装二维的表格import pandas as pd #pandas是流行的做数据分析的包#建立字典,键和值都从文件里读出来。键是nam,age……,值是lili,jim……dict_data={}#打开文件with open('file_in.txt','r')as df: #读每一行 for line in df: #如果这行是换行符就跳过,这里用'\n'的长度来找空行 if line.count('\n') == len(line): continue #对每行清除前后空格(如果有的话),然后用":"分割 for kv in [line.strip().split(':')]: #按照键,把值写进去 dict_data.setdefault(kv[0],[]).append(kv[1])#print(dict_data)看看效果#这是把键读出来成为一个列表columnsname=list(dict_data.keys())#建立一个DataFrame,列名即为键名,也就是nam,age……frame = DataFrame(dict_data,columns=columnsname)#把DataFrame输出到一个表,不要行名字和列名字frame.to_csv('file_out0.txt',index=False,header=False)
阅读全文
0 0
- python读取文本中数据并转化为DataFrame
- spark 读取hbase数据并转化为dataFrame
- spark 读取hbase数据并转化为dataFrame
- spark 读取hbase数据并转化为dataFrame
- Python 读取 MySQL 数据并转为DataFrame
- 使用lxml的xpath读取网页中的表格并转化为pandas的DataFrame
- 读取yuv并转化为RGB数据在Opencv中打开显示
- 读取yuv并转化为RGB数据在Opencv中打开显示
- 读取yuv并转化为RGB数据在Opencv中打开显示
- 读取yuv并转化为RGB数据在Opencv中打开显示
- Spark2.0以下读取csv数据并转化为RDD
- RDD 转化为 DataFrame
- 从数据库中读取二进制字符并转化为图片
- java反射加载类,并转化为DataFrame
- 如何将Dataframe数据转化为ndarry数据
- 量化投资与数据分析一: 如何用PYTHON下载WIND数据并转化成dataframe格式 分享
- Python中对文件夹下的特定格式图像全部读取并转化为数组保存(也可转化为txt文件)
- 利用python将所有时序NDVI影像转换为DataFrame数据并进行归一化
- Linux下的系统编程与网络编程大纲
- replication-manager搭建部署
- 取消文件和SVN服务器的关联
- Ceph源代码目录结构详解
- 数据库char and varchar
- python读取文本中数据并转化为DataFrame
- 第三十篇:JAVA调用动态链接库
- mongodbc参考文档
- 工厂模式
- 算法题/替换空格
- 获取url参数值
- 莫等待
- 大型项目部署注意点记录
- 如何防止SQL注入