pandas append性能问题
来源:互联网 发布:网络宣传方案 编辑:程序博客网 时间:2024/05/16 14:54
实际场景:向pandas.Dataframe中添加n条数据
利用pandas.append方法一条一条向其中添加数据,很慢(我向pandas.Dataframe中添加16*715条数据,pc跑了一晚上)
解决方法:利用list将数据封装好,然后再一起加入pandas中
测试样例:
import randomimport timeitimport pandas as pddef func1():aa = []for x in xrange(200):aa.append([random.randint(0, 1000) for r in xrange(5)])pdaa = pd.DataFrame(aa)def func2():pdbb = pd.DataFrame()for y in xrange(200):pdbb[y] = pd.Series([random.randint(0, 1000) for r in xrange(5)])t1 = timeit.timeit(stmt=func1, number=1000)t2 = timeit.timeit(stmt=func2, number=1000)print t1, t2
参考文献:http://www.cppblog.com/huyutian/articles/211535.html
0 0
- pandas append性能问题
- pandas.DataFrame.append
- pandas.DataFrame.append
- 小细节导致的bootstrap table append的性能问题
- Python-Pandas 学习 append的效率
- pandas中merge,append,concat的用法
- HDFS APPEND性能测试
- /*+APPEND*/插入性能总结
- “+”与StringBuilder#append的问题
- pandas的问题总结
- insert /*+append*/为什么会提高性能?
- ORacle——insert /*+append*/提高性能
- append
- append
- append
- append
- append
- 安装pandas遇到的问题
- HDU 5750
- 串行通信总述
- poj2403 模拟题目
- CodeForces 547B - Mike and Feet(单调栈)
- POJ 1703 Find them, Catch them .
- pandas append性能问题
- Bonita BPM Study
- java异常分类
- 内部类
- Reading Books
- csdn待改进点之34------>为什么会又在乱跳转? 请不要说重现不了!
- 在eclipse中使用CDT插件导入外部静态库
- 二分查找
- 国内一线互联网公司内部面试题库