pandas append性能问题

来源:互联网 发布:网络宣传方案 编辑:程序博客网 时间:2024/05/16 14:54

实际场景:向pandas.Dataframe中添加n条数据


利用pandas.append方法一条一条向其中添加数据,很慢(我向pandas.Dataframe中添加16*715条数据,pc跑了一晚上)

解决方法:利用list将数据封装好,然后再一起加入pandas中


测试样例:

import randomimport timeitimport pandas as pddef func1():aa = []for x in xrange(200):aa.append([random.randint(0, 1000) for r in xrange(5)])pdaa = pd.DataFrame(aa)def func2():pdbb = pd.DataFrame()for y in xrange(200):pdbb[y] = pd.Series([random.randint(0, 1000) for r in xrange(5)])t1 = timeit.timeit(stmt=func1, number=1000)t2 = timeit.timeit(stmt=func2, number=1000)print t1, t2




参考文献:http://www.cppblog.com/huyutian/articles/211535.html

0 0
原创粉丝点击