嫌pandas的to_sql方法过慢？神方法让你一分钟搞定

import cStringIOoutput = cStringIO.StringIO()# ignore the indexdf_a.to_csv(output, sep='\t',index = False, header = False)output.getvalue()# jump to start of streamoutput.seek(0)connection = engine.raw_connection() #engine 是 from sqlalchemy import create_enginecursor = connection.cursor()# null value become ''cursor.copy_from(output,table_name,null='')connection.commit()cursor.close()

本来50万条数据，使用pd.to_sql方法，设置chunksize=2000，跑了5个小时。

而上面这个方法，插40万条数据，只需1分钟。

方法来自国外大牛，搬运至此，造福大家。

其实原理是使用了pg内置的copy_from方法，SUPER FAST！