python读取csv大数据文件到mysql数据库中(ubunu14.04下)
来源:互联网 发布:红包源码 编辑:程序博客网 时间:2024/05/20 23:33
#- * - coding: UTF-8 -*-
import mysql.connector
import csv
#数据库连接
config={
'host':'127.0.0.1',#默认127.0.0.1
'user':'root',
'password':'ict',
'port':3306 ,#默认即为3306
'database':'tianyi',
'charset':'utf8'#默认即为utf8
}
try:
cnn=mysql.connector.connect(**config)
if cnn:
print 'ok'
except mysql.connector.Error as e:
print('connect fails!{}'.format(e))
#处理
cursor=cnn.cursor()
#插入数据
#读取用户csv的文件
read = csv.reader(open('tianchi_mobile_recommend_train_user.csv'))
count = 0
datas = []
for useid,idtem,behavior,ugeohash,cate,time in read:
sql_insert="insert into tian_yi_user(user_id,item_id,behavior_type,user_geohash,item_category,time) values (%(user_id)s,%(item_id)s,%(behavior_type)s,%(user_geohash)s,%(item_category)s,%(time)s)"
data = {'user_id':useid,'item_id':idtem,'behavior_type':behavior,'user_geohash':ugeohash,'item_category':cate,'time':time}
datas.append(data)
count+=1
if count/200000==1:
cursor.executemany(sql_insert,datas)
cnn.commit()
count=0
datas=[]
cursor.executemany(sql_insert,datas)
cnn.commit()
cursor.close()
import mysql.connector
import csv
#数据库连接
config={
'host':'127.0.0.1',#默认127.0.0.1
'user':'root',
'password':'ict',
'port':3306 ,#默认即为3306
'database':'tianyi',
'charset':'utf8'#默认即为utf8
}
try:
cnn=mysql.connector.connect(**config)
if cnn:
print 'ok'
except mysql.connector.Error as e:
print('connect fails!{}'.format(e))
#处理
cursor=cnn.cursor()
#插入数据
#读取用户csv的文件
read = csv.reader(open('tianchi_mobile_recommend_train_user.csv'))
count = 0
datas = []
for useid,idtem,behavior,ugeohash,cate,time in read:
sql_insert="insert into tian_yi_user(user_id,item_id,behavior_type,user_geohash,item_category,time) values (%(user_id)s,%(item_id)s,%(behavior_type)s,%(user_geohash)s,%(item_category)s,%(time)s)"
data = {'user_id':useid,'item_id':idtem,'behavior_type':behavior,'user_geohash':ugeohash,'item_category':cate,'time':time}
datas.append(data)
count+=1
if count/200000==1:
cursor.executemany(sql_insert,datas)
cnn.commit()
count=0
datas=[]
cursor.executemany(sql_insert,datas)
cnn.commit()
cursor.close()
cnn.close()
#读取商品csv的文件
read = csv.reader(open('tianchi_mobile_recommend_train_item.csv'))
for idtem,geohash,category in read:
sql_insert="insert into tian_yi_item(item_id,item_geohash,item_category) values (%(item_id)s,%(item_geohash)s,%(item_category)s)"
data = {'item_id':idtem,'item_geohash':geohash,'item_category':category}
cursor.execute(sql_insert,data)
cnn.commit()
cursor.close()
cnn.close()
0 0
- python读取csv大数据文件到mysql数据库中(ubunu14.04下)
- Python - MySQL 数据库 与 CSV 读取
- 将csv数据文件导入到sqlite数据库中
- Python使用pandas & pymysql读取MySQL数据到csv文件中
- OpenCV 读取 CSV 数据文件
- 读取csv文件到数据库
- PHP实现CSV大文件数据导入到MYSQL数据库
- PHP读取CSV文件内容 并且插入到数据库中
- Android读取csv文件并写到数据库中
- python读取xml插入到mysql数据库
- Cocos2d-x 3.x中读取csv数据文件
- python读出mysql数据写出到csv文件中[整理]
- PHP读取CSV大文件导入数据库
- Python读取大容量的csv文件
- (4)cocos2dx读取csv数据文件
- 【MySQL.Connector】Python下读取数据库信息
- Oracle utl_file读取csv文件到数据库
- Python 读取csv文件批量入库Mysql
- CFile
- Android入门:广播发送者与广播接收者
- 在BCB中使用多线程实例
- Scrapy 爬取煎蛋网妹子图版本2
- 关于python中带下划线的变量和函数 的意义
- python读取csv大数据文件到mysql数据库中(ubunu14.04下)
- UVa #1349 Optimal Bus Route Design (例题11-10)
- 杭电 HDU 1170 Balloon Comes!
- Sqrt(x)
- Android ViewPager使用详解
- 数字去重排序问题
- Android入门:Activity生命周期
- xib的简单使用
- MySQL创建用户及数据库并赋予其权限