python下pymysql的问题
来源:互联网 发布:plc编程梯形图简单实例 编辑:程序博客网 时间:2024/06/05 22:41
本文和上篇的seaweedfs的使用有丝丝关联,还是在下图的时候遇到的,之前已经把图片url保存到mysql了,然后需要从数据库读出来并且request并push到seaweedfs上,在这个过程中遇到过一个问题,就是我在多个进程中对数据库进行操作。
问题来源是,我们当前数据库数据有600万数据,所以无法一次性读出来去请求下载,所以需要每次读取一个batch然后再下载;我的策略主要是使用master和worker进程分开处理读取数据、下载图片,master进程读取数据库数据,传入worker中进行下载并更新数据库。基本原理很简单,但是测试的时候发现一个问题,就是update是放到worker进程中。因为我们使用mysql,所以就用pymysql作为连接库,但是master读取的时候,发现每次在worker中update的数据master读取的时候发现没更新,所以这就尴尬了。查了下发现这是mysql默认存储引擎是MyISAM,MyISAM存储引擎不支持事务处理。所以通过设置autocommit(1)之后,worker上update操作就可以在master进程上读取了。
阅读全文
0 0
- python下pymysql的问题
- python的pymysql
- windows下Python安装pymysql
- windows下Python安装pymysql
- windows下Python安装pymysql
- Windows下PyMySQL的安装
- Win下PyMySQL的安装
- pymysql写入中文的问题
- 关于python中pymysql数据编码问题
- PyMySQL-在Python 3.x下连接MySQL数据库的方法
- Python编程-数据库-利用PyMysql访问windows下的MySql数据库
- Python3.4下使用pymysql插入数据后没有反应的问题
- Windows下使用python pymysql查询中文表头MySQL表
- (冲突)Python中使用pymysql插入中文数据问题
- python模块pymysql
- python pymysql注意事项
- Python-数据库操作-pymysql
- Python安装PyMysql客户端
- jsp页面引入外部js时,页面不显示内容
- Kaggle大数据竞赛平台入门
- 多线程之DownCountLatch CyclicBarrier和Semaphore
- Linux系统下Tomcat多实例安装及配置说明
- 线程的生产者消费者模型
- python下pymysql的问题
- Android布局——shape的使用
- 浅谈时间复杂度以及空间复杂度
- jenkins部署服务脚本
- 1050. 螺旋矩阵(25)
- 4G时代已是过去 5G将加速物联网应用落地
- JAVA中为什么0.55*100不等于55.0的思考
- Idea数据库操作(Right Join)
- ognl表达式的使用和值栈