discuz x3.2 论坛数据迁移 之 清理垃圾用户产生的数据
来源:互联网 发布:div css模板源码 编辑:程序博客网 时间:2024/05/17 03:33
数据迁移 可能会面临的问题就是数据清洗、合并。
最终只留下你需要的数据。
说说我遇到的坑。
在文章和帖子 确认的过程中,发现了一批用户,恶意发了很多帖子,
不知道是通过什么途径跑进来的。
所以首先通过 用户表 (pre_common_member or pre_ucenter_members)过滤出这些用户来。
再从 文章 或者 主题 中 找出一批垃圾用户。
确定这些用户后,创建一个临时表,把这些用户都放进临时表(usernames),这里要注意了, 我只放了用户名,
应该把userid也放进去,因为很多表里面username字段是没有做索引的,根据username操作起来非常慢。
举个栗子:
我的 帖子表:pre_forum_post 是33w条记录,主题表是pre_forum_thread16w条记录。
SELECT * FROM pre_forum_post t1 WHERE author = 'xxx';
就这个sql,执行了56秒。
我的流程是:
1,根据 划定的用户范围 临时表 username ,清理 用户表 (pre_common_member or pre_ucenter_members) 数据。
2,根据 临时表 清理 主题表,再清理 帖子表。
由于 先清理了用户表,又没有存 userid,后面就惨了 ,122条删除的 sql 语句,每个delete 执行时间是 48 - 60秒;
耗费了将近2个小时。
so,数据量大的时候 一定要先 查看 是否 有索引,不要 觉得简单就开始 搞。
执行这些sql的时候,网站基本上不能访问。这个对数据库的 性能消耗非常大。
0 0
- discuz x3.2 论坛数据迁移 之 清理垃圾用户产生的数据
- discuz x3.2 论坛数据迁移
- Discuz!教程之X3.4/X3.3/3.2/3.1/X3/X2.5论坛外部调用数据实现伪静态
- DISCUZ! X3 数据字典
- discuz X2.5论坛数据搬家完美方法无缝迁移
- Discuz X3.2 论坛搬家教程
- 【discuz x3】家园页面产生的动态
- Discuz! X3.2论坛中的模板 论坛模块下某一个版块的 模板导入方法
- 为Discuz! X3.2批量添加用户的python脚本
- Cocos2d-x3.2 UserDefault用户数据
- Cocos2d-x3.2 UserDefault用户数据 使用
- 【discuz x3】$_G变量中的数据
- discuz论坛数据库各个数据表的详细说明 DISCUZ论坛数据字典
- [转]dedecms调用discuz论坛图片数据的方法
- Discuz!X3.2版设置论坛QQ在线客服号码无法发起聊天的问题解决办法
- 学习Discuz! X3.2记录:去掉论坛首页的“Archiver”、“小黑屋”等链接
- 两个方法解决DZ(Discuz ! x3.2 )论坛安装模板不是正版应用的问题
- discuz! X3.2 论坛修改密码不同步UCenter
- BUI修改
- php设计模式之策略模式
- MySQL的20+条实践
- 干货|如何轻松安装和永久激活photoshop cs6
- Intelij 配置 Tomcat
- discuz x3.2 论坛数据迁移 之 清理垃圾用户产生的数据
- 第八节,改变元素css,设置定时器
- Android注解框架AndroidAnnotations
- Http状态
- 页面之间相互跳转的参数传递
- 【NOI2008】bzoj1061 志愿者招募
- adb操作命令详解及大全
- Android UI 备忘:DrawerLayout
- centos7 搭建vsftp