flask/django 动态查询表结构相同表名不同数据的Model实现
来源:互联网 发布:下载九妖软件 编辑:程序博客网 时间:2024/06/05 16:22
1.问题
为了控制数据的增长,经常需要分表,数据库中存在多张结构相同,表名相关的表,如:
table_201706
table_201707
table_201708
怎么通过SQLAlchemy 或者django查询相关的数据表,而不用每次都创建Model呢
2.解决方法
分别在flask和django下实现,代码如下
2.1 flask+sqlalchemy
# -*-coding:utf-8class NewDynamicModel(object): """ 动态产生模型和表的对应关系模型 :param base_cls: 基类模型,虚类,如TemplateModel :param tb_name: 数据库中对应的表名, 如tb_test_2017 :return: Model class eg: ''' class TemplateModel(db.Model): __abstract__ = True id = db.Column(db.Integer(), autoincrement=True, primary_key=True) name = db.Column(db.VARCHAR(32), nullable=False) Test_2017 = NewDynamicModel(TemplateModel, 'tb_test_2017') print Test_2017.query.all() ''' """ _instance = dict() def __new__(cls, base_cls, tb_name): new_cls_name = "%s_To_%s" % ( base_cls.__name__, '_'.join(map(lambda x:x.capitalize(),tb_name.split('_')))) if new_cls_name not in cls._instance: model_cls = type(new_cls_name, (base_cls,), {'__tablename__': tb_name}) cls._instance[new_cls_name] = model_cls return cls._instance[new_cls_name]
Bug:由于新的数据模型是通过type动态创建的,实际module 下的py文件并不存在该类的代码,因而在通过pickle等方式序列化的时候,会报找不到类的错误。
Fixbug: 通过inspect库,拷贝基类的代码作为副本,并替换tablename 属性,写入临时类定义文件,并引入module。
新的方式实现如下:
class NewDynamicModel(object): """ 动态产生模型和表的对应关系模型 :param base_cls: 基类模型,虚类,如TemplateModel :param tb_name: 数据库中对应的表名, 如tb_test_2017 :return: Model class eg: ''' class TemplateModel(db.Model): __abstract__ = True id = db.Column(db.Integer(), autoincrement=True, primary_key=True) name = db.Column(db.VARCHAR(32), nullable=False) Test_2017 = NewDynamicModel(TemplateModel, 'tb_test_2017') print Test_2017.query.all() ''' """ @staticmethod def get_import_codes(Model): """ 获取基类的import依赖 :param Model: :return: """ module = inspect.getmodule(Model) all_codelines = inspect.getsourcelines(module) import_codes = [] import_codes.append('# -*-coding:utf-8\n') for i in all_codelines[0]: match = re.search(r'[from]*[\w|\s]*import [\w|\s]*', i) if match: import_codes.append(i) import_codes.extend(['\n', '\n']) return import_codes @staticmethod def get_codes(Model, new_model_name, tb_name): """ 获取基类的实现代码 :param Model: :param new_model_name: :param tb_name: :return: """ codes = inspect.getsourcelines(Model)[0] result = [] has_alias_tb_name = False result.append(codes[0].replace(Model.__name__, new_model_name)) for line in codes[1:]: match = re.search(r'\s+__tablename__\s+=\s+\'(?P<name>\w+)\'', line) abstract = re.search(r'(?P<indent>\s+)__abstract__\s+=\s+', line) if abstract: del line continue if match: name = match.groupdict()['name'] line = line.replace(name, tb_name) has_alias_tb_name = True result.append(line) if not has_alias_tb_name: result.append("%s__tablename__ = '%s'\n" % (' ', tb_name)) return result @staticmethod def create_new_module(module_name, codes): """ 创建新表映射类的module文件 :param module_name: :param codes: :return: """ f_path = os.path.join(CURRENT_PATH, '_tmp/%s.py' % module_name) fp = open(f_path, 'w') for i in codes: fp.write(i) fp.close() return import_module('sync_session.models._tmp.%s' % module_name) _instance = dict() def __new__(cls, base_cls, tb_name): new_cls_name = "%s_To_%s" % ( base_cls.__name__, ''.join(map(lambda x: x.capitalize(), tb_name.split('_')))) if tb_name not in engine.table_names(): raise TableNotExist if new_cls_name not in cls._instance: import_codes = cls.get_import_codes(base_cls) class_codes = cls.get_codes(base_cls, new_cls_name, tb_name) import_codes.extend(class_codes) new_module_name = new_cls_name.lower() new_module = cls.create_new_module(new_module_name, import_codes) model_cls = getattr(new_module, new_cls_name) cls._instance[new_cls_name] = model_cls return cls._instance[new_cls_name]
2.2 django
# -*-coding:utf-8from django.db import modelsclass NewDynamicModel(object): """ 动态产生模型和表的对应关系模型 :param base_cls: 基类模型,虚类,如TemplateModel :param tb_name: 数据库中对应的表名, 如tb_test_2017 :return: Model class eg: ''' class TemplateModel(models.Model): id = models.AutoField(primary_key=True) name = models.CharField(max_length=50) class Meta: abstract = True Test_2017 = NewDynamicModel(TemplateModel, 'tb_test_2017') print Test_2017.objects.all() ''' """ _instance = dict() def __new__(cls, base_cls, tb_name): new_cls_name = "%s_To_%s" % ( base_cls.__name__, '_'.join(map(lambda x:x.capitalize(),tb_name.split('_')))) if new_cls_name not in cls._instance: new_meta_cls = base_cls.Meta new_meta_cls.db_table = tb_name model_cls = type(new_cls_name, (base_cls,), {'__tablename__': tb_name, 'Meta': new_meta_cls, '__module__': cls.__module__}) cls._instance[new_cls_name] = model_cls return cls._instance[new_cls_name]
阅读全文
1 0
- flask/django 动态查询表结构相同表名不同数据的Model实现
- MySQL不同库名相同表结构实现主从…
- msyql 不同数据库名,相同表名,且指定的表之间数据同步
- 查询数据库内不同表间相同字段不同类型,不同长度的所有字段
- django在Model中修改表名
- Mybatis 动态表名,查询数据
- 从2个不同的数据库中同步表结构相同表的数据
- sqlserver 表查询锁与解锁以及删除重复数据(主键不同,其他数据都相同的数据)
- 查询表中相同数据的sql
- 关于结构相同,数据不同的数据库进行一个表数据合并入另一个数据库中的表
- sql查询动态表名的记录
- 分组查询 综合点号不同时间相同时间的数据!
- 查询索引名和字段名相同的表及查找重复索引
- 查询不同结构两表 字段数据不一样
- 获取某个表的数据,并产生插入这些数据的SQL(主要用于不同服务器间相同结构表的数据复制)。
- django model filter 条件过滤,及多表连接查询、反向查询,某字段的distinct
- django model filter 条件过滤,及多表连接查询、反向查询,某字段的distinct
- 为表名不同但属性相同的多个表添加字段的mysql存储过程示例
- 剑指offer:构建乘积数组
- ACM算法-时间复杂度分析(3.渐进符号)
- Asp.net 处理程序(第五篇)
- QGIS2.18.4+QT5.7.1+VS2015编译方法
- Elasticsearch java api 基本搜索部分详解
- flask/django 动态查询表结构相同表名不同数据的Model实现
- 掌握TCP/IP三次握手,四次挥手
- android中?attr/**与@drawable/**或@color/**等的区别
- DIDIDI loves to take a shower(乘法逆元)
- php三元运算代码分析
- 初试php
- hadoop集成kerberos错误排查-core dump
- UVA11090 [Going in Cycle!!] 二分答案+SPFA判负圈
- Asp.net处理程序(第六篇)