Day3 编写ORM

来源：互联网发布：美容院用的软件编辑：程序博客网时间：2024/06/05 06:56

百度百科

ORM：对象关系映射，用于实现面向对象编程语言里不同类型系统的数据之间的转换。从效果上说，它其实是创建了一个可在编程语言里使用的“虚拟对象数据库”。
这个webapp选用了mysql，由于以后要大量使用SELECT等语句，先要将其封装好，此外，一旦选择异步IO，后面都要选择异步。

创建连接池

首先，类似objectC，先要创建一个连接池，以供复用，这个连接池用__pool全局变量储存，同时设置缺省编码方式utf-8.

@asyncio.coroutinedef create_pool(loop, **kw):    logging.info('create database connection pool...')    global __pool    __pool = yield from aiomysql.create_pool(        host=kw.get('host', 'localhost'),        port=kw.get('port', 3306),        user=kw['user'],        password=kw['password'],        db=kw['db'],        charset=kw.get('charset', 'utf8'),        autocommit=kw.get('autocommit', True),        maxsize=kw.get('maxsize', 10),        minsize=kw.get('minsize', 1),        loop=loop    )

我认为这些代码只要记住就好，就是调用aiomysql异步IO来创建__pool。
**

对mysql语句进行封装

**
首先是select语句：标准是select * from x

@asyncio.coroutinedef select(sql, args, size=None):    log(sql, args)     #这个log()函数是啥？    global __pool    with (yield from __pool) as conn:        cur = yield from conn.cursor(aiomysql.DictCursor)         #查询的返回格式会变成字典格式        yield from cur.execute(sql.replace('?', '%s'), args or ())        #mysql中的占位符是?,所以用?来替代 '%s'        if size:            rs = yield from cur.fetchmany(size)        else:            rs = yield from cur.fetchall()         #如果传入size参数，就通过fetchmany()获取最多指定数量的记录，否则，通过fetchall()获取所有记录。        yield from cur.close()        logging.info('rows returned: %s' % len(rs))        return rs

Insert, Update, Delete

由于三个函数的参数相投，可以抽象出一个公用的函数，返回一个整数表示影响的行数.

@asyncio.coroutinedef execute(sql, args):    log(sql)    with (yield from __pool) as conn:        try:            cur = yield from conn.cursor()            yield from cur.execute(sql.replace('?', '%s'), args)            affected = cur.rowcount            yield from cur.close()        except BaseException as e:            raise        return affected

ORM

有了基本的select()和execute()函数，我们就可以开始编写一个简单的ORM了。

设计ORM需要从上层调用者角度来设计。

我们先考虑如何定义一个User对象，然后把数据库表users和它关联起来。

from orm import Model, StringField, IntegerFieldclass User(Model):    __table__ = 'users'    id = IntegerField(primary_key=True)    name = StringField()

注意到定义在User类中的table、id和name是类的属性，不是实例的属性。所以，在类级别上定义的属性用来描述User对象和表的映射关系，而实例属性必须通过init()方法去初始化，所以两者互不干扰：

创建实例:

user = User(id=123, name='Michael')

存入数据库:

user.insert()

查询所有User对象:

users = User.findAll()

接下来定义抽象的各种类

class Model(dict, metaclass=ModelMetaclass):    def __init__(self, **kw):        super(Model, self).__init__(**kw)    def __getattr__(self, key):        try:            return self[key]        except KeyError:            raise AttributeError(r"'Model' object has no attribute '%s'" % key)    def __setattr__(self, key, value):        self[key] = value    def getValue(self, key):        return getattr(self, key, None)    def getValueOrDefault(self, key):        value = getattr(self, key, None)        if value is None:            field = self.__mappings__[key]            if field.default is not None:                value = field.default() if callable(field.default) else field.default                logging.debug('using default value for %s: %s' % (key, str(value)))                setattr(self, key, value)        return value

由于model继承于dict，又实现了getValue，getattr方法，使得其可以这样调用

>>> user['id']123>>> user.id123

还有个getValueOrDefault函数，是在value值找不到时返回默认值。

然后是Field类

class Field(object):    def __init__(self, name, column_type, primary_key, default):        self.name = name        self.column_type = column_type        self.primary_key = primary_key        self.default = default    def __str__(self):        return '<%s, %s:%s>' % (self.__class__.__name__, self.column_type, self.name)

StringField继承Field

class StringField(Field):    def __init__(self, name=None, primary_key=False, default=None, ddl='varchar(100)'):        super().__init__(name, ddl, primary_key, default)

注意到Model只是一个基类，如何将具体的子类如User的映射信息读取出来呢？答案就是通过metaclass：ModelMetaclass
这里采用多继承方法，继承ModelMetaclass来实现读取功能：

class ModelMetaclass(type):    def __new__(cls, name, bases, attrs):        # 排除Model类本身:        if name=='Model':            return type.__new__(cls, name, bases, attrs)        # 获取table名称:        tableName = attrs.get('__table__', None) or name        logging.info('found model: %s (table: %s)' % (name, tableName))        # 获取所有的Field和主键名:        mappings = dict()        fields = []        primaryKey = None        for k, v in attrs.items():            if isinstance(v, Field):                logging.info('  found mapping: %s ==> %s' % (k, v))                mappings[k] = v                if v.primary_key:                    # 找到主键:                    if primaryKey:                        raise RuntimeError('Duplicate primary key for field: %s' % k)                    primaryKey = k                else:                    fields.append(k)        if not primaryKey:            raise RuntimeError('Primary key not found.')        for k in mappings.keys():            attrs.pop(k)        escaped_fields = list(map(lambda f: '`%s`' % f, fields))        attrs['__mappings__'] = mappings # 保存属性和列的映射关系        attrs['__table__'] = tableName        attrs['__primary_key__'] = primaryKey # 主键属性名        attrs['__fields__'] = fields # 除主键外的属性名        # 构造默认的SELECT, INSERT, UPDATE和DELETE语句:        attrs['__select__'] = 'select `%s`, %s from `%s`' % (primaryKey, ', '.join(escaped_fields), tableName)        attrs['__insert__'] = 'insert into `%s` (%s, `%s`) values (%s)' % (tableName, ', '.join(escaped_fields), primaryKey, create_args_string(len(escaped_fields) + 1))        attrs['__update__'] = 'update `%s` set %s where `%s`=?' % (tableName, ', '.join(map(lambda f: '`%s`=?' % (mappings.get(f).name or f), fields)), primaryKey)        attrs['__delete__'] = 'delete from `%s` where `%s`=?' % (tableName, primaryKey)        return type.__new__(cls, name, bases, attrs)

这样，任何继承自Model的类（比如User），会自动通过ModelMetaclass扫描映射关系，并存储到自身的类属性如table、mappings中。

然后，我们往Model类添加class方法，就可以让所有子类调用class方法：

class Model(dict):    @classmethod   #@classmethod方法指定下面的函数为类方法    @asyncio.coroutine    def find(cls, pk):        ' find object by primary key. '        rs = yield from select('%s where `%s`=?' % (cls.__select__, cls.__primary_key__), [pk], 1)        if len(rs) == 0:            return None        return cls(**rs[0])

User类现在就可以通过类方法实现主键查找：

user = yield from User.find('123')

往Model类添加实例方法，就可以让所有子类调用实例方法：

class Model(dict):    ...    @asyncio.coroutine    def save(self):        args = list(map(self.getValueOrDefault, self.__fields__))        #self.__fields__是除了主键外的所有属性名，先用map对其取值并存放在args中        args.append(self.getValueOrDefault(self.__primary_key__))        #然后是存放主键        rows = yield from execute(self.__insert__, args)        #储存功能自然是插入字段了，由于返回值是变动数，应该只影响一个字段的，如果多了的话就是有问题的        if rows != 1:            logging.warn('failed to insert record: affected rows: %s' % rows)

这样，就可以把一个User实例存入数据库：

user = User(id=123, name='Michael')yield from user.save()

最后一步是完善ORM，对于查找，我们可以实现以下方法：

findAll() - 根据WHERE条件查找；findNumber() - 根据WHERE条件查找，但返回的是整数，适用于select count(*)类型的SQL。

 @classmethod    @asyncio.coroutine    def findNumber(cls, selectField, where=None, args=None):        ' find number by select and where. '        sql = ['select %s _num_ from `%s`' % (selectField, cls.__table__)]        if where:            sql.append('where')            sql.append(where)        rs = yield from select(' '.join(sql), args, 1)        if len(rs) == 0:            return None        return rs[0]['_num_']

类方法findall

@classmethod@asyncio.coroutine    def findAll(cls, where=None, args=None, **kw):        ' find objects by where clause. '        sql = [cls.__select__]        if where:            sql.append('where')            sql.append(where)        if args is None:            args = []        orderBy = kw.get('orderBy', None)        if orderBy:            sql.append('order by')            sql.append(orderBy)        limit = kw.get('limit', None)        if limit is not None:            sql.append('limit')            if isinstance(limit, int):                sql.append('?')                args.append(limit)            elif isinstance(limit, tuple) and len(limit) == 2:                sql.append('?, ?')                args.extend(limit)            else:                raise ValueError('Invalid limit value: %s' % str(limit))        rs = yield from select(' '.join(sql), args)        return [cls(**r) for r in rs]

update和delete与save大同小异

以及update()和remove()方法。所有这些方法都必须用@asyncio.coroutine装饰，变成一个协程。调用时需要特别注意：

user.save()

没有任何效果，因为调用save()仅仅是创建了一个协程，并没有执行它。一定要用：

yield from user.save()

才真正执行了INSERT操作。 @asyncio.coroutine    def update(self):        args = list(map(self.getValue, self.__fields__))        args.append(self.getValue(self.__primary_key__))        rows = yield from execute(self.__update__, args)        if rows != 1:            logging.warn('failed to update by primary key: affected rows: %s' % rows)    @asyncio.coroutine    def remove(self):        args = [self.getValue(self.__primary_key__)]        rows = yield from execute(self.__delete__, args)        if rows != 1:            logging.warn('failed to remove by primary key: affected rows: %s' % rows)

0 0