SQLAlemchy性能测试

最近在完善一个项目，由于展示界面使用的是django，但是却想解耦合，后台与展示界面并没有直接使用django的ORM，于是就使用了SQLAlemchy来做后端数据收集的数据库接口，但是网上说，SQLAlemchy的性能并不好，今天，就想着来测试一下其性能瓶瓶颈在哪儿，下面是过程记录：

查询测试

测试代码如下：

def pymsql_select():    conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='root', db='test')    cursor = conn.cursor()    for i in range(1, 10000):        sql = "select count(*) from informations_alarm;"        cursor.execute(sql)        print(cursor.fetchone())def alchemy_select():    engine = create_engine("mysql+pymysql://root:root@127.0.0.1:3306/test", max_overflow=5)    # 创建mysql操作对象    Session = sessionmaker(bind=engine)    session = Session()    for i in range(1, 10000):        count = session.query(Alarm).count()        print(count)def alchemy_select_withsql():    engine = create_engine("mysql+pymysql://root:root@127.0.0.1:3306/test", max_overflow=5)    # 创建mysql操作对象    Session = sessionmaker(bind=engine)    session = Session()    for i in range(1, 10000):        count = session.execute("select count(*) from informations_alarm")        print(count.first())if __name__ == '__main__':    pymsql_select()    alchemy_select()    alchemy_select_withsql()

先测试直接使用pymysql，即pymsql_select函数，结果如下：

然后就是测试使用SQLAlchemy的ORM来测试，就是函数alchemy_select，结果如下：

最后就是使用SQLAlchemy直接执行SQL语句，就是函数alchemy_select_withsql，结果如下：

下面测试数据库写入：

def pymsql_select():    conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='root', db='test')    cursor = conn.cursor()    for i in range(1, 400):        sql = "INSERT INTO informations_alarm(receive_id,client_id,cpu,svmem,swap,diskio,diskusage,snetio,level,message) VALUES (1,1,1,1,1,1,1,1,1,\'1\');"        cursor.execute(sql)        conn.commit()        print(cursor)def alchemy_select():    engine = create_engine("mysql+pymysql://root:root@127.0.0.1:3306/test", max_overflow=5)    # 创建mysql操作对象    Session = sessionmaker(bind=engine)    session = Session()    for i in range(1, 400):        alarm = Alarm(receive_id=1, client_id=1, cpu=1, svmem=1,                      swap=1,                      diskio=1, diskusage=1, snetio=1,                      level=1, message=1)        session.add(alarm)        result = session.commit()        print(result)def alchemy_select_withsql():    engine = create_engine("mysql+pymysql://root:root@127.0.0.1:3306/test", max_overflow=5)    # 创建mysql操作对象    Session = sessionmaker(bind=engine)    session = Session()    for i in range(1, 400):        count = session.execute("INSERT INTO informations_alarm(receive_id,client_id,cpu,svmem,swap,diskio,diskusage,snetio,level,message) VALUES (1,1,1,1,1,1,1,1,1,\'1\');")        print(session.commit())if __name__ == '__main__':    pymsql_select()    #alchemy_select()    #alchemy_select_withsql()

由于10000条数据太多，太耗时，于是测试插入400条数据

先测试直接使用pymysql，即pymsql_select函数，结果如下：

然后就是测试使用SQLAlchemy的ORM来测试，就是函数alchemy_select，结果如下：

最后就是使用SQLAlchemy直接执行SQL语句，就是函数alchemy_select_withsql，结果如下：

总体来说，直接使用pymysql是更胜一筹的，但是pymysql我们常不是这样用的，而是每次创建新的连接，执行完释放，而SQLAlemchy使用的是连接池机制，每次保证只有一个操作入口，下面是测试一般的pymysql用法：

def pymsql_select():    for i in range(1, 400):        conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='root', db='test')        cursor = conn.cursor()        sql = "INSERT INTO informations_alarm(receive_id,client_id,cpu,svmem,swap,diskio,diskusage,snetio,level,message) VALUES (1,1,1,1,1,1,1,1,1,\'1\');"        cursor.execute(sql)        conn.commit()        conn.close()        print(cursor)

结果如下：

查询代码如下：

def pymsql_select():    for i in range(1, 10000):        conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='root', db='test')        cursor = conn.cursor()        sql = "select count(*) from informations_alarm;"        cursor.execute(sql)        print(cursor.fetchone())        conn.close()

结果如下：

于是，就基本有结论了：

从单线程方面来说，SQLAlemchy的ORM还是差于pymysql，但是去掉ORM直接执行sql的话，由于SQLAlemchy使用了连接池技术，避免了多次打开关闭连接的耗时，于是不管在写还是读上面，还是明显优于pymysql的，所以你想用SQLAlemchy，还想要求效率的话，建议你直接使用SQLAlemchy来执行SQL。

而SQLAlemchy的瓶颈在于ORM这一段，其要通过对象机制，将相应的对象转化为SQL语句，由于python效率低是出了名的，于是就导致将大量时间花在了转化上面，由此带来了效率低下。