小白的web优化之路 一、使用redis来缓存信息

来源:互联网 发布:谷歌拼音输入法 mac 编辑:程序博客网 时间:2024/06/09 07:30

  作为一个web开发者,根据产品经理的需求来完成一个应用显然不是我们的唯一目标,很多时候,我们考虑的不仅仅是需求,而是超越需求,认识到项目上线后的性能瓶颈。很多web应用在上线后,都可能会碰到响应慢的问题,而从今天开始,我将以浅显的例子带领大家一步一步的优化web应用。

  先举个栗子:

  小白在做一个web列表页时,需求很简单,当用户访问第一个页的时候,服务器返回1-10条的文章简介数据,访问第2页的时候,服务器返回11-20条的文章简介数据。小白转念一想,这简单啊,每次前端给我一个页数就行,我直接从数据库中查出来,然后返回回去就行。哈哈,so easy! 

  当小白把程序写好上线后,随着用户以及文章的增多,数据库的压力也越大,比如当文章数量达到一百万条时,每次分页查询都需要耗时数据库500ms左右,这时候小白就意识到程序需要优化了。

  这时候小白的老师来了,老师说,这些文章列表数据,在短时间中不会改变太大,为什么不把它缓存起来呢?这样每次都可以从内存中取出来,而不用每次都访问数据库了。

  即项目架构由最简单的

  

  加入了cache层:

  

  这样,可以极大的加快访问速度。

  就拿这个例子来说,你可以把每次获取的列表信心都缓存起来,为了在缓存的同时也能保持更新,你可以设置列表缓存为1分钟过期,这样这1分钟内多次访问速度会极大的提高。

  至于缓存,你可以使用redis,Redis 是一个高性能的key-value数据库。可以对关系数据库起到很好的补充作用。

  小白在听了老师给出的建议后,马上着手开始搭建redis开发环境,并开始开发,他写了一个demo,这个demo中,使用缓存前每次访问的速度为400-500ms,使用缓存后的访问速度稳定在25-27ms,相当于17倍的速度提升!

下面为主要的测试代码:

package com.happyheng.controller;import com.alibaba.fastjson.JSON;import com.happyheng.dao.ArticleDao;import com.happyheng.model.Article;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.util.StringUtils;import org.springframework.web.bind.annotation.RequestMapping;import org.springframework.web.bind.annotation.RestController;import redis.clients.jedis.Jedis;import java.util.List;/** * * * Created by happyheng on 17/5/6. */@RestController@RequestMapping("/test")public class TestController {    private static final String KEY_CACHE_ARTICLE_LIST = "article_list";    @Autowired    private ArticleDao articleDao;    @RequestMapping("/testSelectFromDb")    public List<Article> testSelectFromDb() throws Exception {        return articleDao.getArticleListFromdb();    }    @RequestMapping("/testSelectFromCache")    public String testSelectFromCache() throws Exception {        Jedis jedis = new Jedis("localhost");        // 先从缓存中取出数据        String articleListStr = jedis.get(KEY_CACHE_ARTICLE_LIST);        if (!StringUtils.isEmpty(articleListStr)) {            return articleListStr;        } else {            // 如果数据为空,那么从db中取出来,然后序列化后写入到cache中,并设置1分钟的过期时间            List<Article> articleList = articleDao.getArticleListFromdb();            String serializeArticleListStr = JSON.toJSONString(articleList);            jedis.set(KEY_CACHE_ARTICLE_LIST, serializeArticleListStr);            jedis.expire(KEY_CACHE_ARTICLE_LIST, 60);            return serializeArticleListStr;        }    }}

package com.happyheng.dao;import com.happyheng.model.Article;import org.springframework.stereotype.Service;import java.sql.*;import java.util.ArrayList;import java.util.List;/** * * * Created by happyheng on 17/5/7. */@Servicepublic class ArticleDao {    public List<Article> getArticleListFromdb() throws Exception{        String sql = "SELECT * FROM article ORDER BY create_time DESC LIMIT 0, 10";        Class.forName("com.mysql.jdbc.Driver");        Connection mConnection = DriverManager.getConnection("jdbc:mysql://localhost:3306/optimize_db", "root", "mytestcon");        Statement statement = mConnection.createStatement();        ResultSet resultSet = statement.executeQuery(sql);        try {            List<Article> list = new ArrayList<>();            //注意指针刚开始是-1位置,这行next()方法,会先判断下一个位置有没有,如果有,指向下一个位置。            while (resultSet.next()) {                Article article = new Article();                article.setId(resultSet.getLong("id"));                article.setTitle(resultSet.getString("title"));                article.setContent(resultSet.getString("content"));                article.setCreate_time(resultSet.getString("create_time"));                list.add(article);            }            return list;        } catch (Exception e) {            e.printStackTrace();        } finally {            try {                resultSet.close();                statement.close();                mConnection.close();            } catch (SQLException e) {                e.printStackTrace();            }        }        return null;    }}

可以看到,当访问 testSelectFromDb 时,直接从数据库中获取数据,访问 testSelectFromCache 时,先从cache中获取数据,如果没有,从数据库中获取数据,然后写入到cache中,下面为两种访问方法的访问时间对比:

直接访问db:



访问cache:



示例代码已放到github上,此工程为项目中的 web-optimize-redis 工程,地址为 项目地址 

其中测试写入数据库的python脚本为:

import pymysqlimport time# 1.获取连接对象conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='mytestcon', db='optimize_db', charset='utf8')cursor = conn.cursor()# 2.测试插入数据rangeNum = 1000000for i in range(rangeNum):    print('执行了' + str(i/rangeNum))    title = 'title' + str(i)    content = 'content' + str(i)    dateStr = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))    cursor.execute('INSERT INTO article (title, content, create_time) VALUES (%s, %s , %s)', (title, content, dateStr))# 提交conn.commit()# 关闭游标cursor.close()# 关闭连接conn.close()
可以使用上述脚本来生成数据库测试数据


这篇博客只是对redis的缓存做一个简单介绍,所以只缓存了首页,下一篇博客中更详细的讲解了使用redis来缓存我们大量的列表数据并保持数据的时效性。

下一篇博客地址为 : 小白的web优化之路 二、实战使用redis来缓存列表信息



8 1
原创粉丝点击