使用tornado如何实现请求异步非阻塞?
来源:互联网 发布:陕西天诚软件 怎么样 编辑:程序博客网 时间:2024/06/06 09:33
也许有同学很迷惑:tornado框架不是标榜异步非阻塞解决10K问题的嘛?但是我却发现不是torando不好,而是你用错了.比如最近发现一个事情:某网站打开页面很慢,服务器cpu/内存都正常.网络状态也良好.
后来发现,打开页面会有很多请求后端数据库的访问,有一个mongodb的数据库业务api的rest服务.但是它的tornado却用错了,一步步的来研究问题:
####说明
以下的例子都有2个url,一个是耗时的请求,一个是可以或者说需要立刻返回的请求,我想就算一个对技术不熟,从道理上来说的用户,
他希望的是他访问的请求不会影响也不会被其他人的请求影响
#!/bin/env python
importtornado.httpserver
importtornado.ioloop
importtornado.options
importtornado.web
importtornado.httpclient
importtime
fromtornado.optionsimportdefine, options
define("port", default=8000, help="run on the given port", type=int)
classSleepHandler(tornado.web.RequestHandler):
defget(self):
time.sleep(5)
self.write("when i sleep 5s")
classJustNowHandler(tornado.web.RequestHandler):
defget(self):
self.write("i hope just now see you")
if__name__ =="__main__":
tornado.options.parse_command_line()
app = tornado.web.Application(handlers=[
(r"/sleep", SleepHandler), (r"/justnow", JustNowHandler)])
http_server = tornado.httpserver.HTTPServer(app)
http_server.listen(options.port)
tornado.ioloop.IOLoop.instance().start()
假如你使用页面请求或者使用哪个httpie,curl等工具先访问 http://localhost:8000/sleep,再访问http://localhost:8000/justnow.你会发现本来可以立刻返回的/jsutnow的请求会一直阻塞到/sleep请求完才返回 .
这是为啥?为啥我的请求被/sleep请求阻塞了?如果平时我们的web请求足够快我们可能不会意识到这个问题,但是事实上经常会有一些耗时的进程,意味着应用程序被有效的锁定直至处理结束.
这是时候你有没有想起@tornado.web.asynchronous这个装饰器?但是使用这个装饰器有个前提就是你要耗时的执行需要执行异步,比如上面的time.sleep,你只是加装饰器是没有作用的,而且需要注意的是
Tornado默认在函数处理返回时关闭客户端的连接,但是当你使用@tornado.web.asynchonous装饰器时,Tornado永远不会自己关闭连接,需要显式的self.finish()关闭
我们大部分的函数都是阻塞的, 比如上面的time.sleep其实tornado有个异步的实现:
#!/bin/env python
importtornado.httpserver
importtornado.ioloop
importtornado.options
importtornado.web
importtornado.gen
importtornado.httpclient
importtornado.concurrent
importtornado.ioloop
importtime
fromtornado.optionsimportdefine, options
define("port", default=8000, help="run on the given port", type=int)
classSleepHandler(tornado.web.RequestHandler): @tornado.web.asynchronous @tornado.gen.coroutine
defget(self):
yieldtornado.gen.Task(tornado.ioloop.IOLoop.instance().add_timeout, time.time() +5)
self.write("when i sleep 5s")
classJustNowHandler(tornado.web.RequestHandler):
defget(self):
self.write("i hope just now see you")
if__name__ =="__main__":
tornado.options.parse_command_line()
app = tornado.web.Application(handlers=[
(r"/sleep", SleepHandler), (r"/justnow", JustNowHandler)])
http_server = tornado.httpserver.HTTPServer(app)
http_server.listen(options.port)
tornado.ioloop.IOLoop.instance().start()
这里有个新的tornado.gen.coroutine装饰器, coroutine是3.0之后新增的装饰器.以前的办法是用回调,还是看我这个例子:
classSleepHandler(tornado.web.RequestHandler):
@tornado.web.asynchronousdefget(self):
tornado.ioloop.IOLoop.instance().add_timeout(time.time() + 5, callback=self.on_response)defon_response(self):
self.write("when i sleep 5s")
self.finish()
使用了callback, 但是新的装饰器让我们通过yield实现同样的效果:你在打开/sleep之后再点击/justnow,
justnow的请求都是立刻返回不受影响.但是用了asynchronous的装饰器你的耗时的函数也需要执行异步
刚才说的都是没有意义的例子,下面写个有点用的:读取mongodb数据库数据,然后再前端按行write出来
#!/bin/env python
importtornado.httpserver
importtornado.ioloop
importtornado.options
importtornado.web
importtornado.gen
importtornado.httpclient
importtornado.concurrent
importtornado.ioloop
importtime
# 一个mongodb出品的支持异步的数据库的python驱动
importmotor
fromtornado.optionsimportdefine, options
define("port", default=8000, help="run on the given port", type=int)
# db其实就是test数据库的游标
db = motor.MotorClient().open_sync().test
classSleepHandler(BaseHandler):
@tornado.web.asynchronous
@tornado.gen.coroutine
defget(self):
# 这一行执行还是阻塞需要时间的,我的tt集合有一些数据并且没有索引
cursor = db.tt.find().sort([('a',-1)])
# 这部分会异步非阻塞的执行二不影响其他页面请求
while(yieldcursor.fetch_next):
message = cursor.next_object()
self.write('<li>%s</li>'% message['a'])
self.write('</ul>')
self.finish()
def_on_response(self, message, error):
iferror:
raisetornado.web.HTTPError(500, error)
elifmessage:
foriinmessage:
self.write('<li>%s</li>'% i['a'])
else:
self.write('</ul>')
self.finish()
classJustNowHandler(BaseHandler):
defget(self):
self.write("i hope just now see you")
if__name__ =="__main__":
tornado.options.parse_command_line()
app = tornado.web.Application(handlers=[
(r"/sleep", SleepHandler), (r"/justnow", JustNowHandler)])
http_server = tornado.httpserver.HTTPServer(app)
http_server.listen(options.port)
tornado.ioloop.IOLoop.instance().start()
一个同事提示为什么这个耗时的东西不能异步的丢给某工具去执行而不阻塞我的请求呢?好吧,我也想到了:celery
执行下面的程序首先你要安装rabbitmq和celery:
#!/bin/env python
importtornado.httpserver
importtornado.ioloop
importtornado.options
importtornado.web
importtornado.gen
importtornado.httpclient
importtcelery, tasks
importtime
fromtornado.optionsimportdefine, options
define("port", default=8000, help="run on the given port", type=int)
tcelery.setup_nonblocking_producer()
classSleepHandler(tornado.web.RequestHandler): @tornado.web.asynchronous @tornado.gen.coroutine
defget(self):# tornado.gen.Task的参数是:要执行的函数, 参数
yieldtornado.gen.Task(tasks.sleep.apply_async, args=[5])
self.write("when i sleep 5s")
self.finish()
classJustNowHandler(tornado.web.RequestHandler):
defget(self):
self.write("i hope just now see you")
if__name__ =="__main__":
tornado.options.parse_command_line()
app = tornado.web.Application(handlers=[
(r"/sleep", SleepHandler), (r"/justnow", JustNowHandler)])
http_server = tornado.httpserver.HTTPServer(app)
http_server.listen(options.port)
tornado.ioloop.IOLoop.instance().start()
task是celery的任务定义的文件,包含我们说的time.sleep的函数
importtime
fromceleryimportCelery
celery = Celery("tasks", broker="amqp://guest:guest@localhost:5672")
celery.conf.CELERY_RESULT_BACKEND = "amqp"
@celery.task
defsleep(seconds):
time.sleep(float(seconds))
returnseconds
if__name__ =="__main__":
celery.start()
然后启动celelry worker(要不然你的任务怎么执行呢?肯定需要一个消费者取走):
celery -A tasks worker --loglevel=info
但是这里的问题也可能很严重:我们的异步非阻塞依赖于celery,还是这个队列的长度,假如任务很多那么就需要等待,效率很低.有没有一种办法把我的同步阻塞函数变为异步(或者说被tornado的装饰器理解和识别)呢?
#!/bin/env python
importtornado.httpserver
importtornado.ioloop
importtornado.options
importtornado.web
importtornado.httpclient
importtornado.gen
fromtornado.concurrentimportrun_on_executor# 这个并发库在python3自带在python2需要安装sudo pip install futures
fromconcurrent.futuresimportThreadPoolExecutor
importtime
fromtornado.optionsimportdefine, options
define("port", default=8000, help="run on the given port", type=int)
classSleepHandler(tornado.web.RequestHandler):
executor = ThreadPoolExecutor(2) @tornado.web.asynchronous @tornado.gen.coroutine
defget(self):# 假如你执行的异步会返回值被继续调用可以这样(只是为了演示),否则直接yield就行
res = yieldself.sleep()
self.write("when i sleep")
self.finish()
@run_on_executor
defsleep(self):
time.sleep(5)
return5
classJustNowHandler(tornado.web.RequestHandler):
defget(self):
self.write("i hope just now see you")
if__name__ =="__main__":
tornado.options.parse_command_line()
app = tornado.web.Application(handlers=[
(r"/sleep", SleepHandler), (r"/justnow", JustNowHandler)])
http_server = tornado.httpserver.HTTPServer(app)
http_server.listen(options.port)
tornado.ioloop.IOLoop.instance().start()
但是有朋友留言和我说为什么在浏览器打开多个url请求还是会阻塞一个个的响应呢?
这个是浏览器自身实现的可能是缓存把,当请求的资源相同就会出现这个问题,可以使用多浏览器(多人)或者命令行下的curl登都不会有这个问题,还有个比较恶的解决方法:
给你的请求添加一些无用参数,比如: http://localhost:8000/sleep/?a=1 也可以是个时间戳
fromconcurrent.futuresimportThreadPoolExecutor
fromfunctoolsimportpartial, wraps
importtime
importtornado.ioloop
importtornado.web
fromtornado.optionsimportdefine, options
define("port", default=8000, help="run on the given port", type=int)
EXECUTOR = ThreadPoolExecutor(max_workers=4)
defunblock(f):
@tornado.web.asynchronous @wraps(f)
defwrapper(*args, **kwargs):
self = args[0]
defcallback(future):
self.write(future.result())
self.finish()
EXECUTOR.submit(
partial(f, *args, **kwargs)
).add_done_callback(
lambdafuture: tornado.ioloop.IOLoop.instance().add_callback(
partial(callback, future)))
returnwrapper
classJustNowHandler(tornado.web.RequestHandler):
defget(self):
self.write("i hope just now see you")
classSleepHandler(tornado.web.RequestHandler):
@unblock
defget(self, n):
time.sleep(float(n))return"Awake! %s"% time.time()
classSleepAsyncHandler(tornado.web.RequestHandler):
@tornado.web.asynchronous
defget(self, n):
defcallback(future):
self.write(future.result())
self.finish()
EXECUTOR.submit(
partial(self.get_, n)
).add_done_callback(
lambdafuture: tornado.ioloop.IOLoop.instance().add_callback(
partial(callback, future)))
defget_(self, n):
time.sleep(float(n))return"Awake! %s"% time.time()
application = tornado.web.Application([
(r"/justnow", JustNowHandler),
(r"/sleep/(\d+)", SleepHandler),
(r"/sleep_async/(\d+)", SleepAsyncHandler),
])
if__name__ =="__main__":
application.listen(options.port)
tornado.ioloop.IOLoop.instance().start()
文章来源:小明明's à domicile
- 使用tornado如何实现请求异步非阻塞?
- tornado异步请求非阻塞
- 利用tornado使请求实现异步非阻塞
- tornado使用celery的请求异步非阻塞
- 使用tornado让你的请求异步非阻塞
- 使用tornado让你的请求异步非阻塞
- 使用tornado让你的请求异步非阻塞
- 简单介绍tornado是如何实现异步非阻塞的
- 使用tornado的异步非阻塞
- Tornado 异步非阻塞 分析
- tornado 异步非阻塞 实验
- 真正的 Tornado 异步非阻塞
- 【Flask】Flask实现异步非阻塞请求功能
- Python Tornado 异步和非阻塞I/O
- Tornado官方文档(二)【概述,异步和非阻塞IO】
- tornado 数据库非阻塞方法
- nginx异步非阻塞应该如何理解?
- tornado使用celery实现异步处理
- 线性代数的本质-20160614总结
- codevs 1003 电话连线
- JAVA 复习
- AngularJS中单选按钮和多选框的动态绑定
- mach_absolute_time () 与 CACurrentMediaTime() 计算时间 间隔 并转为秒
- 使用tornado如何实现请求异步非阻塞?
- 计算机系统原理之程序是怎么运行的
- SQL2005语句大全
- 搭建自己的SQLiteDataBase框架(二)
- jsp页面带多个参数
- Delphi 计算指定目录下所有文件的大小(遍历文件夹所有文件及目录)
- OkHttpUtils一个专注于让网络请求更简单的框架
- JavaScript 循环
- selenium webdriver by xpath 定位元素