Python的Tornado框架异步编程入门实例

tornado

tornado 是一款非阻塞可扩展的使用python编写的web服务器和python web框架, 可以使用tornado编写web程序并不依赖任何web服务器直接提供高效的web服务.所以tornado不仅仅是一个web框架而且还是一款可以用于生产环境的高效的web服务器

torando 在linux和freebsd上使用高效的异步i/o模型 epoll 和kqueue来实现高效的web服务器, 所以 tornado在linux上和freebsd系列性能可以达到最高
接口

当然我们可以不仅仅把tornado看作是一个web框架和web服务器, 我们可以利用tornado提供的接口进行高效的网络异步编程,

tornado.ioloop.ioloop 提供了三个接口可以用于网络编程:

add_handler

def add_handler(self, fd, handler, events):
  self._handlers[fd] = stack_context.wrap(handler)
  self._impl.register(fd, events | self.error)

add_handler用于添加socket到主循环中, 接受三个参数: fd 是socket的文件描述符 handler 是处理此socket的 callback函数 * events 是此socket注册的事件

update_handler

def update_handler(self, fd, events):
  self._impl.modify(fd, events | self.error)

update_handler用于更新住循环中已存在的socket响应事件, 接受两个参数: fd 是socket对应的文件描述符 events 是注册的新事件

remove_handler

def remove_handler(self, fd):
  self._handlers.pop(fd, none)
  self._events.pop(fd, none)
  try:
    self._impl.unregister(fd)
  except exception:
    gen_log.debug("error deleting fd from ioloop", exc_info=true)

remove_handler用于移除主循环中已存在的socket
事件

tornado.ioloop.ioloop同时提供了4种响应事件:

实例

根据上面的接口和事件我们就可以写出一个简单的 echo server

#!/usr/bin/env python
# -*- coding:utf-8 -*-
#
#  author :  cold
#  e-mail :  [e-mail]
#  date  :  13/04/15 15:08:51
#  desc  :  tornado echo server
#  home  :  http://www.linuxzen.com
#
import queue
import socket

from functools import partial

from tornado.ioloop import ioloop

sock = socket.socket(socket.af_inet, socket.sock_stream)
sock.setblocking(0)       # 将socket设置为非阻塞

server_address = ("localhost", 10000)

sock.bind(server_address)
sock.listen(5)

fd_map = {}       # 文件描述符到socket的映射
message_queue_map = {}  # socket到消息队列的映射

fd = sock.fileno()
fd_map[fd] = sock

ioloop = ioloop.instance()

def handle_client(cli_addr, fd, event):
  s = fd_map[fd]
  if event & ioloop.read:
    data = s.recv(1024)
    if data:
      print "   received '%s' from %s" % (data, cli_addr)
      # 接收到消息更改事件为写, 用于发送数据到对端
      ioloop.update_handler(fd, ioloop.write)
      message_queue_map[s].put(data)
    else:
      print "   closing %s" % cli_addr
      ioloop.remove_handler(fd)
      s.close()
      del message_queue_map[s]

  if event & ioloop.write:
    try:
      next_msg = message_queue_map[s].get_nowait()
    except queue.empty:
      print "%s queue empty" % cli_addr
      ioloop.update_handler(fd, ioloop.read)
    else:
      print 'sending "%s" to %s' % (next_msg, cli_addr)
      s.send(next_msg)

  if event & ioloop.error:
    print " exception on %s" % cli_addr
    ioloop.remove_handler(fd)
    s.close()
    del message_queue_map[s]


def handle_server(fd, event):
  s = fd_map[fd]
  if event & ioloop.read:
    conn, cli_addr = s.accept()
    print "   connection %s" % cli_addr[0]
    conn.setblocking(0)
    conn_fd = conn.fileno()
    fd_map[conn_fd] = conn
    handle = partial(handle_client, cli_addr[0])  # 将cli_addr作为第一个参数
    # 将连接和handle注册为读事件加入到 tornado ioloop
    ioloop.add_handler(conn_fd, handle, ioloop.read)
    message_queue_map[conn] = queue.queue()  # 创建对应的消息队列


ioloop.add_handler(fd, handle_server, ioloop.read)

ioloop.start()

上面代码就建立了一个非阻塞的高效的异步的echo server