使用Python开发SQLite代理服务器的方法

sqlite数据库使用单个磁盘文件，并且不需要像oracle、mssql、mysql等数据库管理系统那样启动服务，使用非常灵活方便。但是sqlite也有个很严重的问题，就是没有相应的服务，也没有监听任何端口，因此相应的程序只能访问本地数据库。也就是说，无法分离程序和数据库，只能把程序和数据库放在同一台计算机上。

本文使用python开发了一个sqlite数据库的服务程序，可以完美地分离程序和数据库。技术要点是socket编程，在数据库服务器上运行服务程序，该服务程序监听特定端口、执行代理程序发来的sql语句并返回结果；代理程序负责接收客户端的sql语句并转发给服务器，然后再把服务器返回的结果转发给客户端。在具体使用时可以在本文代码基础上进行简化和扩展。

服务程序：

##
# 服务器程序，接收代理服务器转发来的sql指令，并返回结果
#
import sqlite3
import socket
import struct

def getdata(sql):
 '''通过给定的sql select语句返回结果'''
 with sqlite3.connect(r'database.db') as conn:
  cur = conn.cursor()
  cur.execute(sql)
  result = cur.fetchall()
 return result

def dosql(sql):
 '''适用于delete/update/insert into语句，返回影响的记录条数'''
 with sqlite3.connect(r'database.db') as conn:
  cur = conn.cursor()
  result = cur.execute(sql)
 return result.rowcount

# 创建socket对象，默认使用ipv4+tcp
sockserver = socket.socket()
sockserver.bind(('', 3030))
sockserver.listen(1)
while true:
 # 接收客户端连接
 try:
  conn, addr = sockserver.accept()
 except:
  continue
 
 sql = conn.recv(1024).decode('gbk').lower()
 
 if sql.startswith(('update','delete','insert')):
  try:
   # 首先发送要发送的字节总数量
   # 然后再发送真实数据
   result = str(dosql(sql)).encode('gbk')
   conn.send(struct.pack('i', len(result)))
   conn.send(result)
  except:
   message = b'error'
   conn.send(struct.pack('i', len(message)))
   conn.send(message)
 elif sql.startswith('select'):
  try:
   result = str(getdata(sql)).encode('gbk')
   conn.send(struct.pack('i', len(result)))
   conn.send(result)
  except:
   message = b'error'
   conn.send(struct.pack('i', len(message)))
   conn.send(message)

代理程序：

##
# 代理服务器，在sqlite数据库服务器和客户端之间进行指令和数据的转发
# 这样可以把数据库和程序放到两个服务器上进行分离
##
import socket
from threading import thread
import struct

sockserver = socket.socket()
sockserver.bind(('',5050))
sockserver.listen(50)

def agent(conn):
 # 接收客户端发来的指令，并进行过滤
 sql = conn.recv(1024)
 if not sql.decode('gbk').startswith(('select', 'delete', 'insert','update')):
  message = b'not a sql statement'
  conn.send(struct.pack('i', len(message)))
  conn.send(message)
  return
 else:
  sockclient = socket.socket()
  # 尝试连接服务器
  try:
   sockclient.connect(('10.2.1.3', 3030))
  except:
   message = b'server not alive'
   conn.send(struct.pack('i', len(message)))
   conn.send(message)
   return
   
  # 向服务程序转发sql语句
  sockclient.send(sql)
  # 数据量大小，使用sturct序列化一个整数需要4个字节
  size = sockclient.recv(4)
  conn.send(size)
  size = struct.unpack('i', size)[0]
  while true:
   if size == 0:
    break
   elif size > 4096:
    data = sockclient.recv(4096)
    conn.send(data)
    size -= len(data)
   else:
    data = sockclient.recv(size)
    conn.send(data)
    size -= len(data)
  sockclient.close()
 conn.close()

while true:
 conn, _ = sockserver.accept()
 thread(target=agent, args=(conn,)).start()

模拟客户端程序：

##
# 模拟客户端，向sqlite代理服务器发送指令并接收数据
#
import sqlite3
import socket
import struct

while true:
 sql = input('输入一个要执行的sql语句：\n')
 # 没有输入，进入下一次循环
 if sql.strip() == '':
  continue
 
 # 输入exit或quit，退出客户端
 if sql in ('exit', 'quit'):
  break
 # 建立socket，尝试连接
 sockclient = socket.socket()
 try:
  sockclient.connect(('10.2.1.3', 5050))  
 except:
  print('服务器异常，请检查')
 else:
  # 发送远程sql语句
  sockclient.send(sql.encode('gbk'))
  size = sockclient.recv(4)
  size = struct.unpack('i', size)[0]
  
  data = b''
  while true:
   if size == 0:
    break
   elif size > 4096:
    # 注意断包和粘包
    # 虽然设置了4096，但是不一定能够接收4096字节
    #即使缓冲区的数据远多于4096
    t = sockclient.recv(4096)
    data += t
    size -= len(t)
   else:
    t = sockclient.recv(size)
    data += t
    size -= len(t)
  data = data.decode('gbk')
  try:
   data = eval(data)
  except:
   pass
  sockclient.close()
  print(data)

以上这篇使用python开发sqlite代理服务器的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。