Python基础系列讲解-自动控制windows桌面

原链接：

在使用pc时与pc交互的主要途径是看屏幕显示、听声音，点击鼠标和敲键盘等等。在自动化办公的趋势下，繁琐的工作可以让程序自动完成。比如自动化测试、自动下单交易等。很多软件除了可以gui方式操作外还可以用cli接口操作，不过当一些软件未提供cli接口时，我们应该怎么办呢？我们还可以用程序控制桌面上的窗口、模拟点击鼠标或按下键盘等动作来释放自己。

pywin32是一个python库，它为python提供访问windows api的扩展，提供了齐全的windows常量、接口、线程以及com机制等等，安装后会自带一个pythonwin的ide。接下来主要介绍下如何通过python去操作windows桌面软件。

1、打开软件或文件 ，比如打开一个谷歌浏览器，或者打开一个word文件，如下所示：

win32api.shellexecute(1, 'open',
 r'c:program files (x86)googlechromeapplicationchrome.exe',
 '', '', 1)
win32api.shellexecute(1, 'open',
 r'c:usersjaydesktopenvironment guider.docx',
 '', '', 1)

win32api.shellexecute()的参数主要包括：

hwnd：指定父窗口句柄

operation：指定动作， 譬如"edit",“explore”,“open”,“find”,“print”,“null”

filename：指定要打开的文件或程序

parameters：指定打开程序所需参数

directory：缺省目录

showcmd：打开选项，可选值:

• •sw_hide = 0; {隐藏窗口，活动状态给令一个窗口}
• •sw_shownormal = 1; {用最近的大小和位置显示窗口, 同时令其进入活动状态}
• •sw_normal = 1; {用当前的大小和位置显示一个窗口，不改变活动窗口}
• •sw_showminimized = 2; {最小化窗口，并将其激活}
• •sw_showmaximized = 3; {最大化窗口，并将其激活}
• •sw_maximize = 3; {同 sw_showmaximized}
• •sw_shownoactivate = 4; {用最近的大小和位置显示一个窗口，不改变活动窗口}
• •sw_show = 5; {用当前的大小和位置显示一个窗口，令其进入活动状态}
• •sw_minimize = 6; {最小化窗口, 不激活}
• •sw_showminnoactive = 7; {同 sw_minimize}
• •sw_showna = 8; {用当前的大小和位置显示一个窗口，不改变活动窗口}
• •sw_restore = 9; {同 sw_shownormal}
• •sw_showdefault = 10; {同 sw_shownormal}
• •sw_max = 10; {同 sw_shownormal}

执行成功会返回应用程序句柄， 如果返回值 <= 32，则表示执行错误。返回值可能的错误有:

0—— {内存不足}

2—— {文件名错误}

3—— {路径名错误}

11—— {exe 文件无效}

26—— {发生共享错误}

27—— {文件名不完全或无效}

28—— {超时}

29—— {dde 事务失败}

30—— {正在处理其他 dde 事务而不能完成该 dde 事务}

31—— {没有相关联的应用程序}

2、查找窗体的句柄。在win32编程的世界里，包括窗口到文本框的所有控件都是窗体，所有的窗体都有独立的句柄。要操作任意一个窗体，都需要找到这个窗体的句柄。句柄是一个32位整数，在windows中用于标记对象。比如查找snipping tool和new text document.txt的句柄，如下所示：

para_hld = win32gui.findwindow(none, "snipping tool")# 1836416
para_hld = win32gui.findwindow(none, "new text document.txt - notepad")# 591410

win32gui.findwindow()属于win32gui的模块，它自顶层窗口（也就是桌面）开始搜索条件匹配的窗体，并返回这个窗体的句柄。该函数仅能查找主窗口，因此无法搜索子窗口，也不区分大小写，未找到则返回0。

win32gui.findwindow()的参数主要包括 (lpclassname=none, lpwindowname=none):

•lpclassname：字符型，窗体的类名，可以在spy++里找到

•lpwindowname：字符型，窗口名，也就是标题栏上能看见的那个标题。

 

 

3、查找句柄的类名和标题。比如通过snipping tool和new text document.txt的句柄查找对应的类名和标题，如下所示：

title = win32gui.getwindowtext(1836416)
classname = win32gui.getclassname(1836416)
print "windows handler:{0}; title:{1}; classname:{2}".format(1836416, title, classname)

打印显示如下：

windows handler:1836416; title:snipping tool; classname:microsoft-windows-tablet-snippertoolbar
title = win32gui.getwindowtext(591410)
classname = win32gui.getclassname(591410)
print "windows handler:{0}; title:{1}; classname:{2}".format(591410, title, classname)

打印显示如下：

windows handler:591410; title:new text document.txt - notepad; classname:notepad

4、调用win32gui.enumwindows()枚举所有窗口句柄，直到最后一个顶层窗口被枚举则停止枚举过程。如下所示：

hwndlist = []
win32gui.enumwindows(lambda hwnd, param: param.append(hwnd), hwndlist)
print hwndlist
for hwnd in hwndlist:
 title = win32gui.getwindowtext(hwnd)
 print title

打印显示如下：

[852802l, 65946l, 65928l, 65930l, 65900l, 65920l, 65924l, 65922l, 65944l, 65892l, 65886l, 6817870l, 65960l, 6031410l, …… 66052l, 65734l]
……
new text document.txt - notepad
snipping tool
dde server window
officepowermanagerwindow
officepowermanagerwindow
dde server window
gdi+ window
global internet access
……

5、win32gui.setforegroundwindow()函数将指定窗体设置到最顶层，并且激活该窗口。

构造函数为：win32gui.setwindowpos（hwn hwnd，hwnd hwndlnsertafter, int x，int y, int cx，int cy, unit．flags）

关于win32gui.setforegroundwindow(para_hld)报错的问题：

pywintypes.error: (0, ‘setforegroundwindow’, ‘no error message is available’)

其实调用setforegroundwindow()会有很多限制，参考官网的说明：https://docs.microsoft.com/en-us/windows/desktop/api/winuser/nf-winuser-setforegroundwindow

 

 

因此调用setforegroundwindow()时需要查看当前运行的条件是否符合上述要求，此处在调用setforegroundwindow()前事先发送一个键盘event来解决该问题。

例程如下所示：

win32api.keybd_event(13, 0, 0, 0) #
win32gui.setforegroundwindow(para_hld)

6、win32api.keybd_event()模拟键盘输入。

构造函数如下所示：

win32api.keybd_event (bvk, bscan, dwflags, dwextrainfo)

•bvk：虚拟键码（键盘键码对照表见附录）；

•bscan：硬件扫描码，一般设置为0即可；

•dwflags：函数操作的一个标志位，如果值为keyeventf_extendedkey则该键被按下，也可设置为0即可，如果值为keyeventf_keyup则该按键被释放；

•dwextrainfo：定义与击键相关的附加的32位值，一般设置为0即可。

按下enter键后抬起的例程如下所示：

win32api.keybd_event(13,0,0,0) # enter
win32api.keybd_event(13,0,win32con.keyeventf_keyup,0) #释放按键

7、模拟鼠标输入。直接给出例程，如下所示：

# 获取鼠标当前位置的坐标
print win32api.getcursorpos()
# 将鼠标移动到坐标处
win32api.setcursorpos((100, 100))
# 左点击
win32api.mouse_event(win32con.mouseeventf_leftdown, 100, 100, 0, 0)
time.sleep(2)
win32api.mouse_event(win32con.mouseeventf_leftup, 100, 100, 0, 0)

8、关于鼠标键盘的操作还可以使用pyuserinput库。pyuserinput是一个使用python的跨平台的操作鼠标和键盘的模块，使用非常方便。支持的平台及依赖如下：

•linux - xlib

•mac - quartz, appkit

•windows - pywin32, pyhook

实例化一个鼠标和键盘对象，如下所示：

from pymouse import pymouse
from pykeyboard import pykeyboard
m = pymouse()
k = pykeyboard()
操作鼠标和键盘，如下所示：
m.click(190,70,1)#移动并且在xy位置点击
time.sleep(2)
m.click(190, 200, 1)#移动并且在xy位置点击
time.sleep(2)
k.tap_key(k.function_keys[5])#–点击功能键f5