ShellExecuteEX打开iqy文件导致excel hang的原因分析
1. 问题
当在console中调用API ShellExecuteEx打开"test.iqy"文件时，发现excel会hang住，console退出后excel才会响应，但直接双击"test.iqy"是没有问题的，有意思的是这个情况只有在xp发生，在win7上没有这个问题。
2. 重现步骤
重现环境：XP sp3 / Office 2007（其他office版本应该也可以，没有测试）
1> 解压iqy_test.zip
2> 运行http_server.py（需先安装python）
3> 执行"shell_execute.exe test.iqy"
shell_execute.exe的主要code：
bool shell_execute_file(wstring file_path)
{
SHELLEXECUTEINFOW shell_exec_info = { 0 };
shell_exec_info.cbSize = sizeof(SHELLEXECUTEINFOW);
shell_exec_info.fMask = SEE_MASK_NOCLOSEPROCESS | SEE_MASK_FLAG_NO_UI;
shell_exec_info.hwnd = NULL;
shell_exec_info.lpVerb = NULL;
shell_exec_info.lpFile = file_path.c_str();
shell_exec_info.lpParameters = NULL;
shell_exec_info.lpDirectory = NULL;
shell_exec_info.nShow = SW_SHOW;
shell_exec_info.hInstApp = NULL;
bool ret = ShellExecuteExW(&shell_exec_info);
printf("process handle is %p\n", shell_exec_info.hProcess);
return ret;
}
3. 原因分析
3.1 excel hang在哪里？
3.1.1 用windbg附加到excel上，输入如下命令查看主线程hang住的地方
可以看到Excel hang在NtUserMessageCall()中，经过查询知，SendMessage()内部就是调用NtUserMessageCall()来发送消息的。
查看参数知excel调用NtUserMessageCall()类似如下：
NtUserMessageCall(HWND_BROADCAST, WM_DDE_INITIATE)
说明excel给所有顶层窗口发送一个WM_DDE_INITIATE消息，但是有窗口没有response
由此可以怀疑是由于console进程在和excel用DDE消息通信时，console没有响应excel发送的DDE消息，导致excel hang住
3.2 为了验证3.1.1的猜想，用API Monitor一下ShellExecuteEx
3.2.1 根据微软的文档可知，发送DDE消息除了WM_DDE_INITIATE和WM_DDE_ACK之外用的都是PostMessage
https://msdn.microsoft.com/en-us/library/windows/desktop/ff468829(v=vs.85).aspx
在API Monitor中搜索一下PostMessage的调用，果然搜到一条
call stack显示确实是ShellExecuteEx所调用
消息1000为WM_DDE_EXECUTE，Post窗口句柄为0x00310172。
注意到下一个API GetWindowThreadProcessId ( 0x00310172 , 0x0012fb70 )，刚好是获取这个窗口的pid和tid，查看下参数窗口：
这个窗口所属的进程PID = 0xc54，正好是excel的进程，说明ShellExecuteEx确实发送了DDE消息给excel，而且可执发送的消息的thread就是主线程
根据DDE的消息参数，可知wParam就是发送消息的窗口，其句柄为2425190 = 0x250166，反向查询知这是ShellExecuteEx创建的”WorkerW”窗口
3.2.2 为了验证3.2.1的结论，在PostMessageW上下断点跟踪一下
查看一下buff的地址：
刚好就是打开test.iqy的命令，说明ShellExecuteEx就是先创建了excel的进程，然后发送test.iqy的文件命令给excel打开。
3.3 总结
1> ShellExecuteEx打开test.iqy的时先创建excel进程
2> 然后创建一个"WorkerW"的窗口用于DDE通信
3> Post WM_DDE_EXECUTE给excel，告知打开test.iqy的命令
4> ShellExecuteEx执行结束，但并不destroy "WorkerW"窗口
5> excel收到WM_DDE_EXECUTE消息后会广播WM_DDE_INITIATE消息，"WorkerW"窗口所在的console进程由于没有定义消息处理函数，ShellExecuteEx定义的"WorkerW"窗口消息处理函数得不到CPU执行机会，导致不会response该消息，从而导致excel hang住
类似，我们可以创建一个带窗口的程序，启动后将其挂起，这时，即使直接双击打开test.iqy也会hang住。
4. 为什么双击打开excel不会hang住
因为双击打开实际是用explorer.exe打开，而explorer.exe是有窗口的，能够正常的接收处理WM_DDE_INITIATE消息
5. 为什么win7上不会有这样的问题
5.1 在API Monitor中看下PostMessageW
注意到win7下PostMessageW是用的线程2调用的，搜一下线程创建API CreateThread
可知是ShellExecuteEx内部创建的线程，所以win7上ShellExecuteEx创建了一个线程专门用来处理和excel的DDE消息通信，这样就能正常的接收处理excel发过来的WM_DDE_INITIATE消息了