我有类似的情况。
初始工作流程
- 应用程序从C++层开始
- C++层在主线程调用Python层的函数
- 主线程中的Python层函数创建事件线程
- 在Python层启动事件线程并返回C++层
- 主循环在C++层开始
- 如果需要,事件线程调用C++层的回调函数
从一开始,事件线程就以意想不到的方式工作。从我遇到的情况来看,我猜这是由于GIL造成的,所以我尝试从GIL解决这个问题。这是我的解决方案。
Analysis
首先,从注释中PyEval_InitThreads https://docs.python.org/2/c-api/init.html#c.PyEval_InitThreads,
当只有主线程存在时,不需要GIL操作。 ...因此,最初并没有创建锁。 ...
所以如果需要多线程,PyEval_InitThreads()
必须在主线程中调用。我打电话PyEval_InitThreads()
before Py_Initialize()
。现在GIL已初始化并且主线程获取GIL。
其次,每次从 C++ 层调用 Python 函数之前,PyGILState_Ensure()
被调用以获取GIL。另外,调用Python函数后,PyGILState_Release(state)
被调用返回到之前的 GIL 状态。结果,在步骤2之前,PyGILState_Ensure()
被调用,并且在步骤 4 之后,PyGILState_Release(state)
叫做。
但有一个问题。从PyGILState_Ensure https://docs.python.org/2/c-api/init.html#c.PyGILState_Ensure and PyGILState_Release https://docs.python.org/2/c-api/init.html#c.PyGILState_Release,这两个函数分别是保存当前的GIL状态来获取GIL和恢复之前的GIL状态来释放GIL。然而,打电话后PyEval_InitThreads()
在主线程中,主线程肯定拥有GIL。主线程中的GIL状态如下:
/* main thread owns GIL by PyEval_InitThreads */
state = PyGILState_Ensure();
/* main thread owns GIL by PyGILState_Ensure */
...
/* invoke Python function */
...
PyGILState_Release(state);
/* main thread owns GIL due to go back to previous state */
从上面的代码示例中,主线程始终拥有 GIL,因此事件线程永远不会运行。为了克服这种情况,让主线程在调用之前不获取GILPyGILState_Ensure()
。因此,调用后PyGILState_Release(state)
,主线程可以释放GIL让事件线程运行。因此,当GIL初始化时,应立即在主线程中释放GIL。
Here PyEval_SaveThread()
用来。从PyEval_SaveThread https://docs.python.org/2/c-api/init.html#c.PyEval_SaveThread,
释放全局解释器锁(如果已创建并且启用了线程支持)并将线程状态重置为 NULL,...
这样,Python 就可以嵌入多线程了。
修改后的工作流程
- 应用程序从C++层开始
-
PyEval_InitThreads();
启用多线程
-
save = PyEval_SaveThread();
在主线程中释放GIL
-
state = PyGILState_Ensure();
在主线程中获取GIL
- C++层在主线程调用Python层的函数
- 主线程中的Python层函数创建事件线程
- 在Python层启动事件线程并返回C++层
-
PyGILState_Release(state);
在主线程中释放GIL
- 主循环在C++层开始
- 如果需要,事件线程调用C++层的回调函数