使用 boost.python 在 cygwin 中手动构建 python 扩展

2024-02-06

很抱歉这么笼统的标题,但我不太确定我到底错过了什么或我做错了什么。我的目标是在 cygwin 下使用 boost.python 构建一个 python 扩展,并避免使用 boost.build 工具,即使用 make 而不是 bjam。后一种方法对我来说效果很好,但现在我想这样做。我通过谷歌搜索和寻找类似的主题解决了许多问题,这帮助我找到了一些技巧并继续前进。但到了最后一步,似乎出现了一些问题。我将尝试详细描述我的所有步骤,希望这篇文章将来对其他人有用,并更好地描述设置。

因为我不太确定 python 和 boost 的原始安装(来自各种 cygwin 存储库),所以我决定在我的主目录中从头开始安装它们,所以这就是我所做的:

  1. 首先安装python。我将跳过这方面的细节,它或多或少是简单的。对于后面的描述来说重要的是路径:

    /home/Alexey_2/Soft/python2.6 - 这是 PYTHONPATH,也包含在 PATH 中

  2. 致力于提升:

    a) 将 boost 源解压到

    /home/Alexey_2/Soft/boost_1_50_0   - this is BOOST_ROOT
    

    b) 制作 bjam。首先进入目录:

    /home/Alexey_2/Soft/boost_1_50_0/tools/build/v2 
    

    接下来,调用 bootstrap.sh 这最终会在此目录中创建 b2 和 bjam 可执行文件。在.bash_profile中将此目录添加到PATH中,这样我们就可以调用bjam。在这里以及以后每次编辑 .bash_profile 之后,我都会重新启动 cygwin 来进行更改 达到效果

    c) 仍处于

    /home/Alexey_2/Soft/boost_1_50_0/tools/build/v2 
    

    目录 - 编辑 user-config.jam,让 bjam 知道要使用哪个 python。所以就我而言,我只添加一行:

    using python : 2.6 : /home/Alexey_2/Soft/python2.6/bin/python2.6 : /home/Alexey_2/Soft/python2.6/include/python2.6 : /home/Alexey_2/Soft/python2.6/bin ;
    

    在 lib-path (最后一个条目)中,我放入 /home/Alexey_2/Soft/python2.6/bin 因为它包含 libpython2.6.dll

    d) 好的。现在我们可以制作 boost-python 库了。进入BOOST_ROOT目录并执行命令

    bjam --with-python toolset=gcc link=shared
    

    这将创建必要的库(cygboost_python.dll 和 libboost_python.dll.a)并将它们放入

    /home/Alexey_2/Soft/boost_1_50_0/stage/lib 
    
  3. 构建 python 扩展。

    这是我的简单测试程序(实际上是示例代码的一部分)

    // file xyz.cpp
    #include <boost/python.hpp>
    #include <iostream>
    #include <iomanip>
    using namespace std;
    using namespace boost::python;
    
    class Hello
    {
      std::string _msg;
    public:
      Hello(std::string msg){_msg = msg;}
      void set(std::string msg) { this->_msg = msg; }
      std::string greet() { return _msg; }
    };
    
    BOOST_PYTHON_MODULE(xyz)
    {
      class_<Hello>("Hello", init<std::string>())
        .def("greet", &Hello::greet)
        .def("set", &Hello::set)
      ;  
    }
    

    这是 Makefile:

    FLAGS= -fno-for-scope -O2 -fPIC
    CPP=c++
    
    # BOOST v 1.50.0
    p1=/home/Alexey_2/Soft/boost_1_50_0
    pl1=/home/Alexey_2/Soft/boost_1_50_0/stage/lib
    
    # PYTHON v 2.6
    p2=/home/Alexey_2/Soft/python2.6/include/python2.6
    pl2=/home/Alexey_2/Soft/python2.6/bin
    
    
    I=-I${p1} -I${p2}
    L=-L${pl1} -lboost_python -L${pl2} -lpython2.6
    
    all: xyz.so
    
    xyz.o: xyz.cpp 
        ${CPP} ${FLAGS} ${I} -c xyz.cpp
    
    xyz.so: xyz.o 
        ${CPP} ${FLAGS} -shared -o xyz.so xyz.o ${L}
    
    clean:
        rm *.o
        rm xyz.so
    

一些评论:

  1. 设置库路径并根据正确的库进行编译(查看更多:在win7-64位中通过mingw使用boost.python编译一些代码 https://stackoverflow.com/questions/14090683/compile-some-code-with-boost-python-by-mingw-in-win7-64bit ).

  2. 上面的链接解释了为什么配置 user-config.jam 很重要 - 我在步骤 1c 中做到了。

  3. 为了避免可能出现的问题(如上面的链接和中提到的)无法将 boost.python 与 mingw 链接 https://stackoverflow.com/questions/5392962/cannot-link-boost-python-with-mingw(尽管对于 mingw))与我静态喜欢的 boost.python 库

    link=shared 
    

    作为 bjam 的参数(参见 1d)

  4. 正如这里所解释的:MinGW + Boost:对“WSAStartup@8”的未定义引用 https://stackoverflow.com/questions/12472654/mingw-boost-undefined-reference-to-wsastartup8想要编译某些东西的库应该列在目标文件之后,这就是为什么我们有:

    ${CPP} ${FLAGS} -shared -o xyz.so xyz.o ${L}
    

    and not

    ${CPP} ${FLAGS} -shared ${L} -o xyz.so xyz.o
    

这是我的 .bash_profile 的一部分(最终),我在其中定义了环境变量:

# Python
export PATH=/home/Alexey_2/Soft/python2.6/bin:$PATH
export PYTHONPATH=/home/Alexey_2/Soft/python2.6
export LD_LIBRARY_PATH=/home/Alexey_2/Soft/python2.6/lib:/home/Alexey_2/Soft/python2.6/bin:$LD_LIBRARY_PATH

# Boost
export BOOST_ROOT=/home/Alexey_2/Soft/boost_1_50_0
export LD_LIBRARY_PATH=/home/Alexey_2/Soft/boost_1_50_0/stage/lib:$LD_LIBRARY_PATH
export PATH=/home/Alexey_2/Soft/boost_1_50_0/stage/lib:$PATH

# bjam
export PATH=/home/Alexey_2/Soft/boost_1_50_0/tools/build/v2:$PATH

最后,说到问题。通过上述设置,我能够成功构建 python 扩展对象文件:

xyz.so

但是,当我通过简单的脚本测试它时:

# this is a test.py script
import xyz

导入错误来了:

$ python test.py
Traceback (most recent call last):
  File "test.py", line 1, in <module>
    import xyz
ImportError: No module named xyz

有人指出,出现此类问题的原因可能是使用了错误的 python 可执行文件,但事实并非如此:

$ which python
/home/Alexey_2/Soft/python2.6/bin/python

预期的结果(注意 python 是该目录中到 python2.6 的符号链接)

这是我掌握的另一条有用的信息:

$ ldd xyz.so
    ntdll.dll => /cygdrive/c/Windows/SysWOW64/ntdll.dll (0x76fa0000)
    kernel32.dll => /cygdrive/c/Windows/syswow64/kernel32.dll (0x76430000)
    KERNELBASE.dll => /cygdrive/c/Windows/syswow64/KERNELBASE.dll (0x748e0000)
    cygboost_python.dll => /home/Alexey_2/Soft/boost_1_50_0/stage/lib/cygboost_python.dll (0x70cc0000)
    cygwin1.dll => /usr/bin/cygwin1.dll (0x61000000)
    cyggcc_s-1.dll => /usr/bin/cyggcc_s-1.dll (0x6ff90000)
    cygstdc++-6.dll => /usr/bin/cygstdc++-6.dll (0x6fa90000)
    libpython2.6.dll => /home/Alexey_2/Soft/python2.6/bin/libpython2.6.dll (0x67ec0000)
    ??? => ??? (0x410000)

我想知道什么

??? => ??? (0x410000)

可能意味着。也许这就是我所缺少的。但那是什么? 非常感谢任何意见和建议(不仅仅是关于最后一个问题)。

EDIT:

以下建议(twsansbury)使用 -vv 选项检查 python 模块搜索路径:

python -vv test.py

gives

# trying /home/Alexey_2/Programming/test/xyz.dll   
# trying /home/Alexey_2/Programming/test/xyzmodule.dll
# trying /home/Alexey_2/Programming/test/xyz.py
# trying /home/Alexey_2/Programming/test/xyz.pyc
...
# trying /home/Alexey_2/Soft/python2.6/lib/python2.6/site-packages/xyz.dll
# trying /home/Alexey_2/Soft/python2.6/lib/python2.6/site-packages/xyzmodule.dll
# trying /home/Alexey_2/Soft/python2.6/lib/python2.6/site-packages/xyz.py
# trying /home/Alexey_2/Soft/python2.6/lib/python2.6/site-packages/xyz.pyc
Traceback (most recent call last):
  File "test.py", line 1, in <module>
    import xyz
ImportError: No module named xyz

第一个目录是我调用 python 来运行脚本的目录。主要结论是,cygwin python 正在寻找具有标准 Windows 扩展名 - dll(以及其他 3 种类型)的模块(库),而不是我最初期望从 cygwin 的 Linux 模拟风格中获得的 .so。因此,将前面的 Makefile 中的以下行更改为:

all: xyz.dll

xyz.o: xyz.cpp 
        ${CPP} ${FLAGS} ${I} -c xyz.cpp

xyz.dll: xyz.o 
    ${CPP} ${FLAGS} -shared -o xyz.dll xyz.o ${L}

clean:
    rm *.o
    rm xyz.dll

生成xyz.dll,可以成功加载:

python -vv test.py

现在给出:

Python 2.6.8 (unknown, Mar 21 2013, 17:13:04)
[GCC 4.5.3] on cygwin
Type "help", "copyright", "credits" or "license" for more information.
# trying /home/Alexey_2/Programming/test/xyz.dll
dlopen("/home/Alexey_2/Programming/test/xyz.dll", 2);
import xyz # dynamically loaded from /home/Alexey_2/Programming/test/xyz.dll

ThatImportError通常与 Boost.Python 无关。相反,它通常表明xyz不在Python 模块搜索路径 http://docs.python.org/2/tutorial/modules.html#the-module-search-path.

要调试此问题,请考虑运行 python-vv http://docs.python.org/3.1/using/cmdline.html#cmdoption-trace-v论据。这将导致 python 为尝试导入时检查的每个文件打印一条消息xyz。无论如何,构建过程看起来都是正确的,因此问题可能是由于文件扩展名或模块不在搜索路径中造成的。

我不确定 Cygwin 将如何与 Python 的运行时加载行为交互。然而:

  • On Windows http://docs.python.org/2/extending/windows.html#a-cookbook-approach,python 扩展有一个.pyd扩大。
  • 在 Linux 上,python 扩展有一个.so扩大。

此外,请验证xyz库位于以下位置之一:

  • 包含的目录test.py脚本(或当前目录)。
  • 中列出的目录PYTHONPATH http://docs.python.org/2/using/cmdline.html#envvar-PYTHONPATH环境变量。
  • 依赖于安装的默认目录。

如果未解析的库显示在ldd导致错误,它通常会表现为ImportError并显示一条消息,指示未定义的引用。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

使用 boost.python 在 cygwin 中手动构建 python 扩展 的相关文章

随机推荐