在 Glue pythonshell 中使用 pyarrow - ModuleNotFoundError：没有名为“pyarrow.lib”的模块

创建了一个egg and whlpyarrow 文件并将其放在 s3 上，以便在 pythonshell 作业中调用它。收到这条消息：

职位代码：

import pyarrow
raise

错误，结构相同whl:

Traceback (most recent call last):
  File "/tmp/runscript.py", line 118, in <module>
    runpy.run_path(temp_file_path, run_name='__main__')
  File "/usr/local/lib/python3.6/runpy.py", line 263, in run_path
    pkg_name=pkg_name, script_name=fname)
  File "/usr/local/lib/python3.6/runpy.py", line 96, in _run_module_code
    mod_name, mod_spec, pkg_name, script_name)
  File "/usr/local/lib/python3.6/runpy.py", line 85, in _run_code
    exec(code, run_globals)
  File "/tmp/glue-python-scripts-e67xuz2j/genos.py", line 1, in <module>
  File "/glue/lib/installation/kanna-0.1-py3.6.egg/pyarrow/__init__.py", line 49, in <module>
    from pyarrow.lib import cpu_count, set_cpu_count
ModuleNotFoundError: No module named 'pyarrow.lib'

PD：在本地文件中找不到 lib.py 或 lib 文件夹。

我也遇到了同样的问题AWS Lambda并遇到了这个问题。

For Glue, AWS docs https://docs.aws.amazon.com/glue/latest/dg/console-custom-created.html?icmpid=docs_glue_studio_helppanel state only pure python libraries can be used.

对于拉姆达：

根本问题是像 pyarrow 这样的模块从 C/C++ 移植代码。当你检查pyarrow代码库时，你会发现实际上存在两个pyarrow.lib文件，但它们的文件扩展名为.pyx和.pxd。这不是纯 Python 代码，因此取决于底层 CPU 架构。

我必须手动下载 pyarrow 及其依赖项 numpy 所需版本的 .whl 文件。从http://pypi.org/project/pyarrow/，单击下载文件并搜索您的匹配版本。 cp39 表示 cpython 3.9。 x86代表CPU架构。对 Numpy 执行相同的步骤。我最终下载了这些文件：pyarrow-8.0.0-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl and numpy-1.22.4-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.

然后，您必须解压缩它们并创建一个存档，将它们放在一个名为 Python 的文件夹中。该文件夹可用于在 Lambda 中创建层。将此层附加到您的项目并导入 pyarrow 应该可以工作。

另一种解决方案是使用自定义 Docker 镜像。这对我也有用。我相信AWS docs https://docs.aws.amazon.com/lambda/latest/dg/images-create.html对该主题进行了详尽的阐述。我已经写了一个 PoC 以及我遵循的所有步骤here https://github.com/swakeert/aws_lambda_docker_container.

我跟着本指南 https://medium.com/@shimo164/lambda-layer-to-use-numpy-and-pandas-in-aws-lambda-function-8a0e040faa18用于创建 pyarrow 图层。