程序员经验分享-hwhale

安装 scrapy 清理失败

2024-03-06

我一直在努力得到Scrapy使用 pip 安装，以便抓取 NBA 赛季的赛程表和得分。在过去的 6 个小时里，我一直在努力尝试安装它。我已经逐字按照设置说明进行操作，但仍然无法使其正常工作。任何帮助将不胜感激。终端窗口输出如下。非常感谢！顺便说一句，使用 mac osx。

Requirement already satisfied (use --upgrade to upgrade): Scrapy in /Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/Scrapy-0.22.2-py2.7.egg
Downloading/unpacking Twisted>=10.0.0 (from Scrapy)
  Downloading Twisted-13.2.0.tar.bz2 (2.7MB): 2.7MB downloaded
  Running setup.py (path:/private/var/folders/22/642hcs8n6sx5xg59phv8rw2c0000gn/T/pip_build_andrew/Twisted/setup.py) egg_info for package Twisted

Downloading/unpacking w3lib>=1.2 (from Scrapy)
  Downloading w3lib-1.5.tar.gz
  Running setup.py (path:/private/var/folders/22/642hcs8n6sx5xg59phv8rw2c0000gn/T/pip_build_andrew/w3lib/setup.py) egg_info for package w3lib

Downloading/unpacking queuelib (from Scrapy)
  Downloading queuelib-1.1.1.tar.gz
  Running setup.py (path:/private/var/folders/22/642hcs8n6sx5xg59phv8rw2c0000gn/T/pip_build_andrew/queuelib/setup.py) egg_info for package queuelib

Downloading/unpacking lxml (from Scrapy)
  Downloading lxml-3.3.5.tar.gz (3.5MB): 3.5MB downloaded
  Running setup.py (path:/private/var/folders/22/642hcs8n6sx5xg59phv8rw2c0000gn/T/pip_build_andrew/lxml/setup.py) egg_info for package lxml
    /Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/distutils/dist.py:267: UserWarning: Unknown distribution option: 'bugtrack_url'
      warnings.warn(msg)
    Building lxml version 3.3.5.
    Building without Cython.
    Using build configuration of libxslt 1.1.28

    warning: no previously-included files found matching '*.py'
Requirement already satisfied (use --upgrade to upgrade): pyOpenSSL in /Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/pyOpenSSL-0.14-py2.7.egg (from Scrapy)
Requirement already satisfied (use --upgrade to upgrade): cssselect>=0.9 in /Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/cssselect-0.9.1-py2.7.egg (from Scrapy)
Requirement already satisfied (use --upgrade to upgrade): six>=1.5.2 in /Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/six-1.6.1-py2.7.egg (from Scrapy)
Downloading/unpacking zope.interface>=3.6.0 (from Twisted>=10.0.0->Scrapy)
  Downloading zope.interface-4.1.1.tar.gz (864kB): 864kB downloaded
  Running setup.py (path:/private/var/folders/22/642hcs8n6sx5xg59phv8rw2c0000gn/T/pip_build_andrew/zope.interface/setup.py) egg_info for package zope.interface

    warning: no previously-included files matching '*.dll' found anywhere in distribution
    warning: no previously-included files matching '*.pyc' found anywhere in distribution
    warning: no previously-included files matching '*.pyo' found anywhere in distribution
    warning: no previously-included files matching '*.so' found anywhere in distribution
Downloading/unpacking cryptography>=0.2.1 (from pyOpenSSL->Scrapy)
  Downloading cryptography-0.3.tar.gz (208kB): 208kB downloaded
  Running setup.py (path:/private/var/folders/22/642hcs8n6sx5xg59phv8rw2c0000gn/T/pip_build_andrew/cryptography/setup.py) egg_info for package cryptography
    OS/X: confusion between 'cc' versus 'gcc' (see issue 123)
    will not use '__thread' in the C code
    c/_cffi_backend.c:14:10: fatal error: 'ffi.h' file not found
    #include <ffi.h>
             ^
    1 error generated.
    Traceback (most recent call last):
      File "<string>", line 17, in <module>
      File "/private/var/folders/22/642hcs8n6sx5xg59phv8rw2c0000gn/T/pip_build_andrew/cryptography/setup.py", line 156, in <module>
        "test": PyTest,
      File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/distutils/core.py", line 112, in setup
        _setup_distribution = dist = klass(attrs)
      File "build/bdist.macosx-10.6-intel/egg/setuptools/dist.py", line 239, in __init__
      File "build/bdist.macosx-10.6-intel/egg/setuptools/dist.py", line 264, in fetch_build_eggs
      File "build/bdist.macosx-10.6-intel/egg/pkg_resources.py", line 620, in resolve
      File "build/bdist.macosx-10.6-intel/egg/pkg_resources.py", line 858, in best_match
      File "build/bdist.macosx-10.6-intel/egg/pkg_resources.py", line 870, in obtain
      File "build/bdist.macosx-10.6-intel/egg/setuptools/dist.py", line 314, in fetch_build_egg
      File "build/bdist.macosx-10.6-intel/egg/setuptools/command/easy_install.py", line 593, in easy_install
      File "build/bdist.macosx-10.6-intel/egg/setuptools/command/easy_install.py", line 623, in install_item
      File "build/bdist.macosx-10.6-intel/egg/setuptools/command/easy_install.py", line 811, in install_eggs
      File "build/bdist.macosx-10.6-intel/egg/setuptools/command/easy_install.py", line 1017, in build_and_install
      File "build/bdist.macosx-10.6-intel/egg/setuptools/command/easy_install.py", line 1005, in run_setup
    distutils.errors.DistutilsError: Setup script exited with error: command '/usr/bin/clang' failed with exit status 1
    Complete output from command python setup.py egg_info:
    OS/X: confusion between 'cc' versus 'gcc' (see issue 123)

will not use '__thread' in the C code

c/_cffi_backend.c:14:10: fatal error: 'ffi.h' file not found

#include <ffi.h>

         ^

1 error generated.

Traceback (most recent call last):

  File "<string>", line 17, in <module>

  File "/private/var/folders/22/642hcs8n6sx5xg59phv8rw2c0000gn/T/pip_build_andrew/cryptography/setup.py", line 156, in <module>

    "test": PyTest,

  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/distutils/core.py", line 112, in setup

    _setup_distribution = dist = klass(attrs)

  File "build/bdist.macosx-10.6-intel/egg/setuptools/dist.py", line 239, in __init__

  File "build/bdist.macosx-10.6-intel/egg/setuptools/dist.py", line 264, in fetch_build_eggs

  File "build/bdist.macosx-10.6-intel/egg/pkg_resources.py", line 620, in resolve

  File "build/bdist.macosx-10.6-intel/egg/pkg_resources.py", line 858, in best_match

  File "build/bdist.macosx-10.6-intel/egg/pkg_resources.py", line 870, in obtain

  File "build/bdist.macosx-10.6-intel/egg/setuptools/dist.py", line 314, in fetch_build_egg

  File "build/bdist.macosx-10.6-intel/egg/setuptools/command/easy_install.py", line 593, in easy_install

  File "build/bdist.macosx-10.6-intel/egg/setuptools/command/easy_install.py", line 623, in install_item

  File "build/bdist.macosx-10.6-intel/egg/setuptools/command/easy_install.py", line 811, in install_eggs

  File "build/bdist.macosx-10.6-intel/egg/setuptools/command/easy_install.py", line 1017, in build_and_install

  File "build/bdist.macosx-10.6-intel/egg/setuptools/command/easy_install.py", line 1005, in run_setup

distutils.errors.DistutilsError: Setup script exited with error: command '/usr/bin/clang' failed with exit status 1

----------------------------------------
Cleaning up...
Command python setup.py egg_info failed with error code 1 in /private/var/folders/22/642hcs8n6sx5xg59phv8rw2c0000gn/T/pip_build_andrew/cryptography
Storing debug log for failure in /Users/andrew/.pip/pip.log

按着这些次序：

首先安装密码学：

brew install pkg-config libffi
export CFLAGS=-Qunused-arguments
export CPPFLAGS=-Qunused-arguments
export PKG_CONFIG_PATH=/usr/local/Cellar/libffi/3.0.13/lib/pkgconfig/
pip install cryptography

然后使用以下命令安装 lxml：

xcode-select --install

然后使用以下命令安装 scrapy：

pip install Scrapy

or 

easy_install Scrapy

Sources:

  1. 在 OS X 上使用 pip 安装 bcrypt 时出错：找不到 ffi.h（已安装 libffi） https://stackoverflow.com/questions/22875270/error-installing-bcrypt-with-pip-on-os-x-cant-find-ffi-h-libffi-is-installed

  2. 无法在 Mac os x 10.9 上安装 Lxml https://stackoverflow.com/questions/19548011/cannot-install-lxml-on-mac-os-x-10-9

  3. http://doc.scrapy.org/en/latest/intro/install.html#requirements http://doc.scrapy.org/en/latest/intro/install.html#requirements
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

python

MacOS

python27

installation

Scrapy

安装 scrapy 清理失败 的相关文章

随机推荐

  • 使用 BeautifulSoup 和 Python 抓取多个页面

    我的代码成功地从 中抓取了 tralign center 标签 并将 td 元素写入文本文件 但是 上面的网站上有多个页面 我希望能够在其中进行抓取 例如 对于上面的 url 当我单击 第 2 页 的链接时 整个 url 不会更改 我查看了

  • 在 Objective C 中将 RTF 文件转换为 HTML

    如何将 RTF 文件转换为 HTML 格式 我有一个文本编辑器 可以将文件保存为 rtf 格式 但我需要将内容放在我的服务器上 为此 我需要将 rtf 文件转换为 html 文件 我无法找到有关 Objective C 的任何帮助 谢谢 我

  • 如何从 voiceXML 调用 Web 服务？

    我正在构建一个非常简单的 voiceXML 应用程序 以允许人们进行录音 但首先 我需要通过电话号码和 或 PIN 码对呼叫者进行身份验证 我可以从 voiceXML 调用 Web 服务吗 看起来我想使用 voiceXML 数据 元素来调用

  • 为什么call指令的操作码表示为FF15？

    我仍在学习汇编并尝试将指令与其操作码连接起来 阅读 pdf 在https code google com p corkami wiki PE101 show content https code google com p corkami w

  • 如何将 Qt5 和 Qt Creator 2.6.1 与 VS 2012 的编译器一起使用？

    官方下载 http qt project org downloads现在仅包含 VS 2010 的 Qt 库 5 0 0 我在 VS 2012 Express 中尝试了它们 但收到一条错误消息 错误 LNK2038 检测到 MSC VER

  • 有没有办法在所有 jquery 脚本运行后查看网页的源代码？

    我目前使用 Chrome Firefox 进行 Web 开发 有没有一个插件 或者我只是另一种方式 您可以在所有 jQuery 插件运行后查看 HTML 源代码 我只是想看看 jQuery 修改了什么以及如何修改 HTML Firebug

  • 带有 gcc stdlib 的 icpc C++11

    我正在使用 icpc 非可选 并且使用 std c 0x 进行编译 因此我可以使用ambas 然而 当我这样做时 它会使用 gcc stdlib 创建 havok 其中一个支持另一个不支持的功能 我尝试过定义 GXX EXPERIMENTA

  • 使用指定存储库中的 Git 分支动态填充 Jenkins Choice 参数

    我有一个参数化的 Jenkins 作业 它需要输入特定 Git 存储库中的特定 Git 分支 目前该参数是一个字符串参数 有没有办法让这个参数成为选择参数并用Git分支动态填充下拉列表 我不想要求有人在每次创建新分支时手动配置下拉列表来维护

  • php-fpm 进程监控/分析

    我最近遇到了 php fpm 进程使用 如活动进程数量 的问题 达到了最大可用进程的峰值 并停止执行其他脚本 直到有问题的进程完成 更详细一点 我当前的 php fpm 设置是 pm static pm max children 100 我

  • 在 Java 中以编程方式清除控制台

    我创建了一个示例 Java 应用程序 我想清除窗口选项 即 Register Login Clear 如果用户按 3 我需要以编程方式清除所有选项 就像是Console clear 有什么办法可以用 Java 做到这一点吗 您将需要输出一堆

  • 如何将较小的位图复制到较大的位图？

    希望这应该是一个简单的问题 我正在尝试将一系列小位图复制到较大的位图中 将它们并排排列 像素中没有任何间隙或重叠 例如 如果我有 3 个正方形位图 我想将它们复制到一个细长的矩形中 我知道如何做相反的事情 即从较大的位图创建一个小位图 但不

  • 与应用内购买的“无法连接到 iTunes”相关的供应商 ID 错误消息是什么？

    这是一条神秘的错误消息 LaunchServices 无法获取供应商ID 我猜这是某个苹果服务器现在宕机了 很快就会恢复在线 背景 我的 iOS 应用程序之前没有批准的应用内购买 因此这仍然是必须提交新版本应用程序以及新的应用内购买产品的阶

  • Angular 5 无法找到“object”类型的不同支持对象“[object Object]”。 NgFor 仅支持绑定到 Iterables，例如数组

    我正在尝试从我的后端 api 返回产品并将其显示在我的前端页面上 当我执行 ngFor 循环时 它给了我一个错误 这是我的代码 我的后端API data 0 name perferendis totalPrice 323 76 rating

  • Rails 设计：after_confirmation

    有没有办法创建一个after confirmation do something 目标是在用户确认使用 Devise 后发送电子邮件 confirmable 我正在使用 Devise 3 1 2 它有一个占位符方法after confirm

  • 如何使用stdext::hash_map？

    我想看一个如何正确重写 stdext hash compare 的简单示例 以便为我自己的用户定义类型定义新的哈希函数和比较运算符 我正在使用 Visual C 2008 这就是你可以做到的 class MyClass Hasher con

  • Vue Axios 动态 URL

    我想在 vue js 应用程序中动态创建 axios post 操作的 URL 路径 这是动作 editProduct function dispatch commit payload axios put http localhost 80

  • 如何删除单个链表中的循环？

    我不确定在不使用 O N 内存和标志的情况下如何找到循环的开始 找到循环内部的一个节点 具体参见1800 INFORMATION的回答 我们称这个节点为C 通过将指针从 C 前进直到再次到达 C 来求出循环的长度 循环的长度是它所采取的步数

  • 如何在方案中编写程序来查找数字列表的因数

    这是单个整数的代码 它如何扩展到函数列表 define factors n define factors d cond gt d n list modulo n d 0 cons d factors d 1 else factors d 1

  • Java日历的setMonth方法工作错误吗？

    我有如下的小代码 我预计结果应该是7 但它打印了6 如果我取消注释该行tmp get Calendar MONTH 它运行正常 打印7 请告诉我原因 我在 MacOS 中使用 JDK 1 7 0 25 public static void

  • 安装 scrapy 清理失败

    我一直在努力得到Scrapy使用 pip 安装 以便抓取 NBA 赛季的赛程表和得分 在过去的 6 个小时里 我一直在努力尝试安装它 我已经逐字按照设置说明进行操作 但仍然无法使其正常工作 任何帮助将不胜感激 终端窗口输出如下 非常感谢 顺

热门标签