Centos7 安装Python3和scrapy(正确安装姿势)

2023-10-29

苦逼的前夜

昨晚很辛苦,搞到晚上快两点,最后还是没有把python3下的scrapy框架安装起来,后面还把yum这玩意给弄坏了,一直找不到命令。今天早上又自己弄了快一上午,又求助@函兮,弄了快一个中午,最后无奈还是没有弄好yum跟python这玩意,最后还是放弃治疗了。真的是什么招,什么损招都用完了,最后也没折了,直接报告老大去,然后把阿里云的centos7实例重新磁盘回滚了一下。

正确的安装姿势

这个不多废话,如果你是直接接手过来一个centos7的实例镜像,当然包括腾讯云或者阿里云上面的,只要按照下面的步骤进行安装,没有装不上,只有装得舒服,不到半小时,完完整整的装好Python3,装好Python3下的scrapy框架

步骤

前言:不用改掉系统python2.7 ,原来是python2.7,我们还进行python2.7的保留

1.编译前准备其他库的安装(使用sudo命令)

(1)

[root@hadron ~]# yum -y groupinstall "Development tools" 

(2)

[root@hadron ~]# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

(2)这里有点长,一定要复制完整了再进行回车,中途可能会报错,提示会有:–skip-broken
可以使用命令:

[root@hadron ~]# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel --skip-broken

2 . 到这里我们就可以进行python3.5的源码下载了

(1)使用wget命令:

[root@hadron ~]#  wget https://www.python.org/ftp/python/3.5.5/Python-3.5.5.tgz

(2)然后解压缩,进入根目录

[root@hadron ~]# tar -zxvf Python-3.5.5.tgz 
[root@hadron ~]# cd Python-3.5.5/

(3)python3.5进行编译安装

[root@hadron ~]#  ./configure --prefix=/usr/local/python3
[root@hadron ~]#  make && make install

(4)创建Python3,pip3的软链接

[root@hadron ~]#  ln -s /usr/local/python3/bin/python3 /usr/bin/python3
[root@hadron ~]#  ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

(5)验证Python3 和pip3 是否安装成功

[root@hadron ~]# python
Python 2.7.5 (default, Nov  6 2016, 00:28:07) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> quit()
[root@hadron ~]# python3
Python 3.5.5 (default, Feb 27 2018, 09:28:49) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> quit()
[root@hadron ~]# 

[root@hadron ~]#  pip3 --version
pip 9.0.1 from /usr/local/python3/lib/python3.5/site-packages (python 3.5)

这里我们可以看到默认的python还是系统自带的python2.7,而python3就是我们解压的python3.5.5了,pip3 也是python3.5下的pip了。


上面我们已经把python3跟pip3安装好了,接下来,我们进行Python3下的Scrapy框架安装

3 安装Scrapy爬虫框架

(1)安装Scrapy

[root@hadron ~]# pip3 install scrapy
Collecting scrapy
  Downloading Scrapy-1.5.0-py2.py3-none-any.whl (251kB)
    100% |████████████████████████████████| 256kB 1.1MB/s 
Requirement already satisfied: lxml in /usr/local/python3/lib/python3.5/site-packages (from scrapy)
Collecting PyDispatcher>=2.0.5 (from scrapy)
  Downloading PyDispatcher-2.0.5.tar.gz
....
....
Collecting pycparser (from cffi>=1.7; platform_python_implementation != "PyPy"->cryptography>=2.1.4->pyOpenSSL->scrapy)
  Downloading pycparser-2.18.tar.gz (245kB)
    100% |████████████████████████████████| 256kB 339kB/s 
Installing collected packages: PyDispatcher, zope.interface, constantly, incremental, six, attrs, Automat, hyperlink, Twisted, cssselect, w3lib, parsel, asn1crypto, pycparser, cffi, cryptography, pyOpenSSL, pyasn1, pyasn1-modules, service-identity, queuelib, scrapy
  Running setup.py install for PyDispatcher ... done
  Running setup.py install for Twisted ... done
  Running setup.py install for pycparser ... done
Successfully installed Automat-0.6.0 PyDispatcher-2.0.5 Twisted-17.9.0 asn1crypto-0.24.0 attrs-17.4.0 cffi-1.11.4 constantly-15.1.0 cryptography-2.1.4 cssselect-1.0.3 hyperlink-18.0.0 incremental-17.5.0 parsel-1.4.0 pyOpenSSL-17.5.0 pyasn1-0.4.2 pyasn1-modules-0.2.1 pycparser-2.18 queuelib-1.4.2 scrapy-1.5.0 service-identity-17.0.0 six-1.11.0 w3lib-1.19.0 zope.interface-4.4.3
[root@hadron ~]#

在这里进行安装的时候,我们可能会出现一串的报红,一串的报红。

很蛋疼的报红信息

出现报红不要紧,我们多试几次pip3 install scrapy 就行了

(2)网络好的话,试下不超过5次,应该就会出现下面安装成功的界面

成功安装Scrapy的界面

(3)上面的图也是验证Scrapy框架安装成功的界面,因为我们进行了import scrapy没有进行报错。

(4)创建Scrapy软链接

[root@hadron ~]# ln -s /usr/local/python3/bin/scrapy  /usr/bin/scrapy

(5)验证Scrapy软链接

[root@hadron ~]#  scrapy -v
Scrapy 1.5.0 - no active project

上面就是整个Python3下Scrapy框架的安装步骤过程,基本上没有bug。上面就是我对这不到半小时的安装比对昨天一个晚上的安装的心得体会,搜到好的文章,然后再继续你的下一步。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Centos7 安装Python3和scrapy(正确安装姿势) 的相关文章

  • 如何从python导入路径中删除当前目录

    我想使用 Mercurial 存储库hg本身 也就是说 我克隆了 Mercurialhttps www mercurial scm org repo hg https www mercurial scm org repo hg并想运行一些h
  • 尝试编译 git 但在 linux 中找不到 libcurl

    我想编译支持 http https 的 git 我有 ls usr include curl curlbuild h curl h curlrules h curlver h easy h mprintf h multi h stdchea
  • 终止 ssh 会话会终止正在运行的进程

    我正在使用 ssh 连接到我的 ubuntu 服务器 我使用命令启动编码程序 然而 似乎当我的 ssh 会话关闭时 因为我在进入睡眠状态的笔记本电脑上启动它 有没有办法避免这种情况 当然 阻止我的笔记本电脑休眠并不是永久的解决方案 运行你的
  • 在Linux中执行jar文件[关闭]

    Closed 这个问题是无关 help closed questions 目前不接受答案 我创建了一个可执行的 Java jar 文件 也就是说 我将 java 程序正确打包到 jar 文件中 包括 META INF MANIFEST 文件
  • 我可以告诉 Linux 不要交换特定进程的内存吗?

    有没有办法告诉 Linux 它不应该将特定进程的内存交换到磁盘 它是一个 Java 应用程序 所以理想情况下我希望有一种方法可以从命令行执行此操作 我知道您可以将全局交换性设置为 0 但这明智吗 您可以通过以下方式执行此操作姆洛克尔 2 h
  • Git - 致命:无法获取当前工作目录?

    When I git clone从回购协议中 我得到 fatal Could not get current working directory No such file or directory 我该怎么办 我检查了服务器并发现 git文
  • 带有接收器的 boost_log 示例无法编译

    我正在考虑将 boost log 用于一个项目 一开始我就遇到了以下问题 我在以下位置找到的升压日志示例 http www boost org doc libs 1 54 0 libs log example doc tutorial fi
  • 使用inotify监控文件

    我正在使用 inotify 来监视本地文件 例如使用 root temp inotify add watch fd root temp mask 删除该文件后 程序将被阻止read fd buf bufSize 功能 即使我创建一个新的 r
  • 如何让 VSCode 在当前工作区中打开?

    我在 Linux 上使用 VSCode 我有多个 Linux 工作区 当我在新工作区中的 VSCode 中打开新文件时 它会在原始工作区中的 VSCode 中打开一个新选项卡 而不是在当前工作区中打开 VSCode 的新实例 这确实是令人讨
  • C:运行系统命令并获取输出? [复制]

    这个问题在这里已经有答案了 我想在 Linux 中运行一个命令并获取其输出内容的返回文本 但我do not想要将此文本打印到屏幕上 有没有比制作临时文件更优雅的方法 你想要 popen http linux die net man 3 po
  • 主动\被动模式下 FTP 服务器的适当 iptables 规则

    我在 CentOS6 上安装了 ProFTPD 服务器 如果我使 ftp 本地主机 我可以正确连接 但如果我从外部尝试 我会收到消息 没有到主机的路由 但有一条到主机的路由 因为我是通过 SSH 连接的 我尝试添加以下 iptable 规则
  • Java 内存错误:无法创建新的本机线程

    运行 java 服务器时 我在 UNIX 服务器上收到此错误 Exception in thread Thread 0 java lang OutOfMemoryError unable to create new native threa
  • copy_from_user() 错误:目标大小太小

    我正在为内核模块编写 ioctl 处理程序 我想从用户空间复制数据 当我编译禁用优化的代码时 O0 gflags 编译器返回以下错误 include linux thread info h 136 17 error call to bad
  • 未找到 DEADLINE 调度策略

    我想在 C 中实现 DEADLINE 调度策略 我知道该功能已实现Linux 3 14 10我正在使用 Ubuntu 14 04Linux 3 17 0 031700 lowlatency 201410060605 SMP PREEMPT这
  • 当下一条(跳过)指令是变量定义时,Shellcode 中的 JMP 意外行为

    Purpose 我试图利用 x86 64 中的 RIP 模式 尽管程序集本身按预期执行 但 shellcode 却没有 问题 简而言之 我尝试过的是这样的 jmp l1 str1 db some string l1 other code l
  • 如何从内部找到C++ Linux程序的完整路径?

    我有这个要求 我需要从内部找到 C 程序的完整路径 对于Windows 我有以下解决方案 argv 0 可能包含也可能不包含完整路径 但我需要确定 TCHAR drive MAX DRIVE dir MAX DIR base MAX FNA
  • Powershell从Linux客户端连接到Windows远程

    我正在尝试从我的 Linux 工作站远程连接到 Windows 计算机 我在 Arch Linux 工作站上安装了 powershell 目前正在尝试连接到主机 在主机上 Enable PSRemoting 然后允许所有主机Set Item
  • 是否有一种异步信号安全的方式来读取 Linux 上的目录列表?

    SUSv4 http pubs opengroup org onlinepubs 9699919799 functions V2 chap02 html tag 15 04 03 03未在其异步信号安全函数列表中列出 opendir rea
  • 导入错误:没有名为“tensorrt”的模块

    我使用 Debian 安装在我的虚拟机上安装了 TensorRT 如果我运行 dpkg l grep TensorRT 我会得到预期的结果 ii graphsurgeon tf 5 0 2 1 cuda10 0 amd64 GraphSur
  • 将任何当前目录“./”添加到Linux中的搜索路径[关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 如何将任何当前目录 添加到 Linux 中可执行文件的搜索路径中 我知道这是一个旧答案 但如果其他人像我一样通过谷歌偶然发现这个问题 这里

随机推荐

  • java Collections工具类使用总结(疯狂java讲义读书笔记)

    1 排序操作 2 查找 替换操作 3 同步控制 Collection c Collections synchronizedCollection new ArrayList List list Collections synchronized
  • 若依框架学习(五)用户的增删改查

    点击部门树状图来进行条件查询 前端找到对应的页面 按照路由路径 里面有个handleNodeClick 点击事件 点进去看看 发现是复用了getList 方法 说明后台也是复用相应的方法 获取用户列表 PreAuthorize在调用方法前先
  • <链表>找到链表中的中心点

    找到链表中的中心点 奇数 m 2 n mid n 1 思想是确定当前共有多少个节点 当节点个数多时不能采用遍历直到指针域指向空的方法o n 快慢指针 两个指针从起点开始移动 A走两个节点 B走1个节点 当A走到终点时B走到中点 循环退出条件
  • Linux系统下远程连接mysql出错-2003 -Can't connect to MySQL server on 'ip' (10060 "Unknown error")

    第一步 首先检查mysql配置文件里面是否设置了默认连接地址 默认端口号 bind address 0 0 0 0 port 3306 然后发现并没有 第二步 输入密码进入mysql数据库 mysql u root p 设置主机权限 并设置
  • 泰拉瑞亚显示已连接服务器失败,打开泰拉瑞亚提示网络异常或者连接不上

    泰拉瑞亚这款游戏相信大家都不陌生吧 最近小编经常收到打开泰拉瑞亚提示网络异常或者连接不上问题的反馈 接下来小编就为大家提供几种常见的处理方案 泰拉瑞亚游戏简介 泰拉瑞亚 Terraria 人气像素游戏 登陆 Android 平台 它被玩家戏
  • PDF复制文字到Word出现空格、换行等格式调整

    文章目录 WORD内批量替换 QQ文字识别 推荐 PDF复制到word后出现大量空格 换行 难以一个个调整 下面结束两种批量处理的方法 建议将PDF复制的内容在新word文档中调整好后再粘贴到需要的文档中 不然一不小心就把之前的内容全部替换
  • Zookeeper 客户端之基本操作指令

    ZooKeeper命令行工具类似于Linux的shell环境 不过功能肯定不及shell啦 但是使用它我们可以简单的对ZooKeeper进行访问 数据创建 数据修改等操作 命令行工具的一些简单操作如下 zkCli sh客户端连接命令 ls
  • Spring5的总体架构图

    Spring5的主体架构图 主要是四大部分 Web Data Access Integration Core Container 中间层 具体见下图 转载于 https www cnblogs com love jk p overall h
  • @TableField介绍和使用

    1 TableField exist false 注解加载bean属性上 表示当前属性不是数据库的字段 但在项目中必须使用 这样在新增等使用bean的时候 mybatis plus就会忽略这个 不会报错 否则会报一个如下的异常 Error
  • okhttp3.0忽略https证书

    okhttp的基本使用网上很多 可以自己找到很多例子 最近有个项目需要https 进行验证发送请求回来error 提示 host not vertify 琢磨了半天 最后是需要将证书认证忽略 那就开始构建一个SSL来信任所有的证书 忽略证书
  • Swin-Transformer-Semantic-Segmentation训练自己的数据集

    论文地址 源码 1 按照作者的步骤安装好所需的环境 2 安装可以运行一下demo看环境是否搭建成功 3 准备好自己的数据集 我用的是VOC数据集 4 修改confis base datasets pascal voc12 py 5 修改mm
  • [Spring Boot]12 ElasticSearch实现分词搜索功能

    目录 一 前言 二 搜索功能的需求 三 需求开发 1 服务器安装ElasticSearch和IK分词器 2 需求开发 1 pom xml引入jar包 2 yml增加配置 3 配置类ElasticsearchConfig 4 工具类Elast
  • C语言详解系列——循环语句详解(3)do while语句的语法结构

    文章目录 do while语句 do while语句中的break和continue break continue do while语句与while语句的不同点 简单练习 do while语句 之前的学习中我们已经了解到了while 语句和
  • 算法:单调队列

    队列 先进先出 题型 滑动窗口 求滑动窗口里的最大 或最小 值 例1 P1886 滑动窗口 模板 单调队列 求滑动窗口里的最大小值 include
  • csdn添加可跳转的文章目录连接

    一篇文章最好只有一个目录 toc 这是文章标题 toc 自定义标题 自定义标题这样写
  • CentOs安装Redis

    一提到Redis 相信大家都不会感到陌生吧 今天就让我们在阿里云上安装一下Redis 为以后使用它做个准备 一 下载 1 下载页面 https redis io 2 下载 wget http download redis io releas
  • c++构造函数

    建立一个对象时 通常最需要立即做的工作是初始化对象 如对数据成员赋初值 构造函数就是用来用来在创建对象时初始化对象 为对象数据成员赋初始值 类的数据成员是不能在类定义时初始化的 原因是类定义并没有产生一个实体 而是给出了一个数据类型 不占用
  • RBF应用实例

    RBF网络能够逼近任意的非线性函数 可以处理系统内的难以解析的规律性 具有良好的泛化能力 并有很快的学习收敛速度 已成功应用于非线性函数逼近 时间序列分析 数据分类 模式识别 信息处理 图像处理 系统建模 控制和故障诊断等 简单说明一下为什
  • misc和crtpto一些刷题(nssctf)

    misc Spectre 将音频放进audacity 一下出 utflag sp3tr0gr4m0ph0n3 crypto SWPUCTF 2022 新生赛 什锦 一眼猪圈密码 找个在线解密解一下 http www hiencode com
  • Centos7 安装Python3和scrapy(正确安装姿势)

    苦逼的前夜 昨晚很辛苦 搞到晚上快两点 最后还是没有把python3下的scrapy框架安装起来 后面还把yum这玩意给弄坏了 一直找不到命令 今天早上又自己弄了快一上午 又求助 函兮 弄了快一个中午 最后无奈还是没有弄好yum跟pytho