服务器上部署scrapy爬虫项目

2023-11-06

爬爬们,如果你已经开始部署项目了,那么你肯定也已经写好了完整的爬虫项目,恭喜你,你很优秀!
**今天忙了小半天的服务器部署,跟大家分享一些心得~

  1. 首先我们要有一台服务器,不好意思,这是废话,略过。。。。。
  2. 安装python

       # 下载安装包,好习惯可以自己创建文件夹/home/download/
       $ wget https://www.python.org/ftp/python/3.4.1/Python-3.4.1.tgz
       # 解压
       $ tar zxvf Python-3.4.1.tgz /us
       3进入解压后的目录,执行安装配置
       $ ./configure
       #或指定安装目录
       $ ./configure --prefix=/opt/python3
       $ make
       $ make install
       #安装后建立一个链接,这样我们可以用python3直接运行程序,和python2区别开来。
       $ ln -s /opt/python3/bin/python3 /usr/bin/python3

注意:1.在安装之前最好要安装各种依赖包

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

若已经安装python3并改软链接了,请修改/usr/bin/yum文件中的第一行python后加2.?版本号,还有一个文件需要修改叫什么我忘记了,同理

注意:2.pip3安装之前要建立pip3软连接

$ ln -s /opt/python3/bin/pip3 /usr/bin/pip3

3.安装scrapy

在这里我们先安装scrapyd避免手动安装scrapy需要的插件
pip3 install scrapyd
pip3 install scrapy

注意:若没有在第二步安装依赖环境 sqlite-devel,那么在启动scrapyd的时候会报错。
安装各种依赖包最好创建虚拟环境,

#安装
pip3 install virtualenv
#建立软连接
$ ln -s /opt/python3/bin/virtualenv /usr/bin/virtualenv
#进入项目目录创建虚拟环境
$ virtualenv venv
# 在venv/bin目录下
source activate




本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

服务器上部署scrapy爬虫项目 的相关文章

随机推荐

  • C# 清空数组Array.Clear

    using System using System Collections using System Collections Generic using UnityEngine public class ClearArrayText Mon
  • 【H5】 移动端的基本事件

    H5 移动端的基本事件 一 基础事件 1 PC端事件 onclick 鼠标点击触发 onmousedown 鼠标按下触发 onmousemove 鼠标移动触发 onmouseup 鼠标抬起触发 2 移动端触屏事件 ontouchstart
  • hcip脱产班01天

    桌面云 半条命 CS 射击类游戏 CF穿越火线 2M 4M土豪开网吧 电子游戏厅 网吧 方正主机 纯平大屁股显示器 液晶薄酷睿i7 i9 组装电脑 性价比高 奔腾4处理器央视做广告 主机箱 主板 内存 电源风扇 cpu等等物理硬件 有没有可
  • python使用PyInstaller库打包exe

    前言 python制作了一个小程序 想打包成exe怎么办 这篇博客 教你打包python制作的小程序 下载PyInstaller 首先 我们先按住电脑键盘上的window键 然后按R键 记住要同时按住喔 会弹出以下框 然后我们输入cmd 点
  • 关于quicktime

    前两天一直在做一个关于生化实验的教学视频 用premiere做的 本来拍摄的视频素材是mov格式的 这种格式的文件比较大 而且不能导入premiere的 只有转换成mpg格式的 本来的素材是640 480 但转换格式后就变成384 288
  • Swiper轮播图在Vue框架中的运用

    要在Vue中运用Swiper需要下载Swiper插件 在命令行cmd 可以cd 根目录 输入 npm install vue awesome swiper save 下载成功后 查看package json中是否存在 在mian js中全局
  • dll调用nodejs的回调函数

    nodejs使用ffi调用dll dll中有回调函数调用js中的方法 c语言中cdll h文件 extern C typedef void JsCall int index 这个就是要传入的类型结构 extern declspec dlli
  • 监控项目里的流媒体服务器,监控项目里的流媒体服务器

    监控项目里的流媒体服务器 内容精选 换一换 共享型和独享型负载均衡算法 支持以下几种调度算法 加权轮询算法 根据后端服务器的权重 按顺序依次将请求分发给不同的服务器 它用相应的权重表示服务器的处理性能 按照权重的高低以及轮询方式将请求分配给
  • QT设置ToolButton按钮的样式

    QToolButton min width 80px min height 32px QToolButton color rgb 255 255 255 min height 20 border style solid border top
  • 巴比特

    摘要 据 科创板日报 7 月 11 日报道 北京市经济和信息化局党组书记 局长姜广智在接受记者采访时表示 北京经信局将在算力供给层面提升中长期算力供给能力 加快建设海淀区北京人工智能公共算力 朝阳区北京数字经济算力中心等重点项目 尽快形成算
  • Pandas-连接合并函数merge()

    一 merge函数用途 pandas中的merge 函数类似于SQL中join的用法 可以将不同数据集依照某些字段 属性 进行合并操作 得到一个新的数据集 二 merge 函数的具体参数 用法 DataFrame1 merge DataFr
  • C++_面向对象_1

    设计一个圆形类 Circle 和一个点类 Point 计算点和圆的关系 class Circle public int x int y int radius class Point public int x int y void judge
  • SS626V100 SDK安装编译osdrv问题汇总

    文章目录 前言 1 开发环境 2 在 linux 服务器上安装交叉工具链 2 1 安装 aarch64 mix410 linux tgz 2 2 安装 cc riscv32 cfg11 musl 20211008 elf tar gz 2
  • react,umi,antd-pro的layout封装过程

    import React from react import Layout Form Icon from antd import isEqual from lodash isEqual 深度比较对象 import memoizeOne fr
  • TIOBE 8 月编程语言:C、Java 差距拉大,R 语言盛行

    编程语言社区 TIOBE 最新发布了 8 月编程语言排行榜 相比上个月 本月 TIOBE 指数整个体变化并不大 C 语言依然保持强劲地增长势头 与第二名 Java 之间差距逐月增大 从上个月相差 1 35 的份额逐步增长到 2 55 的差额
  • 数据分析学习之路——(八)分类算法介绍

    前面几篇文章都是从数据分析介绍讲到描述统计分析 其实数据分析还需要使用机器学习的相关知识用来建立不同的分析模型 最终对数据信息进行深入的分析和挖掘 在实际工作当中 我们需要对数据进行特征分析 并且从数据中获取有价值的信息 并且为数据产品的市
  • 时不我待,拥抱趋势,开源IM项目OpenIM技术简介

    坚持开源 开源的理念是基于共享 合作和透明的原则 将软件 代码等知识资源公开并允许他人使用 修改和重新分发 以促进创新和发展 以下是几个开源的优点 创新 开源可以促进创新 通过让其他人改进或扩展已有的代码或项目 不断推动技术的进步 透明 开
  • C# TCP/IP网络数据传输及实现

    C TCP IP网络数据传输及实现 一 概念简述 1 什么是OSI 和TCP IP 2 什么是套接字Socket 3 TCP 和 UDP 4 IP MAC PORT 1 IP地址 2 MAC地址 3 Port端口号 二 UDP上位机的实现
  • 静态集合类

    如HashMap LinkedList等等 如果这些容器为静态的 那么它们的生命周期与程序一致 则容器中的对象在程序结束之前将不能被释放 从而造成内存泄漏 生命周期长的对象持有短生命周期对象的引用 尽管短生命周期的对象不再使用 但是因为长生
  • 服务器上部署scrapy爬虫项目

    爬爬们 如果你已经开始部署项目了 那么你肯定也已经写好了完整的爬虫项目 恭喜你 你很优秀 今天忙了小半天的服务器部署 跟大家分享一些心得 首先我们要有一台服务器 不好意思 这是废话 略过 安装python 下载安装包 好习惯可以自己创建文件