【Python爬虫】将爬下来的数据保存到redis数据库里面

2023-11-10

redis库中的Redis类对Hash数据类型操作的常用方法:

方法名

具体说明

hset(name, key, value)

哈希中添加一个键值对

hmset(name, mapping)

设置哈希中的多个键值对

hmget(name, keys, *args)

获取哈希中多个键值对

hget(name, key)

获取指定key的值

hgetall(name)

获取哈希中所有的键值对

hkeys(name)

获取哈希中所有的键key

hvals(name)

获取哈希中所有的值value

hdel(name, *keys)

删除哈希中键值对(key-value)

具体代码
# 导入redis库,我使用的版本是 3.5.3
import redis
import pandas as pd

# 读取本地文件,模拟爬下来的数据,内容太多了只取前100行
data = pd.read_csv('Apple_stock.csv', sep='\t').iloc[:100, :]

# 将数据格式转换成: [{}, {}, ..., {}]
items = data.to_dict(orient='records')

# 连接本地redis数据库,所以大部分参数使用默认的参数,
# 这里我只设置了 redis 数据库的密码和要连接的数据库编号
redis_conn = redis.Redis(password='123321', db=0)

# 遍历,将数据保存到 redis 里面
for index, item in enumerate(items):
    redis_conn.hmset('race:stock:{}'.format(index), item)
    
redis_conn.close()
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

【Python爬虫】将爬下来的数据保存到redis数据库里面 的相关文章

随机推荐

  • [QT入门篇]编程基础知识

    一 坐标体系 在 Qt 中窗口的显示是需要指定位置的 这个位置是通过坐标来确定的 所有坐标的选取都是基于坐标原点来确定的 Qt的坐标原点在窗口的左上角 在一个 Qt 窗口中一般都有很多子窗口内嵌到这个父窗口中 其中每个窗口都有自己的坐标原点
  • Python-Pytorch框架-实现AI自动瞄准(下)

    OpenCV与Ptorch框架搭建一个利用目标骨骼关键点检测实现AI自动瞄准的娱乐项目 该项目仅供学习OpenCV Ptorch框架 游戏自动化等参考 该项目思路大致分为如下步骤 利用Pywin32以及OpenCV获取游戏窗口图像 数据集获
  • The DispatcherServlet configuration needs to include a HandlerAdapter that supports this handler

    今天使用Spring mvc 尝试文件的上传下载 URL 访问的时候 报如下错误 Type Exception Report Message No adapter for handler com cbss FileUploadControl
  • 【docker】一、入门(kali linux下安装与命令)

    目录 1 什么是docker 2 docker中三个概念 仓库 镜像 容器的理解 3 安装 4 kali命令集 5 docker info有一个小警告 WARNING No swap limit support 6 docker命令集 7
  • 在centos7.6编译kurento

    一 前期准备 1 1 升级boost库 我升级的版本1 65 0 解决后面编译找不到宏定义错误 boost库需要手动编译 网上一大坨 1 2 安装按各种依赖库 通过yum安装即可 libevent libevent devel gettex
  • 【C语言】初阶测试 (带讲解)

    目录 选择题 1 下列程序执行后 输出的结果为 2 以下程序的输出结果是 3 下面的代码段中 执行之后 i 和 j 的值是什么 4 以下程序的k最终值是 5 以下程序的最终的输出结果为 6 下列描述中正确的是 7 C 语言规定 在一个源程序
  • Java经典面试题详解:nextclouddocker部署

    kafka面试基础 17 1 Kafka的用途有哪些 使用场景如何 2 Kafka中的ISR AR又代表什么 ISR的伸缩又指什么 3 Kafka中的HW LEO LSO LW等分别代表什么 4 Kafka中是怎么体现消息顺序性的 5 Ka
  • 什么是lambda函数?使用lambda函数有什么好处?

    一 什么是lambda函数 Python支持一种有趣的语法 它允许你快速定义单行的最小函数 这些叫做lambda的函数是从Lisp中借用来的 可以被用在任何需要函数的地方 lambda 函数是一个可以接收任意多个参数 包括可选参数 并且返回
  • 使用C/C++编程控制LEGO EV3

    环境搭建 1 安装Eclipse 选择Eclipse IDE for C C Developers 网址 http www eclipse org downloads 2 安装c4ev3 网址 https c4ev3 github io 该
  • Vue项目更改项目图标

    Vue项目更改图标 Vue新建项目后会有默认图标 如下图左上角 方法一 替换图标图片 找到public文件下的favicon ico 把自己的图标替换掉favicon ico 修改成功 方法二 更换图标路径 找到public文件 把要加的图
  • vray渲染不了 全白_救急!!! vray for sketchup 渲染出来全白 !!求解决。。。重金...

    你说的白强是不是打的VR灯光啊 如果是把VR灯光勾成不可见 另外总体看你的灯光太亮了 调低即可 追问有时候我用Vray渲染 它有一个等待的时间 但是等完了又什么都没生成 就像我刚才没使用一样 这个是为什么呢 难道是有些不合理的地方 比如我在
  • c++模板元

    模版元 主要解决递归加速 单纯的递归会反复调用 函数等待 返回 所需时间多 模版元编译的时候慢 代码会增加 把运行时间节约在编译时 template
  • 深度解析V-REP Remote API (MATLAB) 的应用

    OS Win10 x64 V REP V REP PRO EDU 3 5 0 MATLAB 2016b 下面我们来聊一聊V REP中MATLAB远程API的应用 如果你只对V REP有基本了解 对V REP的远程API不熟悉 强烈建议你先阅
  • LeetCode高频算法刷题记录10

    文章目录 1 旋转图像 中等 1 1 题目描述 1 2 解题思路 1 3 代码实现 2 组合总和 中等 2 1 题目描述 2 2 解题思路 2 3 代码实现 3 回文链表 简单 3 1 题目描述 3 2 解题思路 3 3 代码实现 4 字符
  • 基于YOLOv5的血细胞识别和计数

    VOC格式标注转为yolov5格式 原数据格式是xml文件对目标细胞注释 现在需要将这种注释转换为yolov5所需的格式 即每个图像对应一个txt文件 文件中存储该图像中全部细胞的类别和坐标 一行存储一个细胞的信息 如下图 编写脚本进行注释
  • [Unity]各种Debug方法笔记

    无论是萌新还是Dalao 遇到Bug总是难免的 拒绝反驳 所以一些好的Debug方法就显得尤为重要 这篇文章既写给自己 也给看到文章的大家一个参考 内容主 quan 要 bu 是脚本的Debug方法 ps 如有出错漏记得以我能看到的方式指出
  • COCO数据处理(二)根据自己提取的类的json文件生成对应的mask二值图并画在原图上

    文章目录 COCO数据集根据json文件生成mask二值图 文件目录 目录说明 代码 一 生成mask图 代码 二 将mask图画在原图上 效果图 COCO数据集根据json文件生成mask二值图 文件目录 目录说明 data coco a
  • java中JDBC当中请给出一个DataSource的HelloWorld例子

    马克 to win 在前面 的jdbc的Helloworld程序当中 我们用DriverManager来获取数据库连接 事实上通过这种方法获取数据库连接 是比较耗费计算机资 源的 当然了 这也是没有办法的事儿 就像我们买贵书必须花大价钱一样
  • 【Android】App开发-布局篇

    UI的开发离不开各个组件的精准布局 在我们学习了控件之后 控件篇 我们就需要对这些控件进一一排布 让它们在各个指定的位置 目录 LinearLayout线性布局 RelativeLayout布局 FrameLayout布局 TableLay
  • 【Python爬虫】将爬下来的数据保存到redis数据库里面

    redis库中的Redis类对Hash数据类型操作的常用方法 方法名 具体说明 hset name key value 哈希中添加一个键值对 hmset name mapping 设置哈希中的多个键值对 hmget name keys ar