程序员经验分享-hwhale

python爬取肯德基KFC全国门店2021-01-11

2023-11-09

python爬取肯德基KFC全国门店

改进版

之前，参考两位网友的代码，爬取全国KFC门店，发现有些许问题。在参考网友代码的基础上，进行改进，最终爬取了全国KFC门店。
思路如下：
第一步：通过KFC门网页，获取所在KFC下的城市列表。存为列表city_list=[]。
第二部：利用city_list获得的城市列表，逐个遍历，最终获得每个城市下面的KFC门店。
结果说明：
①截至2021年1月5号，KFC全国合计在608个城市中，公开设7589个店铺。
②第二部分，kfcurl=‘http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname’中，
如果用’op=keyword的话’，则搜索出来的是KFC门店中含有keyword 的结果，并不是一个城市（比如北京）下的结果。事实上，用op=cname搜索，结果有440个门店，而用op=keyword的话，只搜索到65个，

import requests,csv,time
from bs4 import BeautifulSoup

'''第一部分:KFC界面获取城市列表'''
time_start=time.time()
city_list=[]
url='http://www.kfc.com.cn/kfccda/storelist/index.aspx'
head={
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36',
}
res=requests.get(url,headers=head)
soup=BeautifulSoup(res.text,'html.parser')
city_city=soup.find_all('div',class_='city_city')
for cities in city_city:
    for city in cities.find_all('a'):
        cityName=city.text.strip('')
        with open('kfc_store_from_kfc_store_list_0105_4.csv',mode='a',newline='') as f:
            writer=csv.writer(f,delimiter=',')
            writer.writerow([cityName])
        city_list.append(cityName)
print(city_list)
print(f'合计获取{len(city_list)}个城市!!!')


'''第二部分:利用第一部分的数据,逐个遍历城市下的KFC餐厅'''
import math
totalshops=0
kfcurl='http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'
head={
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36',
}
for city in city_list:
    index=1     # index先设置成1，抓取到rowcount后再动态赋值
    data={
        'cname': city,
        'pid': '',
        'pageIndex': index,
        'pageSize': 10
    }
    res=requests.post(kfcurl,data=data,headers=head)
    json_data=res.json()
    rowcount=json_data['Table'][0]['rowcount']
    totalshops+=rowcount
    pageindex=math.ceil(rowcount/10)
    for i in range(pageindex):
        print(f'============正在获取{city}，第{i+1}页的数据============')
        data['pageIndex']=i+1
        response=requests.post(kfcurl,data=data,headers=head)
        list_data=response.json()
        for j in list_data['Table1']:
            storeName=j['storeName']
            addressDetail = j['addressDetail']
            pro=j['pro']
            provinceName=j['provinceName']
            cityName = j['cityName']
            with open('kfc_store_list_0105_4.csv',mode='a',newline='') as f:
                writer=csv.writer(f,delimiter=',')
                writer.writerow([city,storeName,addressDetail,pro,provinceName,cityName])
    print(f'============{city}的数据获取完毕！！！合计{rowcount}个店铺============')
time_end=time.time()
print(f'============程序运行完毕，用时{time_end-time_start}秒,合计{len(city_list)}个城市数据获取完毕！！！合计{totalshops}个店铺=======')

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

  1. 全新的界面设计 ，将会带来全新的写作体验；
  2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
  3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
  4. 全新的 KaTeX数学公式 语法；
  5. 增加了支持甘特图的mermaid语法1 功能；
  6. 增加了 多屏幕编辑 Markdown文章功能；
  7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
  8. 增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H2O is是液体。

210 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片: Alt

居中的图片: Alt

居中并且带尺寸的图片: Alt

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

  • 项目
    • 项目
      • 项目
  1. 项目1
  2. 项目2
  3. 项目3
  • 计划任务
  • 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目 Value
电脑 $1600
手机 $12
导管 $1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列 第二列 第三列
第一列文本居中 第二列文本居右 第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE ASCII HTML
Single backticks 'Isn't this fun?' ‘Isn’t this fun?’
Quotes "Isn't this fun?" “Isn’t this fun?”
Dashes -- is en-dash, --- is em-dash – is en-dash, — is em-dash

创建一个自定义列表

Markdown
Text-to- HTML conversion tool
Authors
John
Luke

如何创建一个注脚

一个具有注脚的文本。2

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

Mon 06 Mon 13 Mon 20 已完成 进行中 计划一 计划二 现有任务 Adding GANTT diagram functionality to mermaid
  • 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：

张三 李四 王五 你好！李四, 最近怎么样? 你最近怎么样，王五？ 我很好，谢谢! 我很好，谢谢! 李四想了很长时间, 文字太长了 不适合放在一行. 打量着王五... 很好... 王五, 你怎么样? 张三 李四 王五

这将产生一个流程图。:

链接
长方形
圆
圆角长方形
菱形
  • 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

Created with Raphaël 2.3.0 开始 我的操作 确认？ 结束 yes no
  • 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

  1. mermaid语法说明 ↩︎

  2. 注脚的解释 ↩︎

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

python

python爬取肯德基KFC全国门店2021-01-11 的相关文章

  • Pygame读取MIDI输入

    我参考了Pygame MIDI 文档 https www pygame org docs ref midi html and 这段代码 https stackoverflow com questions 62983509 pygame mi

  • 为什么我不能导入 geopandas？

    我唯一的代码行是 import geopandas 它给了我错误 OSError Could not find libspatialindex c library file 以前有人遇到过这个吗 我的脚本运行得很好 直到出现此错误 请注意

  • 在 Python 中使用 XPath 和 LXML

    我有一个 python 脚本 用于解析 XML 并将某些感兴趣的元素导出到 csv 文件中 我现在尝试更改脚本以允许根据条件过滤 XML 文件 等效的 XPath 查询将是 DC Events Confirmation contains T

  • 替换字符串列表中的 \x00 的最佳方法？

    我有一个来自已解析 PE 文件的值列表 其中包括 x00每个部分末尾的空字节 我希望能够删除 x00字符串中的字节而不删除所有字节 x 文件中的 s 我试过做 replace and re sub 但并没有取得太大成功 使用Python 2

  • 用 Python 编写一个无操作或虚拟类

    假设我有这样的代码 foo fooFactory create 由于种种原因 fooFactory create 可能无法创建实例Foo 如果可以的话我想要fooFactory create 返回一个虚拟 无操作对象 这个对象应该是完全惰性

  • 使用正则表达式解析 Snort 警报文件

    我正在尝试使用 Python 中的正则表达式从 snort 警报文件中解析出源 目标 IP 和端口 和时间戳 示例如下 03 09 14 10 43 323717 1 2008015 9 ET MALWARE User Agent Win9

  • python ttk treeview：如何选择并设置焦点在一行上？

    我有一个 ttk Treeview 小部件 其中包含一些数据行 如何设置焦点并选择 突出显示 指定项目 tree focus set 什么也没做 tree selection set 0 抱怨 尽管小部件明显填充了超过零个项目 但未找到项目

  • 唯一的图像哈希值即使 EXIF 信息更新也不会改变

    我正在寻找一种方法来为 python 和 php 中的图像创建唯一的哈希值 我考虑过对原始文件使用 md5 和 因为它们可以快速生成 但是当我更新 EXIF 信息 有时时区关闭 时 它会更改总和 并且哈希也会更改 有没有其他方法可以为这些文

  • 行为：如何从另一个文件导入步骤？

    我刚刚开始使用behave http pythonhosted org behave 一个Pythonic BDD框架 使用小黄瓜语法 http docs behat org guides 1 gherkin html 行为需要一个特征 例

  • 使用Python将图像转换为十六进制格式

    我的下面有一个jpg文件tmp folder upload path tmp resized test jpg 我一直在使用下面的代码 Method 1 with open upload path rb as image file enco

  • Python While 循环，and (&) 运算符不起作用

    我正在努力寻找最大公因数 我写了一个糟糕的 运算密集型 算法 它将较低的值减一 使用 检查它是否均匀地划分了分子和分母 如果是 则退出程序 但是 我的 while 循环没有使用 and 运算符 因此一旦分子可整除 它就会停止 即使它不是正确

  • 在 Mac 上安装 Pygame 到 Enthought 构建中

    关于在 Mac 上安装 Pygame 有许多未解答的问题 但我将在这里提出我的具体问题并希望得到答案 我在 Mac 上安装 Pygame 时遇到了难以置信的困难 我使用 Enthought 版本 EPD 7 3 2 32 位 它是我的默认框

  • 使用循环将对象添加到列表（python）

    我正在尝试使用 while 循环将对象添加到列表中 基本上这就是我想做的 class x pass choice raw input pick what you want to do while choice 0 if choice 1 E

  • 在谷歌C​​olab中使用cv2.imshow()

    我正在尝试通过输入视频来对视频进行对象检测 cap cv2 VideoCapture video3 mp4 在处理部分之后 我想使用实时对象检测来显示视频 while True ret image np cap read Expand di

  • 在pycharm中调试python代码

    这个问题类似于this https stackoverflow com questions 10240018 how to use pycharm to debug python script一 我正在尝试调试pyethapp https

  • 使用 lambda 函数更改属性值

    我可以使用 lambda 函数循环遍历类对象列表并更改属性值 对于所有对象或满足特定条件的对象 吗 class Student object def init self name age self name name self age ag

  • 是否可以强制浮点数的指数或有效数匹配另一个浮点数（Python）？

    这是我前几天试图解决的一个有趣的问题 是否可以强制一个的有效数或指数float与另一个人一样float在Python中 出现这个问题是因为我试图重新调整一些数据 以便最小值和最大值与另一个数据集匹配 然而 我重新调整后的数据略有偏差 大约小

  • 从 dask 数据框中的日期时间序列获取年份和星期？

    如果我有一个 Pandas 数据框和一个日期时间类型的列 我可以按如下方式获取年份 df year df date dt year 对于 dask 数据框 这是行不通的 如果我先计算 像这样 df year df date compute

  • 使用“pythonw”（而不是“python”）运行应用程序时找不到模块

    我尝试了这个最小的例子 from flask import Flask app Flask name app route def hello world return Hello World if name main app run deb

  • 如何使用 Django (Python) 登录表单？

    我在 Django 中构建了一个登录表单 现在我遇到了路由问题 当我选择登录按钮时 表单不会发送正确的遮阳篷 我认为前端的表单无法从 查看 py 文件 所以它不会发送任何 awnser 并且登录过程无法工作 该表单是一个简单的静态 html

随机推荐

  • 目的：VSCode Remote-SSH连接远程失败timeout

    目的 VSCode Remote SSH连接远程失败timeout 环境 系统 win10 环境 VSCode 1 51 1 问题分析 正常使用VSCode的情况下 突然发现 解决步骤 判断可能是ssh问题 cmd打开控制台或者进入wind

  • 【华为OD统一考试A卷

    华为OD统一考试A卷 B卷 新题库说明 2023年5月份 华为官方已经将的 2022 0223Q 1 2 3 4 统一修改为OD统一考试 A卷 和OD统一考试 B卷 你收到的链接上面会标注A卷还是B卷 请注意 根据反馈 目前大部分收到的都是

  • 网络工程专业毕业设计选题汇总

    文章目录 0 简介 1 如何选题 2 最新网络工程选题 2 1 Java web SSM 系统 2 2 大数据方向 2 3 人工智能方向 2 4 其他方向 4 最后 0 简介 学长搜集分享最新的网络工程专业毕设毕设选题 难度适中 适合作为毕

  • 详解c++---set的介绍

    目录标题 set容器的介绍 set的构造函数 insert函数的介绍 find函数 erase函数 count函数 lower bound upper bound multiset set容器的介绍 set容器可以看成我们上一篇文章学习的K

  • 会做产品分析的产品经理，能力都不会太差！这份分析框架，建议收藏！

    产品经理要提升产品能力 有几种方式 1 做项目 从调研到设计 从研发到运营 遇到各种问题 并解决 最终达成业务目标 2 看书 学习其他人分享的知识 将知识应用在项目中 提升决策能力 3 向大佬请教 向产品前辈请教 打开自己的知识盲区 提升自

  • Vuecli3 axios开发环境代理和线上代理设置

    文章目录 1 概述 前后端分离的情况下肯定会跨域 这篇文章主要讲axios跨域的设置 2 本地开发环境配置 2 线上环境配置 用nginx作反向代理 不用本地代理了 1 概述 前后端分离的情况下肯定会跨域 这篇文章主要讲axios跨域的设置

  • 学c语言的第一步，编译器的使用

    学习c语言在不同的平台 有不同的编译器 其中windows平台有visual studio的IDE codeblocks eclipsec c 和QT编译器 而在Linux平台有vi vim codeblocks eclipsec c 和Q

  • python dfs算法_2020蓝桥杯python组备战方法

    在蓝桥杯的程序设计比赛里新增加了python组 这是一个全新的组别 目前蓝桥杯官网已经开通了python的练习平台 链接http dasai lanqiao cn 如何准备2020年蓝桥杯python程序设计呢 我分为四个部分讲解 了解这四

  • python 深度学习 解决遇到的报错问题4

    目录 一 DLL load failed while importing imaging 找不到指定的模块 二 Cartopy安装失败 三 simplejson errors JSONDecodeError Expecting value

  • 三星gearvr控制器及手柄全部输入

    OVRInput Unified Input API OVRInput exposes a unified input API for multiple controller types It may be used to query vi

  • MySQL学习：50道经典题目（含参考答案）(更新中）

    50道经典MySQL练习题 参考博客 SQL经典50题练习 sql习题 不高冷面包人的博客 CSDN博客c 1 创建数据表 学生表 CREATE TABLE IF NOT EXISTS student student id INT 10 N

  • vant引入组件报错_在Vue中elementui组件库的基本使用

    今天我们来聊聊elemen ui组件库 Element 一套为开发者 设计师和产品经理准备的基于 Vue 2 0 的桌面端组件库 最近我做的项目几乎都是管理系统 所以 为了节省时间 开始使用 element ui 一个简单的管理系统来说 这

  • 将字符串和日期互相转换

    将字符串转换为日期 import datetime datestr 1993 01 01 print type datastr date datetime datetime strptime datestr Y m d print date

  • 沁恒CH32V307以及CH32VF103中断只能进一次的解决方法

    文章背景 笔者最近使用沁恒CH32V307处理器进行应用开发 基于RT Thread实时操作系统和LWIP做TCP和CAN的透传 因为官方BSP并没有适配RT Thread的CAN驱动 暂时将RT Thread作为普通实时系统使用 先不对C

  • qt读写CSV文件

    最近的要用到CSV格式的数据 所以这篇文章讲述一下QT读取CSV文件数据 xls文件是Excel电子表格的文件格式 而csv是一种比较通用的文件格式 xls文件只能用Excel才能打开 而csv文件可以用Excel 记事本 文本编辑器打开

  • vue 基础教程（四） 表单控件绑定 购物车 表单修饰符

    1 vue 表单控件绑定 v model 再来一个最简单的内容 div div

  • YOLOV5学习笔记（九）——损失函数

    1 Yolov5损失函数分析 2 bbox 回归损失 v5 使用的是 CIoU Loss 后续又优化出EIOU Loss如下所示 论文 Focal and efficient IOU loss for accurate bounding b

  • 启动dbforge studio for mysql的调试功能

    1 安装dbforge studio for mysql 2 使用dbforge studio for mysql 并以root身份连接数据库后编写一个存储过程 3 右击存储过程选择Debug 然后选择Step Into 4 打断点就可以调

  • Python中defaultdict与lambda表达式的配合使用

    环境 Python 3 defaultdict是collections模块下的一个类 这个类是dict的一个子类 重写了一个方法并增加了一个事件变量 在实例化的时候 第一个参数提供给default factory的初始化函数 这个参数可以是

  • python爬取肯德基KFC全国门店2021-01-11

    python爬取肯德基KFC全国门店 改进版 之前 参考两位网友的代码 爬取全国KFC门店 发现有些许问题 在参考网友代码的基础上 进行改进 最终爬取了全国KFC门店 思路如下 第一步 通过KFC门网页 获取所在KFC下的城市列表 存为列表

热门标签