很多人都或多或少听说过 Python 爬虫，我也一直很感兴趣，所以也花了一个下午入门了一下轻量级的爬虫。为啥是轻量级的爬虫呢，因为有的网页是比较复杂的，比如需要验证码、登录验证或者需要证书才能访问，我们了解爬虫的概念和架构，只需要做一些简单的爬取工作即可，比如爬取百度百科这种纯信息展示的网页，这些都是不需要登录的静态网页。即便再复杂的爬虫网页和爬虫框架，实际上都离不开这一套基本的爬虫架构。
爬虫简介
爬虫是一段自动抓取互联网信息的程序。 每个网页都有一个URL，从一个网页入口开始，通过各种URL的跳转形成一个相互指向的关系，最终可以形成一种网状结构，这就是互联网。理论上来说，一个庞大的网页项目，从入口开始，总能通过某种跳转路径到达项目系统中的任何一个网页，当我们人工的从网页上获取信息的时候，只能跟着步骤，一步一步的点击跳转，最终获取到我们希望得到的信息。
比如典型的，我昨天想领养一只猫咪，我先点开同城网站，然后找到宠物分类，再找到猫咪分类，再选择一些条目，比如是领养而不是购买，年龄在半岁以下，狸花猫等等这些特性，最后点击搜索，网页给了我具体的条目列表，我通过人工的方式，获取了我想要的信息。虽然定位精准，但不免很浪费人力时间。
而爬虫就是一个这样的自动程序，我们设定好我们需要的主题和目标，比如「猫咪」、「6个月」等标签，爬虫会从某个特定URL入手，自动的访问它所关联的URL，并且提取出我们需要的数据。可以说 爬虫就是自动访问互联网，并且提取价值数据的程序。
爬虫的价值就在于此，可以获取将互联网上巨量的数据都为我所用，有了这些数据，我们就可以进行学习和分析，或者利用数据做出相关的产品。
爬取 GitHub 中一天浏览量和 star 提升数最高的项目，有了这个数据，就可以做出一个 GitHub 开源项目推荐的项目。
可以说，只要有数据，没有做不到的，只有你想不到的，数据就在放在互联网上，通过爬虫我们可以让数据发挥更大的作用和价值，在大数据时代，爬虫毋庸置疑是一门一线技术。
首先我们需要一个爬虫调度端来启动和停止爬虫，同时也要通过它来监视爬虫的状态，并通过它提供接口来作具体的数据应用。这个部分不属于爬虫本身。
图中阴影方框中的部分就是我们爬虫程序。因为有的页面的入口有很多，我们可以通过不同的URL调度路径来访问这个界面，那么作为一个智能的爬虫软件，当遇到我们已经爬取过的URL的时候，应该选择过滤，而不是再次爬取。URL管理器就是用来存储已经爬取URL和将要爬取URL的工具的。
从URL管理器中选择一个待爬取的URL，将其传送给网页下载器，下载器会把网页以字符串的形式下载下来，并把这个字符串交给网页解析器去解析，网页解析器一方面会把你需要获取的价值信息提取出来归还给调度器，另一方面，如果遇到该网页有新的URL待爬取，就会把这个URL传送给URL管理器。从此，这三个模块进行循环，直到该网页相关的所有URL都爬取完毕。
-END-
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习、自动化测试带你从零基础系统性的学好Python！
???? （ 安全链接，放心点击 ）
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
（全套教程文末领取哈）
温馨提示：篇幅有限，已打包文件夹，获取方式在：文末
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
这份完整版的Python全套学习资料已经上传CSDN，朋友们如果需要可以点击链接免费领取
或者
保存图片到
wx扫描二v码免费领取
【
保证100%免费
】
????
（
安全链接，放心点击
）
