每一个应用程序都有一个独立的标识–端口（逻辑端口号）
HTTP：超文本传输协议，默认端口80
https=http+ssl，默认端口443
SSL：（Secure Socket Layer，安全套接字层），为Netscape所研发，用以保障在Internet上数据传输之安全，利用数据加密(Encryption)技术，可确保数据在网络上之传输过程中不会被截取。它已被广泛地用于Web浏览器与服务器之间的身份认证和加密数据传输。
HTTP请求到服务器的请求消息，包括以下格式：
请求⾏、请求头部、空⾏、请求数据
根据HTTP标准，HTTP请求可以使⽤多种请求⽅法：
（1）HTTP 0.9：只有基本的⽂本 GET 功能。
（2）HTTP 1.0：完善的请求/响应模型，并将协议补充完整，定义了三种请求⽅法：GET, POST 和 HEAD⽅法。
（3）HTTP 1.1：在 1.0 基础上进⾏更新，新增了五种请求⽅法：OPTIONS, PUT,DELETE, TRACE 和 CONNECT ⽅法。
（4）HTTP 2.0（未普及）：请求/响应⾸部的定义基本没有改变，只是所有⾸部键必须全部⼩写，⽽且请求⾏要独⽴为 :method、:scheme、:host、:path这些键值对。
GET : 查询参数都会在URL上显示出来，不对服务器资源产生影响（例如：上传会产生影响）
POST : 查询参数和需要提交数据是隐藏在Form表单⾥的,不会在URL地址上显示出来（例如：有道翻译内容，账号登录信息）
URL: 统⼀资源定位符
https://news.qq.com/omn/TWF20200/TWF2020032502924000.html
https: 网络协议
news.qq.com: 主机名，可以将主机理解为⼀台名叫 news.qq.com 的机器。这台主机在 qq.com 域名下
port 端⼝号: 80 ， /new.qq.com 在他的后⾯有个 :80 可以省略
TWF20200/TWF2020032502924000.html 访问资源的路径
#anchor: 锚点⽤前端在做⻚⾯内容位置定位的
注意 : 在浏览器请求⼀个url,浏览器会对这个url进⾏⼀个编码。(除英⽂字⺟、数字和部分标识，其他的全部使⽤% 加 ⼗六进制码进⾏编码，其中3个%是1个汉字)
例如 : https://tieba.baidu.com/f?ie=utf-8&kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&fr=search%E6%B5%B7%E8%B4%BC%E7%8E%8B = 海贼王
作⽤:记录⽤户的浏览器、操作系统等,为了让⽤户更好的获取HTML⻚⾯效果
User-Agent:
Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36(KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36
Mozilla ：是一个技术组织,指定在开发互联网相关的应用。 Mozilla是一个自由软件社区,以生产Firefox web浏览器而闻名。Mozilla社区使用、开发、传播和支持Mozilla产品,因此专门推广自由软件和开放标准,只有少数例外。谷歌浏览器部分内容也是Mozilla开发的。
表明当前这个请求是从哪个url过来的，按照正常人的操作都是一步一步向下点击的，如果没有会被服务器认为是爬虫–网站用于反爬
200 : 请求成功
301 : 永久重定向
302 : 临时重定向
403 : 服务器收到了响应，但拒绝请求（如：反爬）
404 : 请求失败(服务器⽆法根据客户端的请求找到资源（⽹⻚）)
500 : 服务器内部请求
浏览器自带抓包工具：
Elements : 元素（⽹⻚源代码），抓取数据和分析数据(有些数据是经过特殊处理的（Elements可能是通过浏览器后期渲染出来的结果），所以并不是都是准确的，要确保抓取和分析的数据在“Elements”和“网页源代码”中同时都存在，否则需要通过Network进行抓取和分析)
Console : 控制台 (做前端开发时用于打印和测试信息)
Sources : 信息来源 (整个⽹站加载的⽂件，包含图片等)
NetWork : ⽹络⼯作(信息抓包) 能够看到很多的⽹⻚请求
robots协议也叫robots.txt（统一小写）：是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络爬虫，此网站中的哪些内容是不应被爬取的，哪些是可以被爬取的。
因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。
1、爬虫存在的意义：
为其他程序提供数据源 如搜索引擎(百度、Google等)、数据分析、⼤数据等等
2、企业获取数据的方式：
3、Python 做爬⾍的优势：
4、爬⾍的分类：