爬虫基础————ip地址和url详解

2023-10-28

(学习慕课网bobby老师的课程从零起步 系统入门Python爬虫工程师时做的笔记,有兴趣的同学可以去慕课网观看视频。)

 

 

1.ip地址

  •  整个网络传输可以比作快递,数据就是快递包裹

  会经过一系列中转站,分包捡包等操作,最后才送到客户手中

  •  Ip地址就是门牌号

  对整个互联网来说,只认ip地址,所以在访问url时,要先转化成ip地址。再通过ip地址在互联网上任意传输。

2.动态ip和静态ip

   ———————为什么服务器不会随便封ip和通过ip段封ip

  Ipv4地址格式: xxx.xxx.xxx.xxx(10进制), 总长度是32位(2进制),长度是有限的,怎么才能接入更多的联网设备呢?

在cmd中输入ipconfig可以查看自己电脑的Windows IP 配置:

里面的 192.168.43.175 是本地局域网的ip地址,出了路由器之外的网都无法连接,相当于这个地址只被我的电脑连接的路由器识别,在我路由器连接的所有电脑之间是可以识别的。在连接外网时,会动用路由器对外的ip。

很多网段,特别是家庭路由器网段都是默认的192.168网段,这就可以使得更多的联网设备可以连接到网络上,而不会使用过多的ip地址。

  动态IP:若分配一个ip后不变化,这样ip地址很快就会用完,动态ip就是分配一个ip地址后,还会回收这个ip地址,再用的时候再分配,是根据需要动态分配的过程,ip地址不稳定,做不了服务器。

静态ip:稳定的ip地址,需要购买,可以搭建服务器。

所以是不会随便封ip的,因为大多数人使用的是动态ip来访问的。

3.url是什么

  uniform resource locator:统一资源定位符

  每一个url指向一个独特的资源,可以是一个html页面、一个css文档、一个图片、文件、js文件等。

4.url协议

  • 几个url地址

    https://developer.mozilla.org

    https://developer.mozilla.org/en-US/docs/Learn/

    https://developer.mozilla.org/en-US/search?q=URL

  • url格式

    http://www.example.com:80/path/to/myfile.html?key1=v1&key2=v2#maodian

   

实现的协议;哪个ip地址上;ip地址对应的哪个应用程序;访问具体哪个资源;访问参数;访问锚点

协议:常用协议:http、https、file、ftp

域名:可以看做是ip地址的别名,此处也可以直接填写ip地址

端口::80端口指的就是http协议默认的应用,也可以启动到别的端口上,不写的时候是80端口,如果是其他的端口就必须要有端口号

路径:想要访问myfile.html页面

?:?之前都可以定位到想要访问的资源

想要做一些过滤的话,通过参数来及进行:

参数:两个参数:key1=v1,key2=v2,用&连接

锚点:在同一页面内可跳转到想要查看的内容的地方(比如一个页面内的目录)

相对url 与绝对url绝对URL和相对URL

把协议去掉,从后面部分来看就是相对url,直接输入浏览器里也可以访问,浏览器会默认分配协议;

如果协议、域名、端口都不要,在浏览器里输入后面部分是没法访问的;

但若在html里做跳转的话:href里不是完整的url(path路径),但依然可以访问,浏览器会自动将域名加上,如果href里url前面没有“\”时,会在当前的url后面加,而不是在本该放域名的地方加。

 

 

 

 

 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

爬虫基础————ip地址和url详解 的相关文章

  • 想自学写个操作系统,有哪些推荐看的书籍?

    前言 哈喽 我是子牙 一个很卷的硬核男人 喜欢研究底层 聚焦做那些大家想学没地方学的课程 手写操作系统 手写虚拟机 手写编程语言 今天我们将站在一个自学者的角度来聊聊如何实现自己的操作系统 并为大家推荐几本能够帮助你巩固知识 修炼内功的书籍
  • 使用base64编码的好处

    在项目中 将报文进行压缩 加密后 最后一步必然是使用base64编码 因为base64编码的字符串 更适合不同平台 不同语言的传输 它不受其他编码的影响 仍然保持不变 这点很有意义 如下验证 String a 123412312sfwefw

随机推荐

  • Vue使用AWS s3进行大文件的分片上传、断点续传、下载(将文件上传进度显示)

    这篇博客已经将这些aws S3的Api集成为了一个js文件 直接引用就可以了 就不需要这么复杂 将AWS S3大文件文件上传相关的API集成为js文件 功能包括 多文件并行上传 文件分片上传 断点续传 文件分片合成 上传暂停 取消上传 文件
  • 浅浅记录一下初次跑大模型的过程

    之前主要搞搞ros小车方面的东西 由于本科是学机械方面的 对于深度学习 大模型一类的东西完全没有概念 但是由于需要 接触计算机视觉方面内容 过程很艰辛 即便是有很专业的女朋友帮助 初次跑完浅浅记录一下 希望对没接触过相关领域的同学们有一定的
  • vue 跳转页面并且传值以及在新窗口打开页面的方法

    vue 跳转页面并且传值以及在新窗口打开页面的方法 第一步 vue跳转页面的时候要是不带自动生成路径的话 是需要自己配置页面的路由的 在这里进行配置就可以 里面会有案例自己跟着配置就好 第二步 配置完成后就可以进行跳转了 代码如下 跳转页面
  • 读读文档吧 - SQLAlchemy 2.0

    ORM Mapped Class Overview https docs sqlalchemy org en 20 orm mapping styles html The original mapping API is commonly r
  • Python+Flask(2)--通过flask paginate解决列表分页问题

    先看最终实现效果 实现主要步骤及重要代码如下 1 列表需要用到的数据源及内容自己随便建立 我这边用新闻资讯数据测试 CREATE TABLE article aid int 11 NOT NULL AUTO INCREMENT cat id
  • 【第一章】专栏介绍

    版本 修改时间 初稿 2023 03 26 补充 考研和就业的选择 2023 04 04 自我介绍 你好 我曾经是一名普通一本学生 专业是电子信息工程专业 从大二就开始独自一人自学后端开发 大三后面三年大部分时间都在图书馆或者实验室学习 在
  • 如何上传大文件(4GB)到虚拟机

    使用xhell上传大文件会报文件过大的异常 解决方案 可以使用 Everything 工具 实现快速便捷传送大文件到虚拟机 1 百度搜索Everything 进入官网下载 这个程序体量非常小 可以放心下载 2 下载完成后打开 点击工具一栏
  • linux下MySql服务器的安装(yum安装OK)

    root test219 mysql mysql V mysql Ver 14 14 Distrib 5 5 11 for Linux x86 64 using readline 5 1 mysql5 5在linux服务器上的安装 mysq
  • 2021.11.12总结

    把入门3循环结构的题大致写完了
  • 树莓派4B之Windows XP系统安装游戏(一)

    上一篇博文 树莓派4B安装windows xp windows 95 windows xp windows 95 for raspberry pi 4B 下一篇博文 树莓派4B之Windows XP系统安装游戏 二 目录 一 模拟器 游戏下
  • AI新手必看:如何区分参数和超参数

    相信所有人刚开始应用机器学习时 都会被两个术语混淆 计算机学科里有太多的术语 而且许多术语的使用并不一致 哪怕是相同的术语 不同学科的人理解一定有所不同 比如说 模型参数 model parameter 和 模型超参数 model Hype
  • 华为nova6se怎么升级鸿蒙,华为EMUI11支持哪些手机

    华为EMUI11适配机型有什么 首批支持EMUI11 更新的机型有 P40 系列 Mate30 系列 MatePad Pro系列等 10 款机型 先了解更多EMUI11适配机型相关内容的小伙伴下面和小编一起来看看吧 华为EMUI11适配机型
  • VC++ 图像颜色调节

    1 BMP图片在GDI方式下贴图 32位位图 半透明像素会显示黑色或白底 像素处理代码 void CrossImage CImage img if img IsNull return 确认该图像包含Alpha通道 if img GetBPP
  • JAVA的图形用户界面布局GUI入门(上)

    java的GUI企业里面用的比较少 现在主流的UI都使用HTML5 开发 Java提供了三个主要包 做GUI开发 java awt 包 主要提供字体 布局管理器 javax swing 包 商业开发常用 主要提供各种组件 窗口 按钮 文本框
  • 神经网络学习之一——M-P模型

    神经网络学习之一 M P模型 M P模型是什么 M P模型是于1943年美国神经生理学家沃伦 麦卡洛克 Warren McCuloch 和数学家沃尔特 皮茨 Walter Pitts 提出 是首个通过模仿神经元而形成的模型 结构图如下所示
  • 主机地址变更后,dubbo请求时依旧会寻址旧IP的问题

    机房迁移 导致测试服务器IP变更 比原于IP为192 168 1 105变更为10 1 9 120 服务源码未做任何变更 启动服务时依旧是旧地址请求 此问题由dubbo本地注册中心的缓存所致 清理掉即可 位置一般在于 用户目录 dubbo目
  • Redis(一)常见命令使用

    常见文件名 Redis cli使用命令 1 启动Redis 2 连接Redis 3 停止Redis 4 发送命令 1 redis cli带参数运行 如 2 redis cli不带参数运行 如 5 测试连通性 key操作命令 获取所有键 查询
  • PostgreSQL系列3:PostgreSQL导入导出SQL

    启动数据库 pg ctl D data db pgsql data l data db pgsql logs pgsql log start 关闭数据库 pg ctl D data db pgsql data stop 使用pgsql客户端
  • R语言实战学习--回归

    文章目录 普通最小二乘回归 OLS 简单线性回归 多项式回归 多元线性回归 回归诊断 标准方法 QQ图正态性检验 残差图 误差的独立性 成分残差图 偏残差图 线性 同方差性 线性模型假设综合验证 异常观测值 高杠杆值 强影响点 变量添加图
  • 爬虫基础————ip地址和url详解

    学习慕课网bobby老师的课程从零起步 系统入门Python爬虫工程师时做的笔记 有兴趣的同学可以去慕课网观看视频 1 ip地址 整个网络传输可以比作快递 数据就是快递包裹 会经过一系列中转站 分包捡包等操作 最后才送到客户手中 Ip地址就