网页打开时都发生了什么?我被吓着了

2023-10-27

内容参考自网页打开时都发生了什么?我被吓着了

在浏览器里输入网址或者点击链接,网页打开了……这是我们上网时再普通不过的一幕,但是如此简单的表象背后,却隐藏着无比复杂的技术流程。想涨涨知识吗?往下看吧。

一个HTTP请求的过程
为了简化我们先从一个HTTP请求开始,简要介绍一下一个HTTP求情的网络传输过程,也就是所谓的“从输入URL到页面下载完的过程中都发生了什么事情”。

  • DNS Lookup 先获得URL对应的IP地址
  • Socket Connect 浏览器和服务器建立TCP连接
  • Send Request 发送HTTP请求
  • Content Download 服务器发送响应

如果下到物理层去讲就有点耍流氓了。如果这些你还认可这几个步骤的话,我们就来讲一下这里面存在的性能问题。

  • 如果你对DNS的查询还有印象的话现在反思一下,DNS Lookup就是为了获取一串IP地址要和无数个DNS服务器进行通信,这要消耗多少时间?别忘了,你查询完了的时候,你还没和那边的服务器通信呢。

  • TCP连接要三次握手。如果服务器很远的话这三次握手要花多少时间?别忘了建立连接之后你还没发请求呢。(通常到这里0.5秒就出去了)

  • 发送HTTP请求的时候你要知道一点,就是我们的网络带宽上行和下行通常是不一样的,通常上行的带宽会小一些,一个的话还好,但是现在的网页通常都会后续请求很多资源,带宽小的时候上行拥塞怎么办?别忘了已经到第三步了,服务器还没给你发响应呢,现在你的浏览器还什么都画不出来。

  • 终于到了服务器发响应了,不巧你访问的这个服务器比较忙,好几万个人都要这个资源,服务器的上行带宽也是有限的,怎么办?

我觉得我出了几道还不错的面试题。顺便提一下,前两步的延迟和网络带宽的影响不大;后两步加带宽是能一定程度缓解,不过你要有钱,而且很贵。

虽说博主做过WebKit本地渲染的优化,但是深知网页加载的主要时间还是浪费在网络通信上,所以在这些步骤上的优化会比你在浏览器内核的优化省力且效果明显。

网络方面的主要优化手段,总结一下不外乎缓存、预取、压缩、并行。以后如果再有面试问性能优化之类的问题,大家都可以照着这个思路去考虑。

下面就分阶段介绍一下现有的优化手段:

DNS优化

对于DNS优化,缓存无疑是最简单粗暴且效果明显的了。说到缓存就一定要提到缓存层级:

  • 浏览器DNS缓存
  • 系统DNS缓存
  • Hosts文件
  • 各个DNS服务器上的缓存

当然DNS缓存失效期通常都比较短,很多情况下都要再去查找。为了降低用户体验到的延迟(注意这里不是网络延时),预取是一个不错的方法。

比如说你敲网址的时候还没有敲完,但是浏览器根据你的历史发现你很有可能去访问哪个网站,就提前给你做DNS预取了,比如你打了一个“w”的时候,chrome已经帮你去找weibo.com的IP地址了。chrome用户看一下chrome://predictors 你就知道了。

此外浏览器还会记录你过去的历史,知道每个域名下通常还会有哪些其他的链接,以便建立起网站的拓扑结构。当你访问这个域名下的网站,它就会预先对其他链接的域名进行DNS解析。

TCP优化

看到前面的DNS的具体优化这么繁杂,知道这简单的一步没那么简单了吧。

结果到TCP这一步优化反而简单了,因为刚才DNS已经把IP都预先弄到了,那么我们顺着刚才的步骤再建立连接就好了。

所以在你敲第一个字母的时候,DNS解析完了就去建立连接了,这时候你可能网址还没敲完。当你刚访问一个网站的时候,浏览器刷刷刷的帮你把到别的服务器的TCP连接给你建好。

HTTP传输优化

写到这里可能有人会想,既然已经把TCP连接建立好了,那我干脆预取更进一步,把所有的链接内容直接预取下来不就好了,这样我网址还没敲完网页就已经加载完成了。

这个想法是好的,但现实却是残酷的,因为要记住我们的带宽是有限的,DNS和TCP连接量级都比较轻,对网络带宽不会占据太多,但是HTTP传输就不一样了。如果你所有链接都去预取的话,你的带宽很快就被占满了,这样你正常的请求无法得到满足,性能反而会严重下降。

缓存就又出现了,提缓存必提层次结构。

  • PageCache 这个是最快的了,直接在内存中缓存了现有网页的DOM结构和渲染结果,这就是你为什么在点前进后退的时候会这么快。
  • HTTP Cache 文件级别的Cache存在本地的文件系统上按照RFC2616实现。
  • 代理Cache 如果是通过代理服务器上网的话,代理服务器通常也会按照缓存标准
  • CDN 一个地理上离你很近的内容服务器,比如说你在北京请求杭州淘宝的一个图片,结果在北京的一个CDN上有这个图片,那么就不用去杭州了。
  • DMOC(distributed memory object caching system)CDN主要存放的是静态数据,但是网页中通常有很多动态的数据需要查数据库,流量多了压力就会很大,通常服务器外围还会有一层内存缓存服务器,专门缓存这些数据库中的对象,据《淘宝技术这10年》称可以减少99.5%的数据库访问。
  • Server 其实真正落在服务器上的请求已经不多了。

大家看到这里有没有想到能在什么地方再加一层缓存呢?其实可以在2和3之间加,也就是在路由器上加缓存。

小米路由器和搜狗合作的预取引擎其实就相当于在路由器上加一层缓存款顺便智能预取一下。

另一个HTTP常用的优化就是压缩了,网络传输时间=消息大小/网速。既然网速比较贵那么就压缩一下吧,大部分服务器都会对HTTP消息进行gzip压缩。可以在Http Header中看到,具体的就不细说了。

未来协议:SPDY

上面的都是传统做法,下面讲一个未来的技术。由于HTTP协议是上个世纪制定的协议了,已经不能很好地适应现在Web的发展,所以Google提出了SPDY协议,目前是指定中的HTTP2.0标准的一个底版。

SPDY主要有下面的特点:

  • 一个TCP连接上并行多个HTTP连接,减少连接的建立时间。
  • 请求优先级(目前还没看到具体实现)。
  • HTTP头部压缩,上文提到的HTTP压缩是对HTTP body的压缩,并没有对头部压缩。对于小的HTTP消息,头部的比重还是很大的,而现在的web中存在大量小消息。
  • Server push/hint 服务器主动推送对象(可以想象成服务器帮客户端预取)。

业界目前对SPDY是有赞有弹,博主也持谨慎的态度,主要在1和4上,4其实和之前提到的
HTTP直接预取的矛盾点一样,万一推送的不需要又占据了带宽怎么办?hint到底该如何实现都有困难。

第一条潜在的风险就是TCP连接中途断开,那么所有的连接就全部停掉了,PC互联网这种情况可能会少一些,但是移动互联网中TCP连接断开的情况还是比较常见的。

不过作为一个未来的技术,还是有必要关注一下。

这里写图片描述

重要参考资料:浏览器和服务器交互详细的分析过程

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

网页打开时都发生了什么?我被吓着了 的相关文章

  • 计算机网络系列五 -- 运输层详解

    1 运输层 1 1 运输层的定义 运输层是 OSI 七层参考模型的第四层 主要功能为应用层提供通信服务 它即是面向通信的最高层 也是用户功能的最底层 在计算机网络中 真正进行数据通信的是两个主机的进程 由于一个主机中有多个进程同时在通信 而
  • 计算机网络-协议栈分层

    1 划分网络层次的优缺点 优点 1 开发人员可以只关注整个结构中的某一层 2 可以很容易用新的实现替换原有层次中的实现 3 可以降低层与层之间的依赖 4 有利于标准化 5 利于各层逻辑的复用 缺点 1 一层可能冗余较低层的功能 例如许多协议
  • 【网络是怎样连接的】—— 向 DNS 服务器查询 IP 地址

    IP 1 基本知识 互联网和公司内部的局域网都是基于 TCP IP 的思路来设计的 由一些小的子网 通过路由器连接起来组成一个大的网络 这里的子网可以理解为用集线器连接起来的几台计算机 在网络中 所有的设备都会被分配一个地址 这个地址就相当
  • SSL与TLS工作原理

    链接 https zhuanlan zhihu com p 36981565 为了保证网络通信的安全性 需要对网络上传递的数据进行加密 现在主流的加密方法就是SSL Secure Socket Layer TLS Transport Lay
  • 可靠数据传输的实现

    可靠数据传输协议 我们知道 TCP和UDP都是基于IP网际协议来传输数据的 但是IP网际协议是一种不可靠数据传输协议 它不负责数据丢失等情况 而TCP是一种可靠数据传输 因此我们需要来关注TCP是如何实现可靠数据传输的 经完全可靠信道的可靠
  • 物理层(比特流)

    物理层 一 物理层的基本概念 二 数据通信的基础知识 1 数据通信系统的模型 2 有关信道的几个基本概念 3 信道的极限容量 4 信道的极限信息传输速率 三 物理层下面的传输媒体 1 导引型传输媒体 2 非导引型传输媒体 四 信道复用技术
  • tcp三次握手和四次挥手的过程

    TCP是面向连接的 无论哪一方向另一方发送数据之前 都必须先在双方之间建立一条连接 在TCP IP协议中 TCP 协议提供可靠的连接服务 连接是通过三次握手进行初始化的 三次握手的目的是同步连接双方的序列号和确认号 并交换 TCP窗口大小信
  • 手撕计算机网络——应用层(四):P2P

    前言 进入应用层学习也有了一段时间了 接下来的这篇文章中小荔枝会将应用层P2P结构体系于我们客户 端系统体系在分发文件中的机理进行整理 希望今天能结束应用层学习哈哈哈 运输层我来啦 目录 前言 一 P2P的自拓展性 二 BitTorrent
  • 根据子网掩码算出 IP 地址 的网络号和主机号

    我们如何根据子网掩码算出 IP 地址 的网络号和主机号呢 举个例子 比如 10 100 122 0 24 后面的 24表示就是 255 255 255 0 子网掩码 255 255 255 0 二进制是 11111111 11111111
  • 福禄克DSX2-5000/8000 CH测试结果中为什么标记蓝色“i”?

    我们在使用福禄克线缆测试仪DSX2 5000 CH DSX2 8000 CH的过程中遇见过很多测试结果的测试参数后面标记着蓝色的 i information 而不是失败的红色叉号 也不是Pass的绿色对号 这是因为所选测试限制没有该测试的限
  • 超详细的计算机网络基础知识总结 第四章:网络层

    本文基于 王道计算机考研 计算机网络 其他文章 超详细的计算机网络基础知识 第一章 概述 超详细的计算机网络基础知识 第二章 物理层 超详细的计算机网络基础知识 第三章 数据链路层 超详细的计算机网络基础知识 第五章 传输层 超详细的计算机
  • windows修改远程端口

    windows修改远程端口 一 修改注册表 关于远程桌面的注册表的位置 由于系统版本的不同 文件存在的位置也不同 核心是寻找名称类似CurrentControlSet的目录下的PortNumber文件 其是远程桌面端口的端口配置 1 按 w
  • get和post区别

    1 GET请求在URL中传送的参数是有长度限制的 而POST没有 2 GET相对于POST来说不安全 因为参数直接暴露在URL上 所以不能用来传递敏感信息 而POST数据不会显示在URL中 是放在Request body中 3 对参数的数据
  • 计算机网络 网络层——IP数据报 详记

    IP 数据报的格式 一个 IP 数据报由首部和数据两部分组成 首部的前一部分是固定长度 共 20 字节 是所有 IP 数据报必须具有的 在首部的固定部分的后面是一些可选字段 其长度是可变的 IP数据报首部的固定部分中的各字段 版本 占4位
  • 计算机网络(自顶向下方法)中的PoP

    目录 前言 问题 解决 前言 在读 计算机网络 自顶向下方法 时 看到在讲网络结构的时候提到过PoP 但是其中有一句话始终不理解 不通顺 上网搜索也没发现相关解释文章 因此 在我把这个问题解决后 就写下了这篇文章 希望可以帮助到其他人 问题
  • 计算机网络运输层运输层协议概述

    运输层协议概述 进程之间的通信 下图说明运输层的作用 可以看出网络层为主机之间提供逻辑通信 而运输层为应用进程之间提供端到端的逻辑通信 根据应用程序的不同需求 运输层有两种不同的运输协议 1 面向连接的TCP 2 无连接的UDP 运输层的两
  • 计算机网络中的通信子网:架构、协议与技术简介

    在计算机网络中 通信子网是负责实现主机之间以及主机与终端之间数据传输的核心部分 它由一系列硬件设备和通信协议组成 为上层应用提供可靠 高效和透明的数据传输服务 本文将详细介绍通信子网的架构 协议与技术 一 通信子网的架构 星型拓扑 星型拓扑
  • 计算机网络基础——常用的中英文网络述语大全,强烈建议收藏

    系统网络体系结构 System Network Architecture SNA 国际标准化组织 International Organization for Standardization ISO 开放系统互连基本参考模型 Open Sy
  • 【2023最新版】黑客入门教程|三分钟手把手教会,非常简单

    前言 你知道在每天上网时 有多少黑客正在浏览我们计算机中的重要数据吗 黑客工具的肆意传播 使得即使是稍有点计算机基础的人 就可以使用简单的工具对网络中一些疏于防范的主机进行攻击 在入侵成功之后 对其中的数据信息为所欲为 当用户发现密码被盗
  • 【网络安全】00后程序员,找 Bug 赚了 6,700,000元!他是怎么挖洞致富的?

    19岁 很多人正是上大学 仍伸手向父母要生活费的年纪 可有一位 00 后阿根廷少年 Santiago Lopez 靠自学成才 赚取了 100 万美元 折合人民币约 670 万元 的 Bug 赏金 成为世界上第一个白帽黑客的百万富翁 美元 少

随机推荐

  • SQL注入基础--判断闭合形式

    这里写自定义目录标题 SQL注入基础 判断闭合形式 1 整形闭合 2 单引号闭合 3 双引号闭合 总结 SQL注入基础 判断闭合形式 SQL语句的闭合形式大概如下几种 SELECT FROM users WHERE id 1 整形闭合 SE
  • 服务器文件备份拓扑图,云服务器拓扑图

    云服务器拓扑图 内容精选 换一换 精简视图提供了云服务器资源概况和状态的可视化统计结果 帮助您直观的了解云服务器资源 在精简视图中 您可以快速获取弹性云服务器基本信息 登录信息 配置信息 监控信息 精简视图提供了云服务器资源概况和状态的可视
  • 英文字符串处理

    题目描述 编写一个字符串处理程序 根据输入的不同值 进行不同的处理 可接受的输入 待处理字符串 i 字符串中所有英文字母都转成大写 5 字符串中每5个字符中间插入一个中横线 x 字符串长度不足5的倍数用x补齐 第一个输入的值必须是待处理的字
  • IDEA中Maven项目打包方式

    方式一 直接打包 不打包依赖包 仅打包出项目中的代码到JAR包中 可称为架包 在其他应用中运行时 必须保证其上面有相应的依赖包 才能运行 maven Lifecyle Clean Package 打包成功后就会出现target文件夹 方式二
  • 全局注册组件

    1 首先在 main js 项目入口文件中 导入要全局注册的组件 import 2 其次要创建Vue实例 createApp 3 使用 实例名 component 方法全局注册组件 两个参数 4 在其他组件中 直接以标签的形式 使用注册的全
  • End of startup status:LOW

    End of startup status LOW 解决方案 加一条约束 set property BITSTREAM CONFIG UNUSEDPIN Pullup current design
  • 【Nginx系列】- 初识Nginx

    目录 第一印象 一 提供HTTP服务 二 提供反向代理 三 提供邮件代理 总结 第一印象 Ngxin是由俄罗斯人 戈尔 赛索耶夫使用C语言编写的高性能Web服务器 它可以做什么 1 提供HTTP服务 2 反向代理服务 3 邮件代理服务 PO
  • linux xfs和ext4的区别

    centos7 0开始默认文件系统是xfs centos6是ext4 centos5是ext3 ext3和ext4的最大区别在于 ext3在fsck时需要耗费大量时间 文件越多 时间越长 而ext4在fsck时用的时间会少非常多 ext4是
  • 区域和检索 - 数组不可变——前缀和法的实践

    一 题目 给定一个整数数组 nums 求出数组从索引 i 到 j i j 范围内元素的总和 包含 i j 两点 二 解析 题目很简单 如果直接暴力法 即存储数组 nums的值 每次调用 sumRange 时 通过循环的方法计算数组 nums
  • 01预习-软件缺陷基础 窗体顶端  1单选(1分)  编码阶段产生的错误由()检查出来的。  A集成测试 B有效性测试 C单元测试 D系统测试  2单选(1分)  修复软件缺陷费用最

    01预习 软件缺陷基础 窗体顶端 1单选 1分 编码阶段产生的错误由 检查出来的 A集成测试 B有效性测试 C单元测试 D系统测试 2单选 1分 修复软件缺陷费用最高的是 阶段 A发布 B编写代码 C设计 D编制说明书 3单选 1分 经验表
  • k8s解析--Pod、Deployment、Service

    一 概念介绍 原文地址 1 Pod Kubernetes 使用 Pod 来管理容器 每个 Pod 可以包含一个或多个紧密关联的容器 Pod 是一组紧密关联的容器集合 它们共享 PID IPC Network 和 UTS namespace
  • 助理电子工程师第二个月的实习总结,问题很多的一个月

    年后因为疫情博主等到3月6号才去上班实习 到现在算第二个月吧 这一个月感觉做了很多事情 不像是第一个月一样只是打打杂 画画大佬项目的PCB 了解公司的产品 这个月实际去做项目 出了不少的问题 心情很复杂 甚至想过被炒鱿鱼什么的 还好调节过来
  • SpringBoot自动配置原理

    文章目录 一 SpringBoot自动配置简介 二 SpringBoot自动配置实现原理 一 SpringBoot自动配置简介 SpringBoot相对于Spring新增了自动配置 也就是对一些常用组件进行一些默认的配置 省略了WebMvc
  • 程序框架-输入控制模块

    输入控制模块 用到之前的事件中心模块和公共Mono模块 核心利用观察者设计模式进行事件的分发与注册 InputMgr脚本 输入控制功能模块通过MonoMgr脚本创建Update方法 在通过EventCenter触发事件
  • 泛微E-Mobile 6.0存在命令执行漏洞

    一 漏洞简介 泛微E Mobile 6 0爆出存在命令执行漏洞的问题 现在已经确认了这个漏洞可以被攻击者利用 在某些情况下 用户的输入可能被直接传递给底层操作系统的命令执行函数 攻击者可以通过在输入中插入特殊字符或命令序列来欺骗应用程序将其
  • 关于后台列表,跳转详情和编辑页面

    后台管理系统 从列表跳转详情页面的常规操作 一般新增 编辑和详情页面是共用的 但是可能详情是禁止编辑的 点击编辑按钮之后页面又要可以编辑 一般情况下 页面初始化 是否能够编辑 是通过路径上的pageType来判断 如 xxxxx xxxxx
  • RealityCapture照片扫描建模流程

    RealityCapture照片扫描建模大概有这么几步 拍摄照片 调整照片 导入照片进软件 然后根据照片生成点云 然后对点云范围进行调整 然后根据最终点云效果生成模型 然后对模型修整并进行简化 毕竟他生成的模型面数过大 也回有一些破面之类的
  • STM32F103+NRF24L01通道配置之多发一收

    STM32F103 NRF24L01通道配置之多发一收 准备材料 让我们开始吧 准备材料 1 NRF24L01模块 3 2 STM32F103C8T6单片机的最小系统模块 3 3 正点原子的例程 实验33 无线通信实验 让我们开始吧 下面只
  • 从封装变化的角度看设计模式——组件协作

    什么是设计模式 要了解设计模式 首先得清楚什么是模式 什么是模式 模式即解决一类问题的方法论 简单得来说 就是将解决某类问题的方法归纳总结到理论高度 就形成了模式 设计模式就是将代码设计经验归纳总结到理论高度而形成的 其目的就在于 1 可重
  • 网页打开时都发生了什么?我被吓着了

    内容参考自网页打开时都发生了什么 我被吓着了 在浏览器里输入网址或者点击链接 网页打开了 这是我们上网时再普通不过的一幕 但是如此简单的表象背后 却隐藏着无比复杂的技术流程 想涨涨知识吗 往下看吧 一个HTTP请求的过程 为了简化我们先从一