URL访问网站的网络传输全过程

news/2024/5/9 5:12:03/文章来源:https://blog.csdn.net/Cloudox_/article/details/69669035

打开浏览器,在地址栏输入URL,回车,出现网站内容。这是我们几乎每天都在做的事,那这个过程中到底是什么原理呢?HTTP、TCP、DNS、IP这些耳熟能详的名词都在什么时候起着什么作用呢?在这里整体梳理一遍。

整个过程基本分做下面几个部分:

  • 1、域名解析成IP地址;
  • 2、与目的主机进行TCP连接(三次握手);
  • 3、发送与收取数据;
  • 4、与目的主机断开TCP连接(四次挥手);

下面分别进行详细说明。

域名解析成IP地址

首先说什么是域名解析?

我们在浏览器地址栏中输入的都是类似“www.baidu.com”、“www.qq.com”等等容易记忆的英文域名,但这些字母你直接交给整个网络线路去寻找目的主机找得到吗?找不到,因为每个主机在网络中的位置都是以IP标识的,IP才是主机在网络中的位置,域名只是为了方便用户记忆而已,这就要求浏览器能够识别域名并且将其转化为对应的IP地址。

所以浏览器会有一个DNS缓存,其中记录了一些域名与IP的对应关系,供浏览器快速查找需要的IP。但是这个DNS缓存不可能存下所有的域名-IP地址,何况IP地址有时候还会变化,因此当在DNS缓存中没有找到的时候,就要先向DNS服务器请求域名解析,我们常听到的DNS服务器很大的作用就是进行域名解析。

值得一提的是,DNS域名解析时用的是UDP协议。

整个域名解析的过程如下:

  • 1、浏览器向本机DNS模块发出DNS请求,DNS模块生成相关的DNS报文;
  • 2、DNS模块将生成的DNS报文传递给传输层的UDP协议单元;
  • 3、UDP协议单元将该数据封装成UDP数据报,传递给网络层的IP协议单元;
  • 4、IP协议单元将该数据封装成IP数据包,其目的IP地址为DNS服务器的IP地址;
  • 5、封装好的IP数据包将传递给数据链路层的协议单元进行发送;
  • 6、发送时在ARP缓存中查询相关数据,如果没有,就发送ARP广播(包含待查询的IP地址,收到广播的主机检查自己的IP,符合条件的主机将含有自己MAC地址的ARP包发送给ARP广播的主机)请求,等待ARP回应;
  • 7、得到ARP回应后,将IP地址与路由的下一跳MAC地址对应的信息写入ARP缓存表;
  • 8、写入缓存后,以路由下一跳的地址填充目的MAC地址,以数据帧形式转发;
  • 9、转发可能进行多次;
  • 10、DNS请求到达DNS服务器的数据链路层协议单元;
  • 11、DNS服务器的数据链路层协议单元解析数据帧,将内部的IP数据包传递给网络层IP协议单元;
  • 12、DNS服务器的IP协议单元解析IP数据包,将内部的UDP数据报传递给传输层UDP协议单元;
  • 13、DNS服务器的UDP协议单元解析收到的UDP数据报,将内部的DNS报文传递给DNS服务单元;
  • 14、DNS服务单元将域名解析成对应IP地址,产生DNS回应报文;
  • 15、DNS回应报文->UDP->IP->MAC->我的主机;
  • 16、我的主机收到数据帧,将数据帧->IP->UDP->浏览器;
  • 17、将域名解析结果以域名和IP地址对应的形式写入DNS缓存表。

其中提到了一个ARP的概念,类似于DNS将域名翻译成IP,ARP则是将IP翻译成MAC地址,我们知道了IP后,需要通过主机的MAC地址来更具体的找到主机。同样的也有一个ARP缓存,其中存储了一些IP与MAC地址的对应关系,如果缓存中找不到,就会进行广播来查找MAC地址,收到广播的主机会检查自己的IP是否是待查找的IP,是的话就返回自己的MAC地址。

如果做开发,往往还会接触到端口这个概念,那端口是什么呢?这里是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等,都有一些固定的端口号,被占用后就不能被别的服务拿来传输数据了。

与目的主机进行TCP连接(三次握手)

得到域名对应的IP地址后,也就表示可以将数据送达目的主机了,这时候才开始我们常说的三次握手建立连接。

HTTP的请求时使用TCP进行传输的,可以保证可靠传输,并且有序,而TCP是有连接的传输,也就是在传输数据之前,会建立我的主机与目的主机之间的连接,然后才能传输数据,传输完成后,还有断开连接。这也就是TCP的三次握手和四次挥手,大致过程如下图所示:

具体的三次握手建立连接的过程如下表述,其中数据包的传输过程类似上文请求DNS服务器时的过程,就简单的表示一下:

  • 1、向目的主机发送TCP连接请求报文;
  • 2、该TCP报文中SYN标志位设为1,表示连接请求;
  • 3、该TCP报文通过IP(DNS)->MAC(ARP)->网关->目的主机;
  • 4、目的主机收到数据帧,通过IP->TCP,TCP协议单元回应请求应答报文;
  • 5、该报文中SYN和ACK标志设为1,表示连接请求应答;
  • 6、该TCP报文通过IP(DNS)->MAC(ARP)->网关->我的主机;
  • 7、我的主机收到数据帧,通过IP->TCP,TCP协议单元回应请求确认报文;
  • 8、该TCP报文通过IP(DNS)->MAC(ARP)->网关->目的主机;
  • 9、目的主机收到数据帧,通过IP->TCP,连接建立完成。

三次握手的过程就是一去一回一去,互相确认一下,就建立连接啦。这个过程中任何一个报文出错或者超时,都要进行重传。

发送与收取数据

如上所说,只有建立连接后才能开始传输数据,数据其实有多种传输方式,比如分段啊分组啊分时啊等等。而一个数据包的传输过程如下所示,以HTTP的GET方法请求为例:

  • 1、浏览器向域名发出GET方法报文;
  • 2、该GET方法报文通过TCP->IP(DNS)->MAC(ARP)->网关->目的主机;
  • 3、目的主机收到数据帧,通过IP->TCP->HTTP,HTTP协议单元会回应HTTP协议格式封装好的HTML形式数据;
  • 4、该HTML数据通过TCP->IP(DNS)->MAC(ARP)->网关->我的主机;
  • 5、我的主机收到数据帧,通过IP->TCP->HTTP->浏览器,浏览器以网页形式显示HTML内容。

其他的HTTP方法在传输数据时方法都类似,只是所携带的内容不同。

与目的主机断开TCP连接(四次挥手)

数据传输完成后需要断开连接,与建立时不同,断开连接需要多一次,有四次挥手,至于为什么,看完过程我们再讲。

这里再把图拿过来帮助理解:

过程如下:

  • 1、浏览器向目的主机发出TCP连接结束请求报文,此时进入FIN WAIT状态;
  • 2、该报文FIN标志位设为1,表示结束请求;
  • 3、TCP结束请求报文通过IP(DNS)->MAC(ARP)->网关->目的主机;
  • 4、目的主机收到数据帧,通过IP->TCP,TCP协议单元回应结束应答报文;
  • 5、当前只是进行回应,因为目的主机可能还有数据要传,并不急着断开连接;
  • 6、该报文中ACK标志位设为1,表示收到结束请求;
  • 7、目的数据发送完所有数据后,向我的主机发出TCP连接结束请求报文;
  • 8、该报文FIN标志位设为1,表示结束请求;
  • 9、TCP结束请求报文通过IP(DNS)->MAC(ARP)->网关->我的主机;
  • 10、我的主机收到数据帧,通过IP->TCP,TCP协议单元回应结束应答报文,此时进入TIME WAIT状态,因为不相信网络是可靠的,如果目的主机没收到还可以重发;
  • 11、该报文中的FIN标志位均设为1,表示结束应答;
  • 12、该TCP回应报文通过IP(DNS)->MAC(ARP)->网关->目的主机;
  • 13、目的主机关闭连接;
  • 14、TIME WAIT等待结束后,没有收到回复,说明目的正常关闭了,我的主机也关闭连接。

这里的过程是以我的主机主动发起结束请求开始的,实际上也可以由目的主机主动发起,那么过程就会跟上面相反,但细节差不多。

FIN_WAIT状态是主动发起请求时等待确认信息,而TIME_WAIT状态是收到结束请求后发送确认信息后等待看是否需要重发。

现在来说说为什么断开连接时需要四次挥手呢?因为建立连接时目的主机可以直接发送SYN(同步)+ACK(应答)报文。而当断开时,目的主机收到FIN后可能还有数据要发,并不一定直接断开,所以先发送一次应答,告知我的主机收到了请求,等确认所有数据都发完了,再发送FIN,同时等待我的主机应答,这里的FIN和ACK就不能一起发送,所以需要四次。

以上就是URL访问网站时的网络传输全过程,归纳起来就是:

首先要通过域名找到IP,如果缓存里没有就要请求DNS服务器;得到IP后开始于目的主机进行三次握手来建立TCP连接;连接建立后进行HTTP访问,传输并获取网页内容;传输完后与目的主机四次挥手来断开TCP连接。


版权所有:http://blog.csdn.net/cloudox_

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_868690.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

妄谈大型网站技术架构

引 网络架构这个问题,我认为不是一个后台、架构师等等才需要考虑的问题,不管是前端也好,移动端也好,都应该多考虑考虑这个层面的问题,包括之后公司对你的要求也是这样的,不是说你会写业务会写功能就很ok&a…

各种大型网站技术架构

引言近段时间以来,通过接触有关海量数据处理和搜索引擎的诸多技术,常常见识到不少精妙绝伦的架构图。除了每每感叹于每幅图表面上的绘制的精细之外,更为架构图背后所隐藏的设计思想所叹服。个人这两天一直在搜集各大型网站的架构设计图&#…

网站单点登录实现

单点登录在现在的系统架构中广泛存在,他将多个子系统的认证体系打通,实现了一个入口多处使用,而在架构单点登录时,也会遇到一些小问题,在不同的应用环境中可以采用不同的单点登录实现方案来满足需求。我将以我所遇到的…

不知道这些网站还当什么程序员啊!

今天我就来总结一些程序员必备的网站,囊括开源项目、解决bug、技术分享、一线资源和自我提升的网站,希望能对广大程序猿有所帮助,赶紧给我收藏起来,下次刷不到了可别说我没提醒你。 我们首先来看一下国内比较流行的程序员社区&am…

关于前端spa项目seo优化改造方案(预渲染,ssr,nuxt比较)

目前的的前端项目为基于vuecli3搭建的spa项目,由于需求提出需要对首页,部分内容页面做seo优化,涉及到前端项目的框架和部分页面的改造。 目录 SEO简介关于收录关于链接 一、预渲染二、ssr服务端渲染三、nuxt SEO简介 SEO(Search…

spa应用seo优化方案(arm服务器)

最近公司需要对网页进行seo优化,奈何项目为vue的spa应用,没那么方便改造,所以记录一下优化经历 目录 一、非SSR项目进行seo优化有以下五种方案:二、文件编写三、arm环境中nodejs环境搭建四、arm环境下安装谷歌或火狐浏览器五、ng…

ASP.NET网站版本自动更新程序及代码[转]

1、自动更新程序主要负责从服务器中获取相应的更新文件,并且把这些文件下载到本地,替换现有的文件。达到修复Bug,更新功能的目的。用户手工点击更新按钮启动更新程序。已测试。2、环境VS2008,采用C#.NET和ASP.NET实现。3、服务器&…

WebApi托管静态网站(Owin 自托管静态网站)

我们在使用WebApi对外提供简单Api的时候,有时候往往需要同步提供一些简单的静态页面给用户,例如OAuth认证服务,提供一个授权界面等。如果我们单独架设网站,将会导致调用我们自己的接口出现跨域访问,出现IE8及以下浏览器…

那些网站够安全吗?

近日, CSDN 社区网站数据库泄露 ,近 600 万用户真实账号密码外泄。该事件横扫整个中文互联网,并且随后又爆出 多玩游戏 800 万用户资料被泄露 ,另有传言人人网、开心网、天涯社区、世纪佳缘、百合网等社区都有可能成为黑客下一个目…

5个在线的网站测试和验证工具

网站上线前的测试和验证是非常重要的一个环节,验证的意思是检查网站的页面和其他数据是否符合标准规范,设计规范的网站在各种浏览器上表现会一致而且良好。 为了帮助你执行这些测试和验证,今天我们列表了5个在线的工具。 Pingdom Tools Ping…

使用GitHub建立个人网站

使用GitHub建立个人网站 1 Git简介 2 为什么使用Github Pages 3 创建Github Pages 3.1 安装git工具. 3.2 两种pages模式 3.3 创建步骤 3.4 常用命令 4 使用Jekyll搭建博客 4.1 什么是jekyll 4.2 jekyll本地环境搭建 4.3 jekyll目录结构 4.4 Jekyll-Bootstrap创建博客 4.5 Je…

cnzz统计网站

cnzz是由国际著名风险投资商IDG投资的网络技术服务公司,是中国互联网目前最有影响力 CNZZ网站首页的免费流量统计技术服务提供商,专注于为互联网各类站点提供专业、权威、独立的第三方数据统计分析。同时,CNZZ拥有全球领先的互联网数据采集、…

网站防止攻击

1、什么是XSS XSS又叫CSS (Cross Site Script) ,跨站脚本攻击。它指的是恶意攻击者往Web页面里插入恶意html代码,当用户浏览该页之时,嵌入其中Web里面的html代码会被执行,从而达到恶意用户的特殊目的。XSS属于被动式的攻击&#…

如何防止你的网站被攻击?

避免网站被攻击,其实是可以提前预防的,那么要如何预防呢? 1、关闭不必要的端口和服务 2、安装杀毒软件或者是防火墙来抵御攻击。 3、定期修改账户密码,尽量设置的复杂些,不要使用弱密码。 4、日常维护的时候要注意&…

网站前端开发--css篇

Ⅰ 全局:global.css 全局样式为全站公用,为页面样式基础,页面中必须包含。 结构:layout.css 页面结构类型复杂,并且公用类型较多时使用。多用在首页级页面和产品类页面中。 私有:style.css 独立页面所使用的…

scrapy爬取途牛网站旅游数据

描述:采取了scrapy框架对途牛网旅游数据进行了爬取,刚开始练手,所以只爬了四个字段用作测试,分别是景点名称、景点位置、景点开放时间、景点描述,爬取结果存的是json格式。 部分数据: 部分代码&#xf…

网站数据统计分析之一:日志收集原理及其实现

网站数据统计分析工具是网站站长和运营人员经常使用的一种工具,比较常用的有谷歌分析、百度统计 和 腾讯分析等等。所有这些统计分析工具的第一步都是网站访问数据的收集。目前主流的数据收集方式基本都是基于javascript的。本文将简要分析这种数据收集的原理&#…

WordPress建站后必做的几项优化

欢迎大家访问我的个人博客网站:风挽青个人博客 1、修改上传文件大小限制 wordpress上传文件一般都有限制,通常为2M,在一些情况下会不够用,所以自然是提升它的上传文件限制大小。 找到php.ini文件,然后修改其中的几个…

实现基于LNMP的电子商务网站

一、环境准备 yum安装mariadb、 mariadb-mysql、php-fpm、Nginx 并开启服务 二、 1、下载开源的购物商城软件包,解压到/data/test文件夹下,可自定义 unzip 2、修改用户和属组为nobody chown nobody . chgrp -R nobody . 三、 1、修改Nginx配…

SEOmoz开放Open Site Explorer工具API

SEOmoz是SEO行业知名站点,上周SEOmoz推出了外链分析工具Open Site Explorer。今天很高兴告诉大家,Open Site Explorer开始免费开放API了。 英文过得去的可以看原文的介绍:Launching the SEOmoz Free API and Enough Power to Build Open Site…