网站访问原理与GFW原理简述

news/2024/5/13 19:22:05/文章来源:https://blog.csdn.net/qq_50216270/article/details/121211597

文章目录

  • 一.网络分层-OSI
  • 二.网站访问过程
    • 1.域名解析
    • 2.发送HTTP请求
    • 3.数据包传输
    • 4.传输数据,关闭连接
  • 二.GFW原理
    • 1.基于UDP协议的域名解析服务劫持/DNS缓存污染
    • 2.IP地址或传输层端口人工封锁——BGP路由劫持/“路由黑洞”
    • 3.TCP RST重置
    • 4.协议检测→根据流量协议拆包→关键词匹配→封锁
    • 5.深度包检测(机器学习识别翻墙流量→直接阻断)
    • 6.DDoS攻击

一.网络分层-OSI

OSI意为开放式系统互联。国际标准组织(国际标准化组织)制定了OSI(Open System Interconnection)模型。这个模型把网络通信的工作分为7层,分别是物理层,数据链路层,网络层,传输层,会话层,表示层和应用层。1至4层被认为是低层,这些层与数据移动密切相关。5至7层是高层,包含应用程序级的数据。每一层负责一项具体的工作,然后把数据传送到下一层。

请添加图片描述

二.网站访问过程

1.域名解析

域名解析是把域名指向网站空间IP,让人们通过注册的域名可以方便地访问到网站的一种服务。IP地址是网络上标识站点的数字地址,为了方便记忆,采用域名来代替IP地址标识站点地址。域名解析就是域名到IP地址的转换过程。域名的解析工作由DNS服务器完成。
域名解析也叫域名指向、服务器设置、域名配置以及反向IP登记等等。说得简单点就是将好记的域名解析成IP,服务由DNS服务器完成,是把域名解析到一个IP地址,然后在此IP地址的主机上将一个子目录与域名绑定。
互联网中的地址是数字的IP地址,域名解析的作用主要就是为了便于记忆。

请添加图片描述

当浏览器拿到一个域名(比如访问百度:https://www.baidu.com/),首先通过域名解析获得其IP地址(202.108.22.5),域名与IP地址存在映射关系。

域名解析层级(优先级):

  1. 浏览器缓存(短时)

流览器缓存(Browser Caching)是为了节约网络的资源加速浏览,浏览器在用户磁盘上对最近请求过的文档进行存储,当访问者再次请求这个页面时,浏览器就可以从本地磁盘显示文档,这样就可以加速页面的阅览。

  1. 本地DNS缓存

域名系统(英文:Domain Name System,缩写:DNS)是互联网的一项服务。它作为将域名和IP地址相互映射的一个分布式数据库,能够使人更方便地访问互联网。DNS使用UDP端口53。当前,对于每一级域名长度的限制是63个字符,域名总长度则不能超过253个字符。

  1. hosts文件

Hosts是一个没有扩展名的系统文件,可以用记事本等工具打开,其作用就是将一些常用的网址域名与其对应的IP地址建立一个关联“数据库”,当用户在浏览器中输入一个需要登录的网址时,系统会首先自动从Hosts文件中寻找对应的IP地址,一旦找到,系统会立即打开对应网页,如果没有找到,则系统会再将网址提交DNS域名解析服务器进行IP地址的解析。
需要注意的是,Hosts文件配置的映射是静态的。

  1. 网卡配置信息里的DNS服务器以及DNS根域名服务器

  2. 通过UDP协议(传输层)向DNS服务器请求ip地址,DNS服务器域名系统解析(应用层)解析后返回正确的ip地址

2.发送HTTP请求

超文本传输协议(Hyper Text Transfer Protocol,HTTP)是一个简单的请求-响应协议,它通常运行在TCP之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。请求和响应消息的头以ASCII形式给出;而消息内容则具有一个类似MIME的格式。这个简单模型是早期Web成功的有功之臣,因为它使开发和部署非常地直截了当。

TCP和UDP协议是TCP/IP协议的核心。 TCP 传输协议:TCP 协议是一TCP (Transmission Control Protocol)和UDP(User Datagram Protocol)协议属于传输层协议。其中TCP提供IP环境下的数据可靠传输,它提供的服务包括数据流传送、可靠性、有效流控、全双工操作和多路复用。通过面向连接、端到端和可靠的数据包发送。通俗说,它是事先为所发送的数据开辟出连接好的通道,然后再进行数据发送;而UDP则不为IP提供可靠性、流控或差错恢复功能。一般来说,TCP对应的是可靠性要求高的应用,而UDP对应的则是可靠性要求低、传输经济的应用

因为HTTP通常运行在TCP协议之上,所以在发送HTTP请求之前需要建立TCP连接。

TCP三次握手

三次握手协议指的是在发送数据的准备阶段,服务器端和客户端之间需要进行三次交互:第一次握手:客户端发送syn包(syn=j)到服务器,并进入SYN_SEND状态,等待服务器确认;第二次握手:服务器收到syn包,必须确认客户的syn(ack=j+1),同时自己也发送一个SYN包(syn=k),即SYN+ACK包,此时服务器进入SYN_RECV状态;第三次握手:客户端收到服务器的SYN+ACK包,向服务器发送确认包ACK(ack=k+1),此包发送完毕,客户端和服务器进入ESTABLISHED状态,完成三次握手。连接建立后,客户端和服务器就可以开始进行数据传输了。

请添加图片描述
用C表示客户端,S表示服务器,三次握手如下:
C->S
S知道C发送功能正常
S知道S接收功能正常
S->C
C知道C发送功能正常
C知道C接收功能正常
C知道S接收功能正常
C知道S发送功能正常
C->S
S知道S发送功能正常
S知道C接收功能正常
反复确认无异后即可建立通信

3.数据包传输

互联网数据传送业务是指有相关权限的经营者(移动,电信,联通三大ISP)通过组建互联网骨干网和城域网并利用互联网国际出入口提供的互联网数据传送业务。无国内通信设施服务业务经营权的运营者不得建设国内传输设施,应租用有相应经验权运营者的国内传输设施。

互联网服务提供商(Internet Service Provider),简称ISP,指的是面向公众提供下列信息服务的经营者:一是接入服务,即帮助用户接入Internet;二是导航服务,即帮助用户在Internet上找到所需要的信息;三是信息服务,即建立数据服务系统,收集、加工、存储信息,定期维护更新,并通过网络向用户提供信息内容服务。

数据包的传输主要依托于几家国有运营商建立的庞大的骨干网和域域网。
请添加图片描述
不同ISP建立的不同骨干网之间也有数据交换中心,使得信息和数据包可以自由的从全国任何地方流向其他地方。
而数据包在庞大的“网上公路”迷路的可能性。在各个级别的网路(局域网->域域网->广域网)中,分布着无数路由节点,每一张骨干网都有自己负责的路由群组和节点,整个群组统称为as自治系统(Autonomous system)
请添加图片描述

每一个骨干网管理的as自治系统都经过名为互联网号码分配局的国际机构分配唯一识别代码,例如,中国电信163骨干网的as自治系统编号为AS4134。每一张骨干网都有内部路由协议,每一个节点都在依据某种规定互相交换他们所连通的ip地址信息,作为数据包在“旅行”过程中的指路人。而全国性的骨干网之间也依靠外部路由协议互相交换它们所掌握的“服务器地图“,典型的有BGP协议。

边界网关协议(BGP)是运行于 TCP 上的一种自治系统的路由协议。 BGP 是唯一一个用来处理像因特网大小的网络的协议,也是唯一能够妥善处理好不相关路由域间的多路连接的协议。 BGP 构建在 EGP 的经验之上。 BGP 系统的主要功能是和其他的 BGP 系统交换网络可达信息。网络可达信息包括列出的自治系统(AS)的信息。这些信息有效地构造了 AS 互联的拓扑图并由此清除了路由环路,同时在 AS 级别上可实施策略决策。

请添加图片描述

4.传输数据,关闭连接

二.GFW原理

防火长城(英语:Great Firewall,常用简称:GFW,也称中国国家防火墙,俗称墙、网络长城、功夫网等等),是我国在其互联网边界审查系统(包括相关行政审查系统)的统称。此系统起步于1998年。

1.基于UDP协议的域名解析服务劫持/DNS缓存污染

GFW会对所有经过骨干出口路由的基于UDP的DNS域名查询请求进行Intrusion Detection Systems(入侵检测系统)检测,一旦发现处于黑名单关键词中相匹配的域名查询请求,防火长城作为中间设备会向查询者返回虚假结果。
也就是说浏览器无法查询到域名对应的正确IP,也就无法对其进行访问,数据包会传输到虚假的IP,从而没有响应。
请添加图片描述

2.IP地址或传输层端口人工封锁——BGP路由劫持/“路由黑洞”

BGP劫持就是伪造位于主干道的路由节点的路由表,将其根本没有或者不可能连通的ip地址导入路由表,诱骗邻近节点相信该节点拥有这一ip地址的访问通道。GFW通过人工方式维护一个针对特定IP地址封锁的列表,从而实现特定ip地址的路由欺骗,这样一个节点我们将其称之为“路由黑洞”。
请添加图片描述

3.TCP RST重置

旁路监听的方式一般是将主交换机的数据镜像到控制系统,控制系统可以采用libpcap捕获数据包。在这种情况下要阻断tcp连接的建立只要在监听到第一次握手的时候,控制系统伪造服务器发起第二次握手回应,就能阻断客户端与服务器连接的建立。因为我们的系统在内网,发出的报文肯定比服务器快,这样客户端接收到我们伪造的报文以后会回应第三次握手,当服务器真正的报文到达的时候客户端将不再处理,此时客户端再向服务器请求数据,因为seq号和ack号出错,服务器不会受理客户端的请求。
请添加图片描述

4.协议检测→根据流量协议拆包→关键词匹配→封锁

HTTP协议有非常明显的特征,可以轻易被GFW系统检测和识别,GFW进而依据HTTP协议规则对数据包进行拆解,由于其表现为明文,所以可以直接进行关键词匹配。例如,从HTTP的GET请求中取得请求的URL。然后GFW拿到这个请求的URL去与关键字做匹配,比如查找Twitter是否在请求的URL中。而关键字匹配使用的依旧是一些高效的正则表达式算。
在这里插入图片描述

5.深度包检测(机器学习识别翻墙流量→直接阻断)

对于混淆流量和非传统加密协议,GFW正在使用大家耳熟能详的“人工智能”技术,将这些各种各样难以判断和识别的翻墙流量与正规的政企跨境流量相区分开来。
请添加图片描述

6.DDoS攻击

分布式拒绝服务攻击(英文意思是Distributed Denial of Service,简称DDoS)是指处于不同位置的多个攻击者同时向一个或数个目标发动攻击,或者一个攻击者控制了位于不同位置的多台机器并利用这些机器对受害者同时实施攻击。由于攻击的发出点是分布在不同地方的,这类攻击称为分布式拒绝服务攻击,其中的攻击者可以有多个。
请添加图片描述

版权说明
名词解释参考百度百科
部分内容参考微博博主丽丽-风暴烈酒

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_779176.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

堆积密度怎么做_怎么优化关键词才能提高网站排名?

为了让自己的网站提高排名,每一个网站的管理者都会对自己的网站关键词进行优化,那么,怎么优化关键词才最合适呢?最能提高网站排名呢?关键词优化简单地说,就是把网站里面的关键词进行选词和排版,…

个人(商业)网站安全维护-网页***防范

个人&#xff08;商业&#xff09;网站安全维护&#xff0d;网页***防范<?xml:namespace prefix o ns "urn:schemas-microsoft-com:office:office" />simeon本文已被网管员世界杂志录用现在国内有许多个人或者公司都建立了网站&#xff0c;网站已经成为日常…

CURL方式使用代理访问网站

2019独角兽企业重金招聘Python工程师标准>>> curl_setopt ($ch, CURLOPT_URL, $requestUrl);curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);curl_setopt($ch, CURLOPT_PROXYAUTH, CURLAUTH_BASIC); //代理认证…

网站空间服务器100m,100M虚拟主机空间到底有多大?

很多新手站长朋友在购买空间的时候&#xff0c;总会心存疑问&#xff1a;到底买多大的主机空间合适&#xff0c;100M的空间够用吗,是不是选用越大的空间越好。其实&#xff0c;购买空间也讲究适可而止&#xff0c;够用即可&#xff0c;比如你是个人博客的站长&#xff0c;那100…

自动化测试网站

看到一个自动化测试的网站&#xff0c;记录一下&#xff1a; 有一下几个产品&#xff1a; TestComplete AQtime Automated Build Studio AQdevTeam 这里还有一个很好的自动化测试的PPT: http://www.automatedqa.com/community/ 参考文章&#xff1a; http://dragon.cnblogs.com…

美国高明公司推出首款中文网站性能监测方案

工业和信息化部在本月27日发布的一项统计数据显示&#xff0c;今年前三季度&#xff0c;中国新增宽带接入用户1644.9万户&#xff0c;用户总数达到9932.8万户。随着宽带接入用户的增加&#xff0c;中国互联网网民也在与日俱增&#xff0c;网民总数已达到3.6亿。这意味着有越来越…

优秀的国外电子商务网站欣赏

电子商务网站一直是网商们谈论的重点&#xff0c;包括他的策划、设计、经营等&#xff0c;今天我们着重介绍一下国外的电子商务网站的设计。先说国内的电子商务网站&#xff0c;由于凡客等的成功&#xff0c;国内大部分的电子商务网站都采用凡客的设计风格&#xff0c;这样的风…

Firefox 66 发布,阻止网站自动播放声音

开发四年只会写业务代码&#xff0c;分布式高并发都不会还做程序员&#xff1f; >>> Firefox 66 发布了&#xff0c;此版本在桌面版中带来的新特性包括&#xff1a; Firefox 现在阻止网站自动播放声音&#xff0c;如果需要可以单独调整改进的搜索体验&#xff1a; 当…

【发现资源共同分享】介绍一些web前台开发比较不错的网站【2012-06-14更新】

1. 模板之家&#xff08;强烈推荐&#xff09;中国divcss 模板中的精品网站 这个网站中的有很多现成的divcss做的模板供大家之间使用&#xff0c;最主要的是它是免费滴。而且图片已经切好、css文件已经写好、html demo也已经写好&#xff0c;您只需要改下里面的内容即可。…

您需要搭建怎样的网站来帮助您赚取更多利润?

做为一个有竞争力的企业&#xff0c;拥有自己的门户网站就像是建设自已的厂房一样重要&#xff0c;因为在信息时代&#xff0c;潜在客户通过互联网获取产品方案信息&#xff0c;并做为定单参考&#xff0c;已经是很多企业采购节省成本的主要方式之一。(当然其他还有很多好处&am…

python多页网站目录_想爬取一个有很多页的网站,但是我不知道这个网站的准确页数。请问 Python 中如何用循环来实现呢?...

25 2019-07-27 17:28:21 08:00 1 solider245 就是一般意义上我们说的二分查找&#xff0c;一般的程序员应该都了解的。 如果你这方面有缺失&#xff0c;我时间不多&#xff0c;只能在这里简单解释一下&#xff1a;假设我有一个有序的整数数组&#xff0c;我想要查询里面一个数…

常见的网站各种类型的页面缓存时间及http头

转载于:https://blog.51cto.com/ceekay/1083378

20款非常棒的网站可用性测试工具

2019独角兽企业重金招聘Python工程师标准>>> 网站可用性是指用户能否有效地找到所需的信息或完成他的任务&#xff0c;效率如何以及是否让人有愉快满意的感受。如果网站可用性较差&#xff0c;会浪费用户的时间&#xff0c;大大降低网站的回头访问率&#xff0c;这对…

网站攻击软件_如何防范误植攻击 | Linux 中国

误植是一种引诱用户将敏感数据泄露给不法分子的方式&#xff0c;针对这种攻击方式&#xff0c;我们很有必要了解如何保护我们的组织、我们的开源项目以及我们自己。-- Sam Bocetta误植Typosquatting是一种引诱用户将敏感数据泄露给不法分子的方式&#xff0c;针对这种攻击方式&…

16个时髦的扁平化设计的 HTML5 CSS3 网站模板

创建网站最好办法之一是使用现成的网站模板或使用开源 CMS 应用程序。所以&#xff0c;今天这篇文章给大家带来的是16款基于 HTML5 & CSS3 的精美的扁平风格网站模板&#xff0c;大家可以借助这些优秀的网站模板创建自己的优秀网站。这些网站模板虽然是收费&#xff0c;但是…

如今的SEO与以往的SEO有何不同?

1. SEO的术语解释SEO在2000-2011年之间都是针对于主流搜索引擎友好度的一种网站站内外技术与内容的优化。通过接近搜索引擎算法的一种手段&#xff0c;所以称之为Search Engine Optimization (搜素引擎优化)。而从2011 – 2014年开始&#xff0c;搜索引擎优化不只局限在代码、内…

apache php网站,Apache,mysql,PHP搭建网站环境

须要用到三个压缩包&#xff1a;php各模块配置&#xff1a;Apache&#xff1a;下载&#xff0c;解压安装vc2015运行库bin目录下&#xff0c;管理员权限执行httpd -k install安装服务安装成功后&#xff0c;此目录下双击ApacheMonitor启动apache如出现错误(1.查看一下是不是端口…

使用ClipFinder HD搜索和查看多个视频网站

If you’re looking for an easy way to search through several video websites at once from your desktop, today we take a look at an app that does an excellent job. Ashampoo’s ClipFinder HD allows you to search and download videos from popular video sites f…

谭晓威个人博客网站

经过前一段时间的折腾&#xff0c;个人博客网站终于开始上线运作了&#xff0c;从选择主机到搭建环境&#xff0c;从注册域名到域名备案&#xff0c;特别是备案&#xff0c;很是麻烦呀&#xff0c;不过终于搞定了&#xff0c;在此打个小广告&#xff0c;欢迎朋友们前来支持&…

全球第2大同性交友网站曝光,2022程序员现状

全球第二大同性社交网站 提到全球最大的同性社交网站&#xff0c;大家马上想到Github。 Github是技术人的聚集地&#xff0c;因为程序员以男人居多&#xff0c;所以被网友戏称为全球最大的同性社交网站。 还有一个网站&#xff0c;它的世界编程者心中的地位&#xff0c;就像知…