百度单方面修改网站url导致大量404

news/2024/5/20 14:21:19/文章来源:https://blog.csdn.net/weixin_33737774/article/details/92451165

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

    百度抓取到的内容,用户搜索并访问后,百度改写了url(域名之后的第二个目录),导致出现大量的404,交涉无果,没办法,只能自己修复。

1、需求:

        百度给出的url                                                                                正确的url
http://g.perofu.com.cn/x/222/1112345.html      —301——》 http://g.perofu.com.cn/x/111/1112345.htm

    将文章id的前三位数,rewrite到x之后的目录,即不管x之后的第一个目录是什么,都换成文章id的前三位数

2、网站文章规则:
http://g.perofu.com.cn/x/{文章id减后4位}/{文章id}.html

3、错误配置:
#此location,只是做了upstream,url不会变,也可以拿到数据,这样对seo有影响
location ~ '^/x/([\d]{3})/([\d]{3})([\d]{4})\.html$' {
          rewrite ''^/x/([\d]{3})/([\d]{3})([\d]{4})\.html$''       /wap/x/$2/$2$3.html   break;
          proxy_set_header Host 'g.perofu.com.cn';
          proxy_next_upstream http_502 http_504 error timeout invalid_header;
          proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
          proxy_set_header X-Real-IP $remote_addr;
          proxy_redirect      off;
          proxy_connect_timeout 10;
          proxy_read_timeout 60;
          proxy_pass http://WAPATS;
     }

 4、正确配置:

(由于文件不在同个应用下,所以有点麻烦,可能有点乱,主要还是看location吧)

                client     ---> 

                     | 

本机([公网:g.perofu.com.cn],location修改url,再upstream 到ATS)

                     |

                 其他机器

(g.perofu.com.cn仅是虚拟主机,需要配置location,确定文件路径,否则会报404,/data/www/web/3g/是g.perofu.com.cn的主目录且没有其他location,除了/,需要新加上location,把root写为/data/www/web/3g/wap/,用上面的方法,rewrite是有加上/wap的,301只是改写url,请求到其他机器是无法找到url的,因为少了一层目录)

#http://g.perofu.com.cn/x/222/1112345.html   --->   http://g.perofu.com.cn/x/111/1112345.html
#upstream后端需要增加location,把root写为/data1/www/web/3g/wap/,否则报404
location ~ '^/x/([\d]{3})/([\d]{3})([\d]{4})\.html$' {
                set $dir1 $1;
                set $dir2 $2;
                set $file3 $3;
                if  ( $dir1 != $dir2 ) {
                    rewrite ^/x/(.*)  http://g.perofu.com.cn/x/$dir2/$dir2$file3.html permanent;
                }
          proxy_set_header Host 'g.perofu.com.cn';
          proxy_next_upstream http_502 http_504 error timeout invalid_header;
          proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
          proxy_set_header X-Real-IP $remote_addr;
          proxy_redirect      off;
          proxy_connect_timeout 10;
          proxy_read_timeout 60;
          proxy_pass http://WAPATS;
     }    


#其他机器
server {
    server_name g.perofu.com.cn;
    set $adddir '/3g';
    root /data/www/web$adddir;
    access_log /data/nginx/logs/3g.access.log tpynormal;

#g.pconline.com.cn,301,需要加上,可查看前端的location ~ '^/x/([\d]{3})/([\d]{3})([\d]{4})\.html$'
location ~  '^/x/([\d]{3})/([\d]{3})([\d]{4})\.html$' {
         root /data/www/web/3g/wap/;
}

}

转载于:https://my.oschina.net/fufangchun/blog/529536

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_784678.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

网站安装打包 webconfig修改[三]

在net中,在System.Configuration.ConfigurationManager中,提供了几个静态方法,用来修改配置文件。 如:System.Configuration.Configuration config System.Configuration.ConfigurationManager.OpenMachineConfiguration(); 获得应用程序下的…

学用MVC4做网站一:修改密码1.4

一、用户 1.1用户注册 1.2用户登录 1.3修改密码 1.4修改资料 在用户登陆成功后要跳转到一个页面,暂且叫做用户中心吧。在【UserController】添加[default] action [UserAuthorize]public ActionResult Default(){userRsy new UserRepository();var _user userRsy.…

动态网站基础

1. 通信: HTTP, URL, 请求和响应 2. 数据存储: 数据库 3. 表示: 将模板渲染成HTML或其他格式 然后把这3部分组合在一起,即WEB框架。比如Django。 也就是传说中的MVC。这样的好处是 1) 灵活 2) 清晰 3&#…

网站访问过程理解(一点记录)

一个普通网站访问的过程 简单概括一下,对于我们普通的网站访问,涉及到的技术就是:用户操作浏览器访问,浏览器向服务器发出一个 HTTP 请求;服务器接收到 HTTP 请求,Web Server 进行相应的初步处理&#xff0…

大型网站技术架构(六)网站的伸缩性架构

2019独角兽企业重金招聘Python工程师标准>>> 网站系统的伸缩性架构最重要的技术手段就是使用服务器集群功能,通过不断地向集群中添加服务器来增强整个集群的处理能力。“伸”即网站的规模和服务器的规模总是在不断扩大。 1、网站架构的伸缩性设计 网站的…

seo从入门到精通_SEM必读书单丨从入门到精通,这9本书就是你的钥匙!

也许你刚进入SEM行业没多久也许你已经在SEM领域混迹多年你有没有注意过自己已经很久很久没有获取新鲜的知识了?其实很多你工作中的烦恼和误区在书里都能得到解答下面,我为大家介绍9本书,建议先看书时,可以先看完每一个小节后&…

通过避免下列 10 个常见 ASP.NET 缺陷使网站平稳运行(转载)

LoadControl 和输出缓存会话和输出缓存Forms 身份验证票证生存期视图状态:无声的性能杀手SQL Server 会话状态:另一个性能杀手未缓存的角色配置文件属性序列化线程池饱和模拟和 ACL 授权不要完全信赖它 — 请设置数据库的配置文件!ASP.NET 成…

为什么要使用ul li布局网站导航条?使用ul li布局网站网页导航必要性

会布局的都知道网站导航条布局非常重要,可能一个导航条最终布局效果有时可以使用ul li列表标签布局,有时可以不用ul li布局,而是直接一个div盒子里直接放锚文本超链接的栏目名称,也能实现,看下图。 假如要布局出这样简…

最近一打开cnblogs首页,就弹出电影网站!

最近一打开cnblogs首页,就弹出电影网站! 打开别的网站就不会,郁闷,是我这里问题吗?我用的是深圳电信ADSL

网站的图片列表怎么设置

2019独角兽企业重金招聘Python工程师标准>>> <div id"sideRight"> <div class"hy_right_layout_ywbl"> <dl> <dt class"rightTitleBar"> <div> <a hr…

如何在js中获取response.getwriter()的内容_B2B行业网站原创利器,让您会员轻松生产原创内容,提升SEO排名...

在运营B2B网站过程中&#xff0c;最能左右排名效果的就是用户发布的供求内容与文章内容。运营B2B网站的权重和收录提升&#xff0c;极度依赖于用户发布的供求信息和专业文章&#xff0c;运营过垂直行业朋友知道&#xff0c;自己的会员用户往往会出现不知道写什么的状况&#xf…

yoast造成php内存,最全Yoast SEO插件使用指南

很多人刚开始用yoast SEO插件的时候&#xff0c;都只是使用了他最基础的功能 - 针对每个页面进行编辑标题&#xff0c;描述和关键词&#xff0c;但是yoast的功能远远不止那些&#xff0c;接下来我们看看&#xff0c;他究竟还能帮我们做什么。分页优化(optimized Pagination)我们…

2017年最新15个漂亮的 HTML 摄影网站模板

摄影是一门艺术&#xff0c;它需要大量的耐心和努力工作来捕捉那些精彩的瞬间。如果你是一位热情的摄影师&#xff0c;想要建立一个网站来展示那些高质量的摄影作品&#xff0c;那么你找对地方了。本文包含15个最佳的摄影网站模板&#xff0c;你可以使用这些 HTML 模板创建自己…

linux怎么看网页视频教程,Ubuntu 16.04如何正常观看视频网站(安装输入法和flash插件)...

现在是2016年&#xff0c;手机才是生活的中心。对包括我在内的大部分人而言&#xff0c;打开电脑无非是看剧。看剧的网站一般都用Flash播放器&#xff0c;但Ubuntu16.04的浏览器没有Flash插件。解决方法很简单&#xff1a;要么安装Chrome浏览器(自带Flash插件)&#xff0c;要么…

一步步学习SPD2010--第十章节--SP网站品牌化(1)--设置CSS和颜色编码页面编辑器选项...

SPD使用一系列配置选项来了解它应该如何应用CSS标签到你的页面。你可以在页面编辑器选项对话框&#xff0c;更改这些默认设置。这个对话框有12个选项卡&#xff0c;其中一些你在第四章节“创建和修改网页”见到过。在这里&#xff0c;你将探索和CSS相关的选项卡。 你可以配置SP…

网站如何让用户主动为你增加流量

图说网站如何让上门用户主动为你增加流量&#xff08;一&#xff09; 第一视觉吸引点、动的元素 写本文是因为看了51CTO废总的文章&#xff0c;她写的关于Web1.0和Web2.0从运营角度出发的一系列探讨&#xff0c;写的很好也看好后面的系列&#xff0c;看完以后引起了我的共鸣、思…

新手教程:如何精准收集网站数据与实战分析

学习SEO技术不仅仅是要学会怎么去伪原创、去优化关键字排名&#xff0c;也需要收集竞争对手的数据信息。并学会以此信息为参考对自己的站点进行优化。 那么&#xff0c;新人站长怎样才能收集哪到自己想要的数据来进行分析呢&#xff1f;下面谈谈我在收集数据方面的一点心得&…

与Godaddy有关的日子--留给想做网站需要买域名的人

2019独角兽企业重金招聘Python工程师标准>>> 优惠码&#xff1a; Google搜索“godaddy 优惠码”剩下的自己找吧&#xff0c;我找到了一个省了30%。此外Godaddy经常有促销信息&#xff0c;并会把信息及优惠码发到你注册时填写的邮箱中。 购买时失败了怎么办&#xff…

关于大型网站技术演进的思考(二十)--网站静态化处理—web前端优化—中(12)...

Web前端很多优化原则都是从如何提升网络通讯效率的角度提出的&#xff0c;但是这些原则使用的时候还是有很多陷阱在里面&#xff0c;如果我们不能深入理解这些优化原则背后所隐藏的技术原理&#xff0c;很有可能掉进这些陷阱里&#xff0c;最终没有达到最佳的预期效果&#xff…

淘宝技术发展(个人网站)

2019独角兽企业重金招聘Python工程师标准>>> 个人网站 2003年4月7日&#xff0c;马云&#xff0c;在杭州&#xff0c;成立了一个神秘的组织。他叫来十位员工&#xff0c;要他们签了一份协议&#xff0c;这份协议要求他们立刻离开阿里巴巴&#xff0c;去做一个神秘的…