浅谈SEO优化

news/2024/5/20 2:32:03/文章来源:https://blog.csdn.net/moses_binson/article/details/89393733

前段时间帮朋友搬家，被问到会不会写python爬虫，我说不会（真的不会）。但是去图书城充数的时候还是大概瞄了一下有关python爬虫的书籍的，有各种各样的python爬虫框架，Scrapy、PySpider、Crawley、Grab等等各种框架，大概就是各种爬虫爬取的数据内容不同，然后根据爬虫控制器、解析器、资源库的技术不同进行分类。绕的有点远，之所以说到上面的事情是因为今天谈到的SEO与爬虫有密不可分的关系。其实其他的语言，PHP，Java，c++也都可以开发爬虫，由于python语言的特点，社区比较完整，有各种现成的框架，涉及到运行速度，开发效率，开发成本等问题，而且写爬虫是一边写，一边测试，测试不过再改改，这个过程用 python 写起来最方便，所以听到的python爬虫比较多。

SEO的目的就是为了把网站排到搜索引擎前面，提升曝光频率，通过关键词精准定位高质量客户，是一种营销手段，也能提升企业形象。打个比方，去百度搜索web，由于SEO做的好，某培训机构官网做到了第一页前面的位置，网被点开的概率就很大，促成招生的概率就大了，三页以后的内容都懒得看。

百度很大一部分收入来自于广告，就是百度竞价排名，给钱然后把你的网站放到前面去，不过由于莆田系事件的缘故，所有竞价广告被要求标注广告二字，包括360和搜狗等浏览器。这个缘故，似乎SEO的地位一下就提高了不少，因为用户不喜欢点广告内容，百度在中国是用户占有量第一的搜索引擎（半壁江山），也就导致竞价排名贵。

百度蜘蛛

说SEO不得不提百度搜索引擎的百度蜘蛛，百度蜘蛛是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容，然后分门别类建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。

百度蜘蛛工作机制

构建原理

搜索引擎构建一个调度程序，来调度百度蜘蛛的工作，让百度蜘蛛去和服务器建立连接下载网页，这样一个开始数据采集的过程。这个过程是上面提到的控制器的工作，控制器启动线程调用蜘蛛爬虫爬取网页，给多线程中的各个蜘蛛爬虫线程分配工作任务。目前的搜索引擎普遍使用广布式多服务器多线程的百度蜘蛛来达到多线程的目的。

运行原理

深度优先和权重优先，百度蜘蛛抓页面的时候从起始站点（即种子站点指的是一些门户站点）是百度优先抓取是为了抓取更多的网址，深度优先抓取的目的是为了抓取高质量的网页，这个策略是由调度来计算和分配的，百度蜘蛛只负责抓取，权重优先是指反向较多的页面的优先抓取，这也是调度的一种策略，一般情况下网页抓取抓到40%是正常范围，60%算很好，100%是不可能的，当然抓取的越多越好。