搜索引擎蜘蛛不能顺利爬行的原因

有一些网页,内容很优质,用户也可以正常访...

搜索引擎蜘蛛不能顺利爬行的原因

2019-04-03

有一些网页,内容很优质,用户也可以正常访问,但搜索引擎蜘蛛却无法正常抓取,造成搜索结果覆盖率缺失,这对搜索引擎和站点都是一种损失,百度把这种情况叫做“抓取异常”。对于大量内容无法正常抓取的网站,百度搜索引擎会默认为是网站用户体验上的缺陷,并降低对网站的评价,使网站在抓取、索引、排序上都会受到一定程度的负面影响,最终影响网站从百度获取的流量。

一些常见的抓取异常供大家参考:

服务器连接异常

服务器连接异常有两种情况:一种是站点不稳,百度搜索引擎蜘蛛尝试连接网站的服务器时出现暂时无法连接的情况;另一种就是百度蜘蛛一直无法连接网站服务器。

造成网站服务器连接异常的原因通常是网站服务器过大,超负荷运转,也有可能是网站运行不正常,是时候应检索网站的WEB服务器是否安装且是否是正常运行,并使用浏览器主要页面能否正常访问。网站和主机还可能会阻止百度搜索引擎蜘蛛的访问,这时需要检查网站和主机的防火墙。

网络运营商异常

国内的网络运营商主要有电信和联通。如果百度搜索引擎蜘蛛无法通过电信或者联通的网络访问网站,则需要与网络运营商联系,购买双线服务的空间,或者购买CDN服务。

C DNS异常

当百度搜索引擎蜘蛛无法解析网站的IP地址是会出现DNS异常,这可能是网站IP地址错误或者域名服务商把百度搜索蜘蛛禁封所致。

网站代运营

D IP封禁

IP封禁是指限制网络出口的IP地址,禁止该IP的使用者进行内容访问,在这里是指禁止封禁百度搜索引擎蜘蛛的IP地址,当网站不希望百度搜索引擎蜘蛛访问的时候,才需要该设置。

E UA封禁

UA是指用户代理,服务器通过UA识别访问者的身份。当网站针对指定的UA访问出现返回异常页面(如402500)或跳转到其他页面的情况,即为UA封禁。

F 死链

页面已经无效,无法对用户提供任何价值的信息的页面叫死链,包括协议死链和内容死链两种形式。

异常跳转

将网络请求重新指向其他位置即为跳转。

其他异常


refer的异常

百度UA的异常

JS跳转异常

压力过大引起的偶然封禁

首页
案例
电话
038彩票app下载 烽火娱乐彩票官网 8828彩票注册_8828彩票官网登录-线路检测 盛世彩票网-Welcome 国民彩票app下载|官网 新彩彩票网-新彩彩票app注册会员【权威平台】 博悦彩票-注册 113彩票app 933彩票|娱乐官网 038彩票安卓app_038彩票官方版线路