Welcome to沈阳峰翔科技有限公司!

15840560486

联系我们

PRPULAR PUSH

ATTEN:
李经理
phone:
15840560486
QQ:
1092031760
ADD:
沈阳市铁西区爱工北街11-4

黑龙江seo公司

author:沈阳峰翔科技有限公司

【Font size: big medium smail

time:2019-11-09 11:05:58

对同一个站点的抓取速度控制般分为两类:其一,一段时间内的抓取频率;其二,一段时间内的抓取流量。同一站点不同的时间抓取速度也会不同,例如,夜深人静的时候抓取的可能就会快一些。也视具体站点类型而定,主要思想是错开正常用户访问高峰,不断地调整。对于不同站点,也需要不同的抓取速度上面的描述很简洁,但是从这个描述里面,我们可以得到启发蜘蛛抓取页面是有压力控制的,对于特别大型的网站来说,不可能指望蜘蛛爬行到一个网站后,会一次性抓取到所有的网站,因此,作为SEO人员来说,尽量减少蜘蛛的压力,对网站的网页收录是有好处的般来说,减轻蜘蛛压力有以下两种方法方法一:采用 Nofollow(反垃圾链接的标签)的策略,将蜘蛛引导到最有价值的页面。

Nofollow标签用来告诉蜘蛛,如果遇到带着此标签的页面或者链接,就不要继续追踪了,这样蜘蛛就可以爬行到其他更加有用的页面。方法二:在 Sitemap中定义不同页面的权重和更新频率,就是在网站的 Sitemap文件中,定义好每个链接的权重和更新的频率,这样蜘蛛在爬行到这些链接和页面的时候,会识别哪些页面比较重要,可以重点抓取,哪些页面更新比较频繁,需要蜘蛛分配更多的注意力,。