要限制SE的爬行轨迹

edcv

一个页面放置的功能版块的顺序，是把最活跃的代码放在最前面。这样才能刺激SE蜘蛛对我们网站产生吸引力。GOOGLE抓页面2500个字左右。可能对有的面只抓取几十个字。如果首页设计，要调取的内容非常的多。可能我们的新闻版块是最活跃的，可能我们的产品是固定的展示。我们在SE的最近方，就放活跃度最高的版块，产品介绍，公司介绍，联系我们。

我们设置架构，要限制SE的爬行轨迹。每一块都是很重要的东西，这个情况下，要用程序造成相互串联。在串联的过程当中，不要串联的版块太多，路径太深。太深也不会去抓取，只会抓取4个以内的网页内容。

重点的是网站的新闻，SE直接爬到新闻版块。如果新闻又分为行业新闻、国际新闻，它就会逐渐往下延伸。

搜索引擎对重要页面的抓取。由于互联网中信息量极其庞大，为了向用户展示更多有价值的信息，搜索引擎会优先抓取每个网站中相对重要的页面(即权重较高的页面)然而，搜索引擎是怎样发现这些重要页面的呢?根据重要页面的链接指向的页面可能是重要页面的思路；搜索引擎首先会从权重相对较高的页面(即源页面)出发跟踪其中的链接，从而抓取其他相对重要的页面