网站具有哪些特征才能符合蜘蛛的口味

首先来说一下页面结构

第一,网页内容尽量少用JS

百度蜘蛛在抓取的时候,是不能抓取JS里面的内容的,所以站长们在做用户能看到的内容的时候,不要写在JS里面,否则会影响网页的正常收录。当然对于百度抓取的链接也不能放在JS里面,会影响链接被发现。

第二,网站布局符合移动友好标准

对于移动设备来说,具有特殊性,在做移动页面设计的时候,要区别PC端的特殊要求。

第三,索引页&索引页翻页友好型

在做PC端的索引页和翻页的时候如果可能尽量列举全部翻页,至少要包含最近一段时间的所有内容。在翻页的时候只使用“上一页”“下一页”是不利于搜索引擎对页面的充分抓取的。

另外对移动端也有特殊性,在使用下拉触发加载的时候建议下拉加载次数上限为3次,一定要避免无线下拉加载的设计。

网站具有哪些特征才能符合蜘蛛的口味

再来看一下抓取限制

1、避免预期以外的封禁

常见的预期意外的封禁有:建站模板中的封禁信息,服务器自动封禁策略,网站所在空间服务商封禁IP导致,在网站内容抓取异常时候可以考虑以上因素进行逐一排查。

2、使用标准重定向

在对网站改版的时候经常会出现页面的重定向跳转。

3、死链反馈

对于网站中出现死链接的时候,要设置百度蜘蛛抓取返回404的状态码以便百度蜘蛛能得到正确的反馈。

  • 智驰科技微信公众号
  • 扫一扫
  • weinxin
  • 客服主管微信号
  • 扫一扫
  • weinxin
avatar

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: