武安市seo培训：seo页面抓取调整方案

    以寺库网为案例的seo抓取调整方案如下：

    WWW页面

    1.屏蔽一搜和宜搜搜索引擎抓取

    一搜蜘蛛：YisouSpidero

    宜搜蜘蛛：EasouSpidero

    2.屏蔽栏目抓取

     (1)屏蔽栏目URL为数字的URL抓取。

     如/0/、/81/等栏目都需要屏蔽，具体有哪些，还请技术人员在网站数据库 中查询。

     (2)屏蔽/soldout/栏目抓取。

     通过后台查询，发现这类URL带来的搜索流量很少，占用的蜘蛛抓取过多， 所以屏蔽。

    3.404页面提交

    针对www页面的404更新到现有的404页面sitemap中，并在百度站长工 具中的死链提交手动更新。

    list页面

    1.屏蔽一搜和宜搜搜索引擎抓取

     一搜蜘蛛：YisouSpidero

     宜搜蜘蛛：EasouSpidero

    2. 404页面提交

     针对list页面的404更新到现有的404页面sitemap中，并在百度站长工具 中的死链提交手动更新。

    item页面

    1.屏蔽一搜和宜搜搜索引擎抓取

    一搜蜘蛛：YisouSpidero

    宜搜蜘蛛：EasouSpidero

    2.屏蔽栏目抓取

    屏蔽栏目 /recommendCache/> /uploads/old_pic/o

    3.404页面提交

    针对item页面的404更新到现有的404页面sitemap中，并在百度站长工 具中的死链提交手动更新。

    接着一周内出了《robots方案》《链接创建规则》《寺库网网址带参数问题 解决建议》《寺库网首页网页加载速度提升解决方案》。方案一定要做成傻瓜手册，尤其是技术部门，为了保证不犯错，最简单的就是复制粘贴，你的方案最 好不要让人有过多的思考，如果不能做到这个地步，至少要让技术人员一眼就 明白说的是什么问题。
本文标签：抓取页面 页面抓取方式有哪些 页面访问抓取 html页面抓取 网页页面内容抓取 页面数据抓取 indexof抓取页面 怎样抓取网页 js页面信息抓取

本文：武安市seo培训：seo页面抓取调整方案 为一一网络博客发布