如何与恶意“蜘蛛”暗度陈仓?

  在做SEO的过程中,你是否遇到这样一种问题:服务器访问CPU使用率几乎100%,而且页面加载速度特别慢,貌似被DDOS攻击一样。
 
  经过一番审查才发现原来自己的目标网站被大量不相关的“爬虫”频繁的抓取,这对于一个小网站来讲,可能是灭顶之灾。
 
  因此,我们在做网站优化的时候,就需要针对特定蜘蛛有选择的引导。
如何与恶意“蜘蛛”暗度陈仓?
 
  那么,如何与恶意“蜘蛛”暗度陈仓?根据以往SEO经验分享,一一网络小潘SEO将通过如下内容阐述:
 
  1、搜索引擎爬虫
 
  对于国内的小伙伴,我们都知道在做SEO的过程中,我们面对的最常见的爬虫就是搜索引擎的爬虫,比如:百度蜘蛛,同时,还会面临各种搜索引擎的蜘蛛,比如:
 
  ①360Spider、SogouSpider、Bytespider
 
  ②Googlebot、Bingbot、Slurp、Teoma、ia_archiver、twiceler、MSNBot
 
  ③其他爬虫
 
  如何你没有刻意的配置你的robots.txt文件的话,理论上,你的目标页面是都可以抓取与爬行的,但对于一些中小网站,它偶尔会严重浪费自己的服务器资源。
 
  这个时候我们就需要做出有选择性的合理引导,特别是一些比较尴尬的问题,比如:你希望谷歌降低对网站爬行,而又不能完全屏蔽,你可能需要一些小技巧,比如:针对特定爬虫的访问,反馈不同的文章列表:
 
  ①控制更新频率的列表
 
  ②反馈大量重复性,内容农场的页面
 
  ③善意的“蜘蛛陷阱”比如:Flash
 
  ④如何对方SEO管理平台,可以调整抓取评论,适当调整一下
 
  虽然,这样的策略,很可能造成页面信誉度受损,但这是我能想到,针对这些不希望经常爬行,而又需要保持爬行的蜘蛛,合理控制抓取的一个相对“有效”的方法。
 
  2、链接分析爬虫
 
  从目前来看,一个SEO外链分析管理工具,每天需要耗费大量的服务器资源去全网爬行与检测每一个网站的页面链接。
 
  针对一些资源密集型的站点,每天可能爬行成千上万次,这样的爬虫屡见不鲜。
 
  如果你不想自身的网站参与其中,最简单的策略就是在robots协议中,全封闭这样的爬虫。
 
  3、内容采集爬虫
 
  但当我们面对一些恶意的内容采集爬虫而言,就相对的尴尬,对方往往是采用“隐身”的状态,比如:模拟知名搜索引擎蜘蛛的名称。
 
  针对这样的问题,我们只能手动的判断去审查一下对方的庐山真面,比如:利用IP泛解析命令,去判断一下,它到底是不是真的。
 
  ①Linux平台:hostip
 
  ②Widows平台:nslookupIP
 
  从而去判断对方的解析地址,是否为对应的搜索引擎域名。
 
  4、蜘蛛池爬虫
 
  目前市面上有很多人做百度蜘蛛池,它主要的目的是辅助更多的页面做百度快速收录,但由于一些任意下载的蜘蛛池程序设计的不规范化。
 
  没有做到合理的针对不同蜘蛛的爬行与限定,往往导致服务器资源被大量占用,很容易被服务商关停服务器。
 
  如果你试图利用这个策略,提升自己页面收录,那么,你可能需要多加注意。(但我们并不推荐)
 
  总结:SEO工作是一个细节性的工作,每个策略都影响着整站的运营状态,而上述内容只是浅析,适用于中小站长,仅供参考!
 
  

免责声明:务必仔细阅读

  • 本站为个人博客,博客所转载的一切破解、path、补丁、注册机和注册信息及软件等资源文章仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。

  • 本站为非盈利性站点,打赏作为用户喜欢本站捐赠打赏功能,本站不贩卖软件等资源,所有内容不作为商业行为。

  • 本博客的文章中涉及的任何解锁和解密分析脚本,仅用于测试和学习研究,禁止用于商业用途,不能保证其合法性,准确性,完整性和有效性,请根据情况自行判断.

  • 本博客的任何内容,未经许可禁止任何公众号、自媒体进行任何形式的转载、发布。

  • 博客对任何脚本资源教程问题概不负责,包括但不限于由任何脚本资源教程错误导致的任何损失或损害.

  • 间接使用相关资源或者参照文章的任何用户,包括但不限于建立VPS或在某些行为违反国家/地区法律或相关法规的情况下进行传播, 博客对于由此引起的任何隐私泄漏或其他后果概不负责.

  • 请勿将博客的任何内容用于商业或非法目的,否则后果自负.

  • 如果任何单位或个人认为该博客的任何内容可能涉嫌侵犯其权利,则应及时通知并提供身份证明,所有权证明至admin@proyy.com.我们将在收到认证文件后删除相关内容.

  • 任何以任何方式查看此博客的任何内容的人或直接或间接使用该博客的任何内容的使用者都应仔细阅读此声明。博客保留随时更改或补充此免责声明的权利。一旦使用并复制了博客的任何内容,则视为您已接受此免责声明.

您必须在下载后的24小时内从计算机或手机中完全删除以上内容.

您使用或者复制了本博客的任何内容,则视为已接受此声明,请仔细阅读


更多福利请关注一一网络微信公众号或者小程序

一一网络微信公众号
打个小广告,宝塔服务器面板,我用的也是,很方便,重点是免费的也能用,没钱太难了,穷鬼一个,一键全能部署及管理,送你3188元礼包,点我领取https://www.bt.cn/?invite_code=MV9kY3ZwbXo=


一一网络 » 如何与恶意“蜘蛛”暗度陈仓?

发表评论

发表评论

一一网络-提供最优质的文章集合

立即查看 了解详情