你对robots.txt知多少,它的作用有哪些?

  新手SEO站长可能很少了解robots.txt文件,因为这个文件通常写好之后基本是不会再修改了的。当然,除非某天你不想蜘蛛抓取你的网站了,或者网站有私密文件禁止公开,这个时候就可以通过修改robots.txt文件的语法了,具体的语法这里就不阐述了。

  虽然robots.txt在日常SEO工作中很少触碰,但它存在的意义却是非常大的。Robots的作用已经不在局限于网页的隐私了,还在于页面某些路径的清理,如删除死链非常管用。下面随尹华峰SEO技术博客来全面认清真正的robots.txt文件。

你对robots.txt知多少,它的作用有哪些?

  一、什么是robots.txt文件?

  robots.txt它是一个文本的文件,是一种存放于网站根目录下的文本文件,它通常会告诉搜索引擎的抓取程序(又称网络爬虫或蜘蛛),这个网站中有哪些内容不应该被搜索引擎的抓取程序获取的,又有哪些是可以被抓取程序获取的。

  robots.txt这个robots必须是要小写的,这是跟网络蜘蛛建立的一个协议,网络蜘蛛来你的网站的时候第一会去看的就是你网站根目录的robots.txt协议文件,它会根据你的规定来进行抓取,但是有些傲娇的网络蜘蛛它不遵循规则,一般网络蜘蛛都会会遵循的,要是你网站根目录没有这个文件的话网络蜘蛛就会沿着我们网站上面的链接一个一个进行抓取。

  二、robots.txt的作用有哪些?

  (1)它可以引导搜索引擎的蜘蛛抓取指定的栏目或者是内容。相当于你去一个陌生的城市,有人给你带路一样。

  (2)当我们网站改版或者是URL重写优化时屏蔽不好的链接。不到万不得已千万不要进行网站改版,这个对网站伤害很大的,会引起降权或者是排名收录全掉。

  (3)可以屏蔽死链接和404错误页面。随着网站壮大,死链接和404错误页面是在所难免的。

  (4)屏蔽那些无内容和无价值的页面。

  (5)屏蔽重复页面,比如说评论页、搜索结果页。

  (6)屏蔽任何不想被收录的页面。

  (7)引导蜘蛛来抓取网站地图。让蜘蛛更快速来爬取我们网站的链接。

  总结:因为robots.txt文件是网站跟蜘蛛的一个协议,蜘蛛来抓取网站时必然先(理论上)遵守协议。所以很多网站robots.txt文件就出现了一种情况,那就是把网站地图sitemap放进去,如峰峰的博客也不例外哦,这样自然是为了吸引蜘蛛快速抓取网站链接,便于收录。还有就是查询别的网站robots.txt文件时,可直接在域名后面加一个robots.txt即可一览无遗。

免责声明:务必仔细阅读

  • 本站为个人博客,博客所转载的一切破解、path、补丁、注册机和注册信息及软件等资源文章仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。

  • 本站为非盈利性站点,打赏作为用户喜欢本站捐赠打赏功能,本站不贩卖软件等资源,所有内容不作为商业行为。

  • 本博客的文章中涉及的任何解锁和解密分析脚本,仅用于测试和学习研究,禁止用于商业用途,不能保证其合法性,准确性,完整性和有效性,请根据情况自行判断.

  • 本博客的任何内容,未经许可禁止任何公众号、自媒体进行任何形式的转载、发布。

  • 博客对任何脚本资源教程问题概不负责,包括但不限于由任何脚本资源教程错误导致的任何损失或损害.

  • 间接使用相关资源或者参照文章的任何用户,包括但不限于建立VPS或在某些行为违反国家/地区法律或相关法规的情况下进行传播, 博客对于由此引起的任何隐私泄漏或其他后果概不负责.

  • 请勿将博客的任何内容用于商业或非法目的,否则后果自负.

  • 如果任何单位或个人认为该博客的任何内容可能涉嫌侵犯其权利,则应及时通知并提供身份证明,所有权证明至admin@proyy.com.我们将在收到认证文件后删除相关内容.

  • 任何以任何方式查看此博客的任何内容的人或直接或间接使用该博客的任何内容的使用者都应仔细阅读此声明。博客保留随时更改或补充此免责声明的权利。一旦使用并复制了博客的任何内容,则视为您已接受此免责声明.

您必须在下载后的24小时内从计算机或手机中完全删除以上内容.

您使用或者复制了本博客的任何内容,则视为已接受此声明,请仔细阅读


更多福利请关注一一网络微信公众号或者小程序

一一网络微信公众号
打个小广告,宝塔服务器面板,我用的也是,很方便,重点是免费的也能用,没钱太难了,穷鬼一个,一键全能部署及管理,送你3188元礼包,点我领取https://www.bt.cn/?invite_code=MV9kY3ZwbXo=


一一网络 » 你对robots.txt知多少,它的作用有哪些?

发表评论

发表评论

一一网络-提供最优质的文章集合

立即查看 了解详情