士铭网络

士:始于一,终于十

铭:从金,从名,名亦声

首页>>技术知识>>robots怎么做?robots.txt对SEO有什么影响

robots怎么做?robots.txt对SEO有什么影响

作者:士铭网络 2021-05-28 浏览数:59

robots.txt是SEO工作中要注意的一个细节问题,有些需要进行网络营销的网站在上线后,由于错误设置导致网站长期不被搜索引擎收录,其实这个时候就可以看看robots.txt文件,是否禁止了蜘蛛的爬取。那么robots怎么做?robots.txt对SEO有什么影响?

robots.txt是放在网站根目录的一个txt文本文件。

简单的理解,搜索引擎蜘蛛爬取网站先会访问robots.txt文件,然后根据指引进行爬行网站,影响不言而喻。

robots是什么

Robots 协议 是 Web 站点 和 搜索 引擎 爬虫 交互 的 一种 方式, 将一个 robots. txt 的 文件 放在 网 站的 根 目录 上, 例如 http://www.shimingnet.com/robots.txt

百度官方给出的解释是:robots是站点与spider沟通的重要渠道,站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

百度搜索robots升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。

如您的网站未设置robots协议,百度搜索对网站视频URL的收录将包含视频播放页URL,及页面中的视频文件、视频周边文本等信息,搜索对已收录的短视频资源将对用户呈现为视频极速体验页。此外,综艺影视类长视频,搜索引擎仅收录页面URL。

在robots文件中,通常会看到User-agent和Disallow这两个开头,它们是Robots协议通过User-agent和Disallow告知搜索引擎非公开目录和非公开网页,说明如下。SEO企业咨询师

1、 User-agent:*:表示对一切搜索引擎爬虫有效,如果特别针对某个爬虫,则可以写明。

2、Disallow:/2004/ontaria/basic:表示禁止抓取这个目录。

通过遵守Robots协议,表示出爬虫尊重和执行Web站点的要求。爬虫需要有一个分析Robots协议的模块,并严格按照Robots协议的规定只抓取Web主机允许访问的目录和网页。

robots怎么做?

1、在本地新建一个后缀名为.txt的文件,文件名为robots.txt

2、写好robots.txt规则

User-agent: *

Disallow: 不希望搜索引擎访问的目录或url

Allow:希望搜索引擎访问的目录或url,用处与Disallow相反

Sitemap: http://www.***.com/sitemap.xml

3、保存写好的robots.txt文件

4、上传到服务器中,网站所在文件的根目录。

5、打开浏览器,在浏览器中输入http://www.***.com/robots.txt,查看robots.txt文件是否生效。

把以上的***.com替换为自己的域名。

注意:robots文件是SEO工作中重要的一个环节,也是容易被忽视的一个环节,如果网站上线后长时间未收录,可以通过查看robots.txt文件,查看是否禁止了搜索引擎爬虫对网站的爬取。



本文地址:http://www.shimingnet.com/14.html