您现在的位置是: 首页 » 网站建设 » Robots文件规范写法
网站建设

Robots文件规范写法

网站建设2020年11月21日 25人已围观

Robots文件是用以告诉百度蜘蛛网站的哪些页面可以被抓取,哪些页面不可以被抓取。

一般使用robots.txt文件是为了禁止搜索引擎蜘蛛抓取无效页面,集中权值到主要页面和设置访问权限保护网站安全。

robots.txt文件规范写法格式:

1、禁止抓取写法

User-agent :* (*表示所有类型蜘蛛,也可以自行定义搜索引擎蜘蛛,如User-agent : Baiduspider)

Disallow : / (禁止抓取文件或目录)

2、允许抓取写法

User-agent : *(定义搜索引擎蜘蛛)

Allow : / (允许抓取)

注:

1、使用*和$:Baiduspider支持使用通配符*和$来模糊匹配url。

2、*匹配0或多个任意字符

3、$匹配行结束符。

如果不知道怎么写robots.txt,可以参照图片中的详细举例说明自行修改。

网站运营中栏目排名优化技巧

robots.txt文件需要放在网站根目录生效,一般写好Robots.txt文件后,建议用校验工具查看您网站robots.txt文件在百度生效的情况。

文章评论

    发表评论

    电子邮件地址不会被公开。

站点信息
  • 站点运行:638天
  • 网站程序:Wordpress
  • 主题模板:bvseo
  • 文章统计:5815 条
  • 文章评论:4633 条
  • 微信公众号:扫描二维码,关注我们