Robots文件规范写法

Robots文件是用以告诉百度蜘蛛网站的哪些页面可以被抓取，哪些页面不可以被抓取。

一般使用robots.txt文件是为了禁止搜索引擎蜘蛛抓取无效页面，集中权值到主要页面和设置访问权限保护网站安全。

robots.txt文件规范写法格式：

1、禁止抓取写法

User-agent :* （*表示所有类型蜘蛛，也可以自行定义搜索引擎蜘蛛，如User-agent : Baiduspider）

Disallow : / （禁止抓取文件或目录）

2、允许抓取写法

User-agent : *（定义搜索引擎蜘蛛）

Allow : / （允许抓取）

注：

1、使用*和$：Baiduspider支持使用通配符*和$来模糊匹配url。

2、*匹配0或多个任意字符

3、$匹配行结束符。

如果不知道怎么写robots.txt，可以参照图片中的详细举例说明自行修改。

robots.txt文件需要放在网站根目录生效，一般写好Robots.txt文件后，建议用校验工具查看您网站robots.txt文件在百度生效的情况。