robots.txt怎么写，网站如何正确的使用robots.txt

阅读量： 4 发布日期： 2022-11-03 09:24:35

1、robots是什么意思

Robots，全称是网络爬虫（Web Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一种说法是，网络机器人（Web Robot）。网络爬虫通常指自动抓取网页的程序或者脚本。网络爬虫也叫网页蜘蛛、小爬虫；网页机器人也称为大爬虫。网络爬虫一般遵循网页的链接来自动地抓取网页内容，所以也叫做自动化浏览器、自动化脚本。网络爬虫通常由两部分组成：1、爬虫引擎：负责管理网络爬虫的任务；2、爬虫：负责实际的网络爬取工作。

2、robots.txt怎么写

网站的robots.txt文件是一个包含网站上可供搜索引擎爬虫抓取的页面列表的文件。它通常位于网站根目录下，并以“robots.txt”命名。要想让搜索引擎爬虫正确的抓取网站上的内容，网站的robots.txt文件必须符合一定的格式规范。格式规范包括：1. 文件必须以“User-agent”开头，后面跟上搜索引擎爬虫的名称。2. 在“User-agent”后面可以跟上一个或多个“Disallow”，用来告诉搜索引擎爬虫不能抓取的页面。3. 在“Disallow”后面跟上一个或多个要禁止抓取的页面的路径。例如：

User-agent: *

Disallow: /api/

Disallow: /admin/

Disallow: /install/

Disallow: /page/

Disallow: /search/

Disallow: /system/

Sitemap: http://localhost/sitemap.xml

3：网站如何正确的使用robots

网站如何正确的使用robots？Robots.txt 是一个网络协议，它规定了搜索引擎蜘蛛如何访问网站的内容。网站设置 robots.txt 文件的目的是告诉搜索引擎蜘蛛哪些目录下的页面可以被索引，哪些目录下的页面不能被索引。一般情况下，robots.txt 文件会包含两个部分：User-agent：指明蜘蛛类型，对应的是搜索引擎蜘蛛的名字。Disallow：指明蜘蛛不能访问的目录或页面。

作者: bosscms，转载时必须经得同意并以链接形式注明作者和原始出处及本声明。

robots