诉搜索引擎不应抓取某些页面，但不保证它们不会这样做。为了防止索引，建议使用两个指令：noindex 和 nofollow。如果 robots.txt 文件不能阻止页面被索引，为什么我们还需要它？最重要的是，它加快了搜索机器人抓取页面的过程，并且还允许您设置优先级。从技术上讲，它会从搜索引擎中删除页面。
创建文件并将其添加到站点
创建 robots.txt 并不困难。您将需要任何文本编辑器（甚至是 Windows、MacOS 和其他操作系统中内置的标准程序）。该文件应 美国手机号码列表 包含的所有行都可以在 Google 上找到。大约文件内容：用户代理：*
可以填写User-agent后面的字段
默认星号表示对所有搜索引擎 设计有效 SEO 树的基本原则 开放访问。接下来，您可以通过列出对面所需的页面来指定允许或禁止。 Google 提供了一种特殊工具，您可以在将文件添加到网站之前使用它来测试文件。
创建并编辑文件后，您可以通过 Cpanel（“添加文件”菜单）将其上传到站点。请记住，并非所有搜索引擎都支持 robots.txt 文件。
如何在网站上查找 robots.txt 文件
找到robots.txt文件很简单：输入您 中国名录 的域名（网站的主URL），在末尾添加“/robots.txt”，然后其内容将显示在窗口中。否则，您没有任何与使用此文件相关的设置，或者之前尚未创建该文件。
Robots.txt 文件是公开可用的。您可以输入任何 URL，在行末尾添加“/robots.txt”，然后查看该站点的文件（如果有）。它还包含与特定域关联的任何站点地图的位置。
