Bing宣布了增强的Robots.txt测试工具。该工具满足了重要的需求，因为输入错误的robots.txt可能会导致意外的SEO结果。制作完美的robots.txt文件是必不可少的，也是英文SEO的头等大事。

robots.txt文件是一个告诉搜索引擎抓取工具在网站上可以做什么和不可以做什么的文件。robots.txt文件是发布者可以对bing推广进行控制的几种方式之一。

Bing Robots.txt测试工具的屏幕截图

即使您不需要阻止搜索搜寻器，也要保留一个搜索器，以免生成不必要的404错误日志表示法仍然很重要。

对Robots.txt文件的错误可能会导致搜索引擎抓取它们不应该建立索引的页面。

robots.txt文件中的意外条目也可能导致网页无法排名，因为它们被意外阻止。

robots.txt文件中的错误是搜索排名问题的常见原因。这就是Bing增强的robots.txt测试工具如此重要的原因

主动使用Robots.txt测试和诊断

发布者现在可以主动查看和测试其Robots.txt文件。

测试以查看搜索搜寻器如何响应robots.txt并诊断可能的问题是可以帮助发布商进行SEO的重要功能。

该工具还可以帮助搜索审核顾问确定需要纠正的可能问题。

如Bing所述，Bing的新工具满足了重要的需求：

“尽管机器人排除协议可以通知网络机器人和爬虫，不应对网站的哪些部分进行处理或扫描，但搜索引擎和参数的不断增长迫使网站管理员在数百万个文件夹中搜索他们的robots.txt文件在其托管服务器上进行编辑，而无须进行指导，最后由于不受欢迎的搜寻器问题仍然存在，导致工作人员scratch之以鼻。”

Bing robots.txt工具采取了以下操作来提供可操作的信息：

1. 分析robots.txt
2. 找出问题
3. 指导发布者完成获取和上传过程。
4. 检查允许/禁止语句

5. 根据必应：

   “ Robots.txt测试人员不仅可以帮助网站管理员分析他们的robots.txt文件，而且可以突出显示可能导致他们无法被Bing和其他机器人最佳抓取的问题；但是，还可以逐步引导他们从获取最新文件到在适当的地址上载相同的文件。

   网站管理员可以将网址提交给robots.txt测试工具，该工具的运行方式与Bingbot和BingAdsBot一样，可以检查robots.txt文件并验证相应的URL是否被允许或阻止。”

   robots.txt测试工具的一个有用功能是，它会在编辑器中显示robots.txt的四个版本，分别对应带有和不带有WWW前缀的安全和不安全版本，即

6. http：//
7. https：//
8. http：// www
9. https：// www。

本文由上海上弦发布，不代表上海上弦立场，转载联系作者并注明出处：https://www.sun.sh.cn/bing-robots-txt-testing-tool