Google Search Console 网址无法编入索引，提示: "失败：Robots.txt 无法访问"

当发布文章后，可能需要手动在 Google Search Console 提交我们的网页地址，以便蜘蛛能尽早的来爬取收录我的页面，让文章更早的能够被用户搜索到。

正常其情况下，网页都可以正常检查提交，等待被收录，但今天却出了问题，我们提交网址后，提示我们"网址尚未收录到 Google".

之后我们点击“测试实际版本”，提示如下：

根据错误提示可以看出是因为 google 无法访问我们的 robots.txt 文件导致的

解决办法

在翻阅了 google 的相关文档后，我们找到了解决办法。

如何解决：robots.txt 导致无法抓取桌面版页面
部分商品指定的着陆页（通过链接 [link] 属性指定）无法供 Google 抓取，因为 robots.txt 禁止 Google 抓取工具下载这些着陆页。在我们能够抓取这些着陆页之前，这些商品将保持拒批状态并停止在购物广告和非付费商品详情中展示。
更新网络服务器上的 robots.txt 文件以允许 Google 抓取工具获取您提供的着陆页。robots.txt 文件通常位于网络服务器的根目录下（如 http://www.example.com/robots.txt）。
为了让我们能够访问您的整个网站，请确保您的 robots.txt 文件允许“Googlebot”（用于着陆页）和“Googlebot-image”（用于图片）这两个用户代理抓取您的整个网站。
您可以按照下列方式更改您的 robots.txt 文件，以允许抓取整个网站：
User-agent: Googlebot
Disallow:
User-agent: Googlebot-image
Disallow:

按照上面的要求修改我们的 robots.txt 即可，参考文档：https://support.google.com/merchants/answer/6098185?hl=zh-Hans

这里有个疑惑点，就是我们的 robot.txt 一直都是一个空文件，里面什么内容都没有，之前提交检查收录没有任何问题，但是今天却不行了，不知道是 google 最近是不是有什么更新策略。