可以在互联网上看到过时的机器人说明

htossain998

文件的开头或结尾注明。 如果地图是通过  Search Console 添加的，则不必在 robots 中指定 URL，但这不会造成任何损害。99% 的公共 robotstxt 模板必须包含站点地图。 在文件中保存正确的语法可确保搜索引擎机器人正确抓取内容。这对技术优化产生了积极的影

响，为项目的整体评分加分。 5 bot 不支持的 Robotstxt 指令 您，初学者会犯依赖它们的错误。这不会干扰正常的索引，也不会导致页面排名问题，但最好使文件适应正确的格式。 在查看历史悠久的项目的技术文件时，您经常会发现过时的指令。它们本身不会造含所有重要页 电话号码清单 面的链接非成伤害，因此搜索工作会忽略它们。但为了完美的网站优化，最好摆脱它们。 51 爬行延迟 此前，该指令完全符合正确的 robotstxt 格式。目前， 不支持它，因此



限制文件的扫描速度是没有意义的 - 机器人不会关注这些行。 Bing 仍然可以识别爬网延迟指令，因此您可以为适当的用户代理指定它。如果没有来自 Bing 的流量，就很难找到使用该指令的理由。 52 无索引  的帮助中心从未提及您可以使用 Noindex 指令阻止内容被编入索引。但到了2023年，一些站长仍然在这样做。 或者，您可以使用“禁止”来禁止扫描，并使用技术工具来限制服务器级别的访问。这些方法的组合将达到预期的结果。 53 不关注 该指令也不起作用，用于限制链接汁传输的类似