什么是IndexNow
IndexNow是一个由微软和Yandex搜索引擎编写的标准。该标准旨在为搜索引擎和其他爬虫提供一种有效的信号方式，让它们在何时抓取内容。Cloudflare的Crawler Hints现在就支持IndexNow。
Crawler Hints的作用
站点发生内容更改时，Crawler Hints会为搜索引擎和其他爬网程序提供高质量的数据。减少爬虫大量消耗源服务器资源，通过CloudFlare精准反馈给搜索引擎，从而达到精准爬取有效链接，及时更新内容，帮助搜索索引器在内容发生变化时做出更合理的决定。
如何为您的网站启用Crawler Hints
Crawler Hints对所有Cloudflare客户都是免费使用的。具体操作流程如下
- 登录到您的Cloudflare账户。
- 在仪表板上，导航到 "缓存 "选项卡。
- 单击 "配置 "部分。
- 找到Crawler Hints选项卡并启用。
Crawler Hints潜力何在
单靠Google重新抓取一个网站，往往需要几天或是更长的几周时间。如果在页面更改时重新提示Google爬虫，那么请求重新抓取和蜘蛛来访问之间有一个时间延迟，造成一种混乱状态。
当然我们的站点地图会帮助搜索引擎明确站点的目录结构，站点地图是一种定义明确的、开放的协议，用于告诉爬虫关于网站上的页面、它们最后一次变化的时间以及它们可能变化的频率。
网站地图有一些限制（关于URL的数量和字节），但确实有一个机制适用于有数百万URL的大型网站。但建立网站地图可能很复杂，需要特殊的软件。为一个网站（尤其是使用不同技术的网站）获得一个一致的、最新的网站地图可能非常困难。这时候Crawler Hints将会发挥巨大作用。
总的来说，Crawler Hints在最大程度上减轻了爬虫的压力，改善网站性能的同时可以有效更新在搜索引擎上的内容，是个非常棒的一个功能。
当然，Crawler Hint目前仍处于Beta阶段，有兴趣的朋友可以尝试这个CloudFlare新的功能。
Crawler Hints Update: Cloudflare Supports IndexNow and Announces General Availability
