术语 · 实体
站点地图
站点地图（sitemap.xml）是列出站点可索引 URL 及其更新时间的 XML 文件，用于告诉抓取器站内有哪些页面、哪些最近变过。
站点地图（sitemap.xml）是列出站点可索引 URL 及其更新时间的 XML 文件，用于告诉抓取器站内有哪些页面、哪些最近变过。
协议由 sitemaps.org 定义（0.90 版），主流搜索引擎共同支持。单个文件最多 50,000 条 URL 且未压缩不超过 50MB，超出时用 sitemap 索引文件把多个分片串起来。常用字段是 loc（地址）与 lastmod（最后修改时间）。
提交方式
在 robots.txt 里加一行 Sitemap: https://…/sitemap.xml，或在各搜索引擎的站长平台提交。前者对所有抓取器可见，后者只对该平台生效。
该列什么
只列希望被收录的规范地址：与规范链接声明的版本一致，不列 noindex 页、重定向地址和被 robots 屏蔽的路径。lastmod 要如实反映内容变更，全站统一填成构建时间会让它失去参考价值。
作用与边界
站点地图是发现渠道，不是收录承诺——它帮助抓取器找到没有内链指向的新页面，尤其是内容量大、更新频繁的站点（也与抓取预算相关）。但页面值不值得抓、值不值得引用，取决于内容本身，与它在不在 sitemap 里无关。
- robots.txt —— robots.txt 是放在网站根目录的纯文本文件，用 User-agent 与 Disallow 规则告知抓取器哪些路径不要抓取，遵守与否取决于抓取方自愿。
- 规范链接 —— 规范链接（rel="canonical"）用来声明一组内容相同或高度相似的 URL 中哪一个是正式版本，把外部信号集中到这一个地址上。
- 抓取预算 —— 抓取预算是指抓取器在一段时间内愿意为某个站点花费的抓取量，由服务器承受能力与内容值不值得再抓两方面共同决定。