Google 的 robots meta、X-Robots-Tag、noindex、nofollow、nosnippet、max-snippet 和 data-nosnippet 有什么区别？

快速对照

机制 放置位置 控制对象 是否需要Google抓取

-----------

robots.txt 站点根目录文本 URL抓取许可 先读取robots.txt

robots meta HTML中的meta HTML页面索引与呈现 需要访问HTML

X-Robots-Tag HTTP响应头 HTML及PDF、图片等资源 需要取得响应

noindex meta或响应头 不在搜索结果中展示资源 是

nofollow meta或响应头 不跟随页面中的链接 是

nosnippet meta或响应头 不展示文本摘要/视频预览 是

robots meta 是HTML页面级规则

典型写法：

name="robots"面向支持这些规则的搜索爬虫。Google也支持name="googlebot"，用于只针对Google文本搜索爬虫设置规则。

虽然Google文档说明其搜索系统也会识别body中的robots meta，工程上仍应把元数据稳定输出在有效HTML的head中，避免模板、流式渲染和第三方脚本造成重复或冲突。

X-Robots-Tag 是HTTP响应头

它能给PDF、图片、视频等没有HTML head的资源附加索引或呈现规则，也可用于HTML。语义与相同robots规则一致，差别主要在承载位置和可覆盖的资源类型。

CDN、反向代理和对象存储都可能添加、删除或合并响应头。验证时必须查看公网最终响应，而不是只读源站配置文件。

robots meta 与 X-Robots-Tag 可以同时存在

如果HTML meta与HTTP头同时给出规则，Google会综合适用于该crawler的限制。冲突时采用更严格结果，而不是“HTML覆盖HTTP”或“最后一个字段获胜”。

例如响应头为noindex、HTML为index，不能依靠index抵消noindex。修复误配置必须移除限制来源，并等待重新抓取，而不是再加一个相反标签。

`all` 是默认无限制状态

all表示对索引和呈现没有限制，显式写出通常没有效果。默认状态也是index, follow，Google文档说明无需专门声明。

index也不能强制Google收录，follow也不能保证所有链接被抓取。它们只是没有设置相应负向限制，最终发现、规范化、质量评估和服务仍由搜索系统决定。

`noindex` 控制是否出现在结果中

当Googlebot抓取页面并读取noindex后，Google会把该页面或资源从搜索结果中移除，无论其他网站是否链接它。

这不是即时删除。Google必须重新抓取才能看到新增规则；低频URL可能等待较长时间。需要快速临时隐藏时，可结合Search Console移除工具，但长期状态仍应由源站规则或内容本身决定。

noindex 不是访问控制

任何知道URL的人仍可直接访问返回200的noindex页面，其他爬虫也可能不遵守规则。机密、个人或付费内容应使用认证授权，必要时从公开互联网移除。

Google官方“控制分享内容”文档把密码保护和删除资源视为保护敏感内容的正确方式。不要把搜索指令当成安全边界。

robots.txt 阻止抓取会妨碍 noindex

若robots.txt先禁止Googlebot访问URL，Google无法读取HTML meta或X-Robots-Tag。因此“Disallow + noindex”并不比单独noindex更强，反而可能使移除过程失效。

要让Google发现noindex，应允许该URL被抓取并返回可读取规则。确认从索引移除后是否再限制抓取，需要结合长期目标审慎决定，且不能把旧状态假定为永久。

robots.txt 中的 noindex 不受Google支持

Noindex:不是Google支持的robots.txt规则。noindex应放在HTML robots meta或HTTP X-Robots-Tag中。

配置生成器若把页面索引策略错误写入robots.txt，会形成看似存在规则、实际不生效的隐患。自动测试应断言具体承载位置，不应只搜索字符串noindex。

`nofollow` 控制页面链接跟随

页面级nofollow告诉Google不要跟随该页面上的链接。它不等于noindex：页面本身仍可被索引；也不保证目标URL不会通过其他页面、Sitemap或外部链接被发现。

若只需标注某个特定链接，使用链接级rel="nofollow"、sponsored或ugc更精准。不要为一个不受信链接让整页所有内部导航失去跟随信号。

`none` 等价于两个限制

Google把none解释为noindex, nofollow。它不是“什么规则都没有”，与all恰好相反。

名称容易在CMS开关中被误读。界面应显示完整后果，并在生成测试中检查最终HTML与响应头，避免把none当作空值输出到生产模板。

`nosnippet` 控制整页摘要

nosnippet要求Google不为该页面显示文本摘要或视频预览。Google官方当前文档还说明，这会阻止页面内容被直接用作AI Overviews和AI Mode的输入；静态图片缩略图在某些用户体验场景仍可能出现。

它不等于noindex：页面仍可作为结果出现，只是结果可展示信息受到限制。减少摘要可能降低用户理解与点击意愿，应基于内容许可目标而不是排名猜测使用。

`max-snippet` 限制文本摘要长度

指定Google可用于文本摘要的最大字符数。max-snippet:0等价于nosnippet，max-snippet:-1表示允许Google选择其认为合适的长度。

缺少可解析数字时规则会被忽略。它不限制图片或视频预览，也不保证Google一定展示恰好指定长度的摘要。

`nosnippet` 与 max-snippet 冲突时更严格者生效

若页面同时出现nosnippet和max-snippet:50，Google采用nosnippet。多个meta标签、通用robots与googlebot专属规则也会累积适用的负向限制。

因此修复时必须盘点所有来源：SSR模板、客户端框架、插件、CDN响应头、Web服务器规则和文件类型location。只删除页面源码中的一处可能不够。

`max-image-preview` 控制图片预览尺寸

该规则允许的值为none、standard或large，用于指定Google搜索结果中该页面相关图片预览的最大尺寸类别。

它不是图片索引开关，也不修改原图尺寸。none限制预览不代表原图URL必然不被Google Images发现；如需控制图片资源本身，还要评估其独立响应、robots规则和授权访问。

`max-video-preview` 控制视频预览时长

max-video-preview:[number]限制视频预览最多多少秒。0表示最多使用静态图片，-1表示不设由Google选择的时长上限。

它控制结果呈现，不是视频播放权限或DRM。源视频仍需用内容授权和访问控制保护。

`notranslate` 控制翻译结果呈现

Google有时为与用户语言不同的结果提供翻译标题和摘要。notranslate请求不要为该页面提供这种翻译结果功能。

它不会改变页面lang、hreflang或实际内容语言，也不负责国际化canonical。若页面语言识别错误，应先修复内容与语言信号，而不是仅加notranslate。

`noimageindex` 针对页面中的图片

noimageindex请求不要索引该页面上嵌入的图片。它与页面noindex、图片URL自身的X-Robots-Tag和Google Images抓取路径有不同作用面。

同一图片出现在其他允许索引页面时，仍可能通过那些页面被发现。对许可敏感图片，应审查所有引用入口和资源级访问策略。

`unavailable_after` 设定停止展示时间

该规则可指定页面不应再出现在搜索结果中的日期/时间，适合有明确许可到期的内容。日期格式必须符合Google文档支持的格式。

它不是源站定时下线机制。到期后页面仍可能公开访问，且抓取和状态更新存在延迟；业务系统仍需独立执行真正的内容生命周期管理。

`indexifembedded` 只与 noindex 配合

indexifembedded允许页面在通过iframe或类似元素嵌入另一页面时被索引，即使它自身带有noindex。Google文档明确说明，它只有与noindex一起出现才有效。

这适合某些可嵌入媒体或组件：独立URL不进入结果，但嵌入上下文可以被理解。它不是允许iframe加载的安全策略，X-Frame-Options和CSP frame-ancestors仍由浏览器安全层控制。

`data-nosnippet` 只排除局部文本

Google支持在span、div和section上使用该布尔属性。它只影响这些部分是否用于搜索摘要，不把页面移出索引，也不阻止内容被抓取或用户查看。

data-nosnippet 的值不会改变真假

它是HTML布尔属性，存在即生效。因此：

仍然表示启用，而不是false。要取消必须移除整个属性。前端组件若把布尔false序列化成字符串，会造成意外排除。

data-nosnippet 需要有效、闭合的HTML

未闭合的div data-nosnippet可能使后续大段内容都被视为排除区域。自定义元素本身不是Google文档列出的支持元素，必要时应使用div、span或section包裹。

结构化数据即使位于data-nosnippet元素中，仍可用于搜索结果功能；该属性不是屏蔽结构化数据解析的工具。

不要通过JavaScript迟到地切换 data-nosnippet

Google通常渲染页面，但渲染并非保证。官方建议不要用JavaScript给既有节点动态添加或移除该属性；如果脚本创建新DOM元素，应在初次加入DOM时就带上属性。

SSR输出与渲染后DOM不一致会造成抓取批次之间结果不稳定。关键搜索控制应尽量在初始HTTP响应中确定。

crawler专属规则如何叠加

对Googlebot而言，适用规则合并为noindex, nofollow。专属规则不是覆盖通用规则的“最后一层配置”。

Google当前支持的meta user-agent token包括googlebot与googlebot-news等文档所列范围。拼错或使用不支持名称可能被忽略。

HTML大小写与字段解析

Google说明响应头、crawler名和规则值不区分大小写，但稳定工程输出仍应采用官方示例的小写指令，减少审计和测试差异。

多个规则可用逗号分隔，也可放在多个meta或多个X-Robots-Tag头中。代理合并头字段时应确保语法仍有效。

错误页不要只依赖 noindex

不存在的URL应返回404或410，而不是200加noindex。Soft 404、空结果页和错误模板的HTTP状态会影响抓取诊断与资源使用。

noindex适用于真实存在但不希望进入搜索的内容。若资源已经永久不存在，正确状态码能更直接表达事实。

Canonical 不能抵消 noindex

canonical是规范URL信号，noindex是不展示规则。把重复页面设为noindex并canonical到主页面，会向系统提供性质不同甚至令人困惑的信号。

Google遇到noindex时不会因为另有canonical就保证把该URL所有信号转移给目标。重复内容通常优先使用重定向或一致canonical；确实不应索引的页面才用noindex。

Sitemap 不能覆盖 robots 指令

URL出现在Sitemap中只是发现和规范URL信号，不会强制索引，也不会抵消noindex。持续把noindex URL放在Sitemap会让站点声明互相矛盾。

生产流程应让Sitemap只列希望索引的canonical 200页面，并在状态变更时同步验证，而不是依赖某一信号“优先级更高”。

一套部署前检查

明确目标：禁止抓取、禁止索引、限制摘要、限制图片预览或保护机密。

选择承载层：HTML用meta，非HTML与全局规则用X-Robots-Tag。

扫描所有模板、插件、代理和CDN是否重复注入。

确保需要识别noindex的URL没有被robots.txt阻止。

检查HTTP状态、canonical、Sitemap与内部链接是否与目标一致。

分别测试桌面/移动Googlebot可见的原始HTML、响应头和渲染DOM。

对批量规则先用小样本URL灰度，不要直接覆盖全站。

一套上线后验证

用curl -I或等效工具检查最终公网响应头，用查看源代码确认服务器初始meta，再用浏览器检查渲染后DOM。三者可能不同，必须分别记录。

在Search Console URL Inspection中查看Google抓取到的HTML和索引状态。变更noindex后请求重新抓取，并持续观察Page Indexing报告；不能以本地浏览器看到新标签就宣告生效。

常见误区

robots.txt Disallow 与 noindex 双保险更强

错误。Disallow可能阻止Google看到noindex，反而妨碍移出索引。

nofollow 会让目标页面无法被发现

错误。目标仍可能通过其他链接、Sitemap或外部来源被发现。

nosnippet 等于 noindex

错误。页面仍可出现在结果中，只是文本摘要和相关预览受限。

data-nosnippet="false" 表示关闭

错误。它是布尔属性，只要存在就生效，必须删除属性才能关闭。