Google Search Console 的 Discovered、Crawled、Duplicate、Soft 404、Blocked by robots.txt 和 noindex 有什么区别？
状态区别速查
Search Console原因 Google通常知道URL吗 是否已抓取内容 是否一定要修复
-----------
Discovered - currently not indexed 是 尚未抓取或没有近期抓取 重要URL长期如此才排查
Crawled - currently not indexed 是 是 重要原创URL需检查质量、重复与信号
Duplicate without user-selected canonical 是 通常已识别重复 若Google选择正确版本可不修
Duplicate, Google chose different canonical 是 是 需核对站长声明与Google选择
Alternate page with proper canonical 是 是或已充分识别 通常是正常状态
Soft 404 是 是 页面应存在则修内容；不存在则返回404/410
先确定目标：不是所有已知URL都该被索引
Google官方Page indexing帮助文档明确指出，不应追求100%覆盖。参数排序页、过滤组合、重复打印页、登录页、购物车和明确noindex页面本来就不需要成为搜索结果。网站目标应是每个重要内容集群的canonical版本可抓取、可索引，而非让每个技术URL都进入索引。
如果一个alternate URL因正确canonical被排除，这是去重机制正常工作。反过来，重要产品页显示“Crawled - currently not indexed”才值得调查。状态相同，业务含义可能完全不同。
建立URL清单时应标记每类模板的预期：INDEX、NOINDEX、REDIRECT、DUPLICATE/CANONICAL或REMOVED。没有预期矩阵，团队会把正常排除误当故障，反复修改本来正确的页面。
Discovered - currently not indexed：已发现但还没抓取
该状态表示Google发现了URL，但尚未抓取，或者当前报告没有可用于索引处理的抓取。发现来源可能是Sitemap、内部链接、外部链接、历史URL或其他页面引用。
新页面短期处于该状态并不异常。Google说明新内容索引可能需要几天，提交Sitemap或请求索引也不是即时保证。若大量重要URL长期积压，应检查站点是否生成近乎无限的参数URL、日历页和过滤组合，Googlebot是否在低价值空间消耗抓取资源，以及服务器是否在高峰期响应缓慢。
还应检查内部链接。只出现在Sitemap、没有任何可抓取导航路径的页面，通常比从相关栏目和正文获得清晰链接的页面更难被理解。XML Sitemap是发现信号，不替代站点信息架构。
“已发现”不代表Google认为内容合格，也不代表已读取canonical/noindex，因为页面尚未被完整抓取。不能用该状态证明页面代码中的SEO标签已经生效。
Crawled - currently not indexed：抓过但当前没进入索引
该状态说明Google抓取了页面，但当前没有把它纳入索引。Google可能未来重新评估，因此它不是永久处罚，也不提供单一可由站长直接修复的错误码。
常见排查方向包括：页面主体是否与其他URL高度重复，是否只有模板和极少独特信息，内容是否依赖Google未正确渲染的JavaScript，HTTP响应是否稳定，canonical信号是否互相冲突，内部链接是否把页面视为重要，站点是否大量生成近似低价值URL。
不要通过改发布日期、重复提交索引或批量增加无意义文字来“强制收录”。应使用URL Inspection查看Google抓取的HTML、截图、canonical和资源加载，并与live test对比。若渲染后主体为空或错误，先修技术问题；若内容可访问但价值重复，合并或重写信息架构。
报告只提供样本URL，不一定列出全部实例。应按模板和URL模式分析，而不是逐条点击修复。
Discovered与Crawled最关键的区别
Discovered阶段还没有最新内容证据，重点在发现、抓取需求、站点容量与URL空间；Crawled阶段已有抓取内容，重点转向渲染、重复、canonical和内容价值。
两者都不等于“抓取预算处罚”。小网站也可能因为新、链接弱或页面优先级低而等待。Google没有承诺每个可抓取URL都会被抓取和索引。
判断进展应看重要URL样本的last crawl、服务器日志中的Googlebot访问、索引状态变化和canonical选择，而不是只看总数日波动。
Duplicate without user-selected canonical
该原因表示Google识别到URL与其他页面重复，但站点没有明确声明canonical，Google自行选择了代表URL。若选中的版本符合业务预期，可以补充一致的canonical、内部链接和Sitemap信号，使意图更清晰；若选错，则要排查不同URL是否真的提供足够相同主体、参数页是否可无限生成，以及首选URL是否可索引。
Google官方文档说明canonicalization是选择一组重复页面代表URL的过程。Redirect与rel=canonical是强信号，Sitemap包含是较弱信号，但Google仍可能根据综合因素选择不同版本。
Duplicate不是“复制内容处罚”的同义词。网站内部存在HTTP/HTTPS、带参数、打印版和区域变体是常见现象，关键是信号一致和用户体验清晰。
Duplicate, Google chose different canonical than user
此状态表示站长声明了canonical，但Google认为另一个URL更具代表性。应在URL Inspection中分别查看User-declared canonical与Google-selected canonical。
常见冲突包括：页面A canonical到B，但Sitemap只列A；内部链接全部指向A；B重定向回A；A与B主体并不相似；hreflang指向不可索引或非canonical URL；HTTP与HTTPS版本行为不一致。
Canonical是提示而非绝对命令。修复应让重定向、canonical、Sitemap、内部链接、hreflang和协议版本朝同一首选URL收敛。不要在不同内容页面间滥用canonical试图转移排名信号。
Alternate page with proper canonical
该状态通常是好消息：当前URL是另一个canonical URL的alternate，且站点声明与Google理解一致。参数变体、移动替代版或其他重复访问入口可以处于此状态。
不要为了消除“未索引”数字而删除canonical。应检查Google选中的canonical确实返回200、可抓取、可索引，并包含需要呈现的主要内容。若alternate仍对用户有用，可以继续保留。
目标不是让alternate也进入索引，而是让搜索信号集中到正确代表版本。Google帮助文档明确说，重要canonical应被索引，duplicate或alternate不必被索引。
Soft 404：HTTP成功但内容像不存在
Soft 404通常发生在服务器返回200 OK，但页面显示“找不到”“商品已下架”或几乎没有主体内容。也可能重定向到与原URL无关的首页，使Google认为目标不存在。
如果资源永久不存在且没有合适替代，返回真实404或410。若有明确一对一替代，使用301/308到相关新URL。若页面应继续存在，则补全实际有用内容、修复数据加载错误，并确保状态码与渲染结果一致。
不要给所有失效URL返回首页200，也不要把大量无关页面统一重定向到栏目首页。这样会混淆用户与搜索引擎，并可能仍被判断soft 404。
使用URL Inspection live test查看Google渲染截图和页面源，确认服务器对Googlebot与普通用户没有返回不同空页面。
Blocked by robots.txt：禁止抓取，不等于可靠删除索引
robots.txt控制抓取许可。若URL被阻止，Googlebot不能读取页面内容，也就可能看不到HTML中的noindex和canonical。Google仍可能从外部链接等信息知道URL，并在极少数情况下以有限信息展示它。
因此，若目标是确保页面不出现在Google，不能同时用robots.txt阻止抓取并期待页面内noindex被读取。Google官方建议解除robots阻止，让Google读取noindex；或者对需要私密保护的内容使用认证，不能依赖robots.txt。
若Blocked状态对应管理后台或无限参数空间，可能完全符合预期。若对应重要canonical页面，应检查robots规则、通配路径、大小写、子域和响应状态，确保Google读取到的是当前robots文件。
Excluded by noindex：Google读取到了排除指令
noindex可以通过HTML meta robots或HTTP X-Robots-Tag发送。Search Console显示URL marked noindex，说明Google抓取时检测到该指令并未索引。
若页面本来就不应出现在搜索中，这是正常状态。若希望索引，应同时检查模板、CMS插件、HTTP头、CDN边缘规则和不同User-Agent响应，移除所有noindex来源。只删HTML meta但CDN仍发送X-Robots-Tag: noindex不会解决。
Live test可以确认当前版本是否仍检测到noindex，但live test可用不代表一定会索引；它只验证部分实时条件。移除后可以请求索引，并等待Google重新抓取处理。
Redirect状态：源URL通常不应单独索引
Search Console把重定向URL列为未索引通常是预期行为，Google会考虑目标URL。应验证链路没有循环、多跳、协议往返或目标不可索引。
永久迁移通常用301或308，临时状态用302或307，具体canonical信号还受其他因素影响。源URL继续出现在Sitemap或大量内部链接中会浪费抓取并发送冲突信号，应把站内链接和Sitemap更新到最终目标。
如果重定向到不相关页面，Google可能将其视为soft 404。目标必须是语义上合理的替代。
Server error、Redirect error和Access forbidden
5xx表示服务器在Google抓取时失败，可能来自应用、反向代理、CDN、WAF或超时。大量重要URL出现时应优先排查，因为持续不可用会阻止抓取和索引更新。查看服务器日志、边缘日志和Googlebot验证结果，避免把合法Googlebot误判为攻击流量。
Redirect error可能是循环、链过长、无效或最终目标不可达。Access forbidden常对应401/403，认证内容本来就不应公开索引，但公开页面遭WAF拦截则需修复。
不要对所有错误返回200自定义页面来美化状态，这会制造soft 404并掩盖监控。HTTP状态应诚实表达资源结果。
URL Inspection中的Index状态与Live Test不同
URL Inspection的已索引信息显示Google索引中保存的最近状态，可能来自数天前的抓取。Test live URL检查当前可访问版本的若干条件，不会立即更新索引，也不能测试所有索引问题。
Google帮助文档指出，某些状态例如Discovered - currently not indexed无法通过live test复现。Live URL available to Google也不保证最终会被索引，因为重复选择、内容质量和全站信号在live test范围之外。
排查时应把“索引快照”“实时页面”和“实际搜索呈现”分开记录，不能用一次live绿色结果宣称问题已解决。
Validate Fix与Request Indexing有什么区别
Validate Fix用于某一Page Indexing问题类别的批量验证流程。Google会先检查若干页面，再逐步验证队列中的已知实例。Request Indexing用于请求Google重新处理一个具体URL，不保证即时或一定收录。
Google说明，即使不点击Validate Fix，正常重新抓取也会更新问题实例。验证按钮不是修复动作；页面、模板和服务器必须先真正改好。反复点击不会加速，验证可能持续数天或更久。
如果按Sitemap过滤后开始validation，验证范围可能只包含该Sitemap中的实例。提交前应确认筛选器，避免误解“通过”覆盖了整个属性。
Sitemap在Page Indexing报告中的正确用法
Sitemap应主要列出希望成为canonical并被索引的200 URL。不要混入redirect、404、noindex或alternate URL。这样按Sitemap过滤报告时，未索引项更接近真正需要处理的业务页面。
Sitemap提交是发现和canonical弱信号，不是索引指令。lastmod应在主要内容真实变化时准确更新，不能每天批量伪造。Google是否抓取和索引仍取决于综合判断。
可以为不同模板或业务优先级拆分Sitemap，帮助观察问题集中在哪类页面，但不能通过制造大量Sitemap提高抓取配额。
按优先级处理而不是按数量处理
第一优先级是重要canonical页面的5xx、错误noindex、错误robots阻止和严重重定向故障。第二优先级是Google选择错误canonical、重要页面soft 404或渲染主体缺失。第三优先级是长期Discovered/Crawled未索引且确有独特价值的URL。
正常alternate、预期duplicate、预期noindex和已删除404通常不需要“修到绿色”。报表总数还可能因Google发现新URL、样本变化和状态重新分类而波动。
每次修复应按URL模板抽样，保存HTTP响应、rendered HTML、canonical、robots、Sitemap、内部链接和服务器日志证据。
一套可复现的排查流程
从Sitemap或业务清单选定应索引的canonical URL，而不是随机处理全部excluded URL。
用URL Inspection记录索引状态、last crawl、User-declared canonical和Google-selected canonical。
检查live URL的HTTP状态、响应头、robots许可、noindex、canonical和渲染内容。
从首页或相关栏目验证可抓取内部链接，确保链接不是仅靠脚本事件产生。
在服务器日志中确认Googlebot抓取状态、耗时和响应字节；验证访问者身份时使用Google官方方法。
按模板修复所有实例，再提交准确Sitemap或启动Validation。
等待重新抓取，比较索引快照与live test，不用搜索排名立即判断索引技术状态。
常见误区
“Not indexed都是错误”错误，因为duplicate、alternate、noindex和redirect可以符合设计。“提交Sitemap就必须收录”也错误，Sitemap只是发现和canonical信号之一。“Live test通过就已收录”混淆实时可访问性与索引处理。
“robots.txt能可靠移除已索引页面”忽略Google无法读取noindex。“每天请求索引能解决Crawled not indexed”忽略内容与重复问题。“给失效页面返回200更友好”会制造soft 404。