百度网站收录量下降怎么办:按当天、3天和两周排查
简答:百度网站收录量下降,先对照索引量、site结果和流量:流量稳定可先观察;三者同步变差,再查返回码、DNS、robots、URL和内容,修复后再提交。
定义:百度网站收录量下降,是指百度搜索资源平台索引量、site结果或搜索流量中的一项或多项相比此前减少,但三者不能直接等同。
先判断:索引量、site结果和流量分别怎么处理
如果你刚发现百度网站收录量下降,先不要批量删除文章、重写标题或修改URL。百度官方说明,索引量是“可以被搜索用户搜索到的网站数据库”,索引量不等于流量,并且会出现定期数据波动。索引量工具的数据最快每天更新,最迟一周更新一次。索引量工具使用说明
| 观察项 | 怎么查 | 初步判断 | 下一步 |
|---|---|---|---|
| 索引量 | 搜索资源平台的索引量工具 | 单日下降或曲线短期波动 | 先对照流量,不立即改站 |
| site结果 | 搜索框查询 site:你的域名 | 展示数量减少或结果变化 | 只作辅助样本,继续查平台数据 |
| 搜索流量 | 搜索资源平台的流量与关键词工具 | 流量稳定或同步下降 | 稳定先观察;同步下降时查抓取和内容 |
百度官方还说明,索引量下降不一定带来流量下降;如果流量连续几天没有明显变化,可以先观察,不必因为索引量变化立即重建网站。若流量也出现明显异常,再进入返回码、日志和内容排查。关于索引量工具数据异常的公告
当天完成:检查重要URL、返回码、DNS和抓取
先选首页、栏目页、近期文章、已提交URL和收录下降最明显的页面,至少抽查几类URL。不要只测试首页。
- 检查单个URL的真实返回码:不要用
-L跟随跳转,先执行curl -sS -o /dev/null -w 'status=%{http_code} redirect=%{redirect_url}\n' https://example.com/old-page。这样可以直接看到旧URL是否返回301以及跳转目标。 - 查看完整跳转链:另行执行
curl -sS -L -o /dev/null -w 'final=%{http_code} redirects=%{num_redirects}\n' https://example.com/old-page。这个命令用于查看最终状态和跳转次数,不用它代替第一步的301核验。 - 用GET查看响应头:执行
curl -sS -o /dev/null -D - https://example.com/article。部分服务器对HEAD和GET的处理不同,检查正文可访问性时不要只依赖curl -I。 - 检查DNS:执行
dig +short example.com,再从不同网络确认解析结果是否一致。若解析到错误IP或部分网络无法解析,先修复DNS,再判断收录问题。 - 使用抓取诊断:在搜索资源平台打开“抓取诊断”,检查抓取URL、状态码、抓取UA、网站IP、下载时长、响应头和源码是否正常。百度官方建议不仅看“抓取成功”,还要进入详情核对这些信息。网站建设
返回码要按页面真实状态设置:已永久迁移的URL使用301;确实不存在的页面使用404;临时关闭或维护时使用503。百度说明,长期返回503仍可能被视为失效链接,因此503不能作为永久替代方案。百度搜索引擎优化指南2.0
当天完成:核对robots、noindex、canonical和Sitemap
直接打开 https://你的域名/robots.txt,检查新增的 Disallow 是否误拦截文章目录、栏目目录、CSS、JavaScript或Sitemap。
- robots.txt:重点确认重要URL和资源文件没有被误拦截。修改后使用抓取诊断复核,不要只凭文本判断生效结果。网站建设
- noindex:百度公开的robots说明重点涉及robots、nofollow和noarchive,并没有在该说明中明确承诺noindex是主要控制项。因此排查百度收录时,优先核对robots.txt、HTTP返回码、正文可见性、站内链接和页面质量,不要只改noindex。
- canonical:检查每个页面是否只有一个canonical,href是否指向可访问且内容对应的规范URL。百度资料说明,canonical适合处理内容相同或高度相似的页面,但百度不保证完全遵守该标签。再谈Canonical标签
- Sitemap:百度普通收录支持API、Sitemap和手动提交;Sitemap文件应直接列出URL。当前官方手册明确写明,搜索资源平台不再处理索引型Sitemap,提交时应使用直接包含URL的txt或xml文件。平台工具使用手册
3天内完成:从日志确认真实蜘蛛和异常状态
日志要覆盖当前文件、轮转文件和压缩文件,并把时间、IP、User-Agent、URL、状态码和响应耗时放在一起看。只搜索“Baiduspider”不够,因为User-Agent可以伪造。
Linux与Nginx示例
{ grep -h "Baiduspider" /var/log/nginx/access.log /var/log/nginx/access.log.1 2>/dev/null; zgrep -h "Baiduspider" /var/log/nginx/access.log.*.gz 2>/dev/null; } | awk '$9 ~ /^(403|404|429|500|502|503|504)$/ {print $4,$7,$9}'
上面的命令先筛选百度蜘蛛User-Agent,再统计403、404、429和5xx。它假设Nginx使用常见combined日志格式,$9是状态码字段;如果站点使用自定义log_format,需要先确认字段位置并调整命令。
验证真实百度蜘蛛时,对日志中的IP执行反向DNS:host IP地址。结果主机名应符合*.baidu.com或*.baidu.jp,再对得到的主机名做正向解析,确认解析结果回到日志中的原始IP。两步不一致时,不要直接把请求认定为百度蜘蛛。轻松两步,教你快速识别百度蜘蛛
如需测试服务器是否按User-Agent分流,可执行 curl -sS -A 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' -o /dev/null -w '%{http_code} %{time_total}\n' https://example.com/article。这只能测试UA规则,不能证明请求来源真实。重点关注重要URL集中返回403、429或5xx、请求超时,以及蜘蛛只能访问首页而不能访问文章和栏目。
3天内完成:复盘删页、改URL和博客内容
技术检查正常后,回看收录下降前后的发布、删除、迁移和模板上线记录。优先排查批量删文、目录变化、参数页大量生成、域名或协议切换,以及文章模板一次性修改。
| 条件 | 判断方法 | 处理方式 |
|---|---|---|
| 旧URL有对应新页面 | 新旧页面主题和内容有明确对应关系 | 旧URL一对一返回301,更新站内链接和Sitemap |
| 旧页面确实删除 | 没有替代内容,也不应继续访问 | 返回404,整理URL清单,必要时提交死链 |
| 页面能打开但正文不存在 | 出现“已删除”“内容不存在”或空模板 | 补充有效内容、301到对应替代页,或按真实状态返回404 |
| 文章疑似重复 | 抽取标题和首段,按相似主题分组,人工核对正文和结论 | 合并重复选题,保留一个能完整回答问题的页面 |
| 文章疑似批量拼接 | 抽查固定模板句、相同段落、无具体步骤和无独立结论的页面 | 补充真实操作、限制、结果和来源,不要只增加字数 |
| 大量文章没有搜索流量 | 按站内数据筛选长期无流量页面,再人工检查是否有需求、入口和独立价值 | 合并、重写或删除,先处理重复和空泛页面 |
对博客站,建议至少抽样20篇文章:记录标题、首段、主要关键词、页面状态、是否有站内入口和最近流量,再把问题分成重复选题、批量模板、缺少具体步骤、内容已过期四类。百度页面质量标准强调页面应提供对用户有价值的信息,因此复盘重点应放在页面是否真正解决问题,而不是单纯增加关键词。百度搜索页面质量标准
改版或换域名:先做301,再提交网站改版
如果收录下降发生在换域名、目录迁移或URL规则变化之后,不能只提交新Sitemap。先建立新旧URL对应关系,并确保旧URL通过301跳到对应的新URL。
- 仅换域名:在搜索资源平台“网站改版”工具中提交前后域名关系。
- 目录或参数规则变化:使用“规则改版”提交新旧URL规则;没有规律的URL则整理新旧URL对。
- 校验跳转:逐条抽查旧URL,确认301目标唯一、可访问且内容对应,避免多条旧URL全部跳首页。
- 更新页面信号:修改站内链接、canonical和Sitemap,使新URL成为站内主要入口。
- 保持跳转:百度官方说明,改版跳转关系应长期保持,直到新站流量稳定;改版规则提交后若长时间处于改版中,可通过反馈中心提交问题。网站改版
如果只是内容更新而URL没有变化,不属于网站改版工具处理范围,应直接修复页面并通过普通收录提交。百度普通收录包括API、Sitemap和手动提交,但提交不保证一定抓取或收录。详解平台工具的使用和常见问题
修复后:按顺序提交并观察
完成访问、URL和内容修复后,再提交资源。提交顺序可以这样安排:
- 新页面或已修复页面:先确认返回200、正文可见、没有错误跳转,再使用普通收录的API、Sitemap或手动提交。
- 已删除页面:确认真实返回404后,整理为死链文件提交。百度死链工具仅识别404数据,不要提交仍能正常访问的URL。详解平台工具的使用和常见问题
- 迁移页面:先确认301和新页面正常,再提交改版关系与新URL资源。
- 持续记录:同时记录索引量、搜索流量、重要URL返回码和真实蜘蛛日志,不用单日site结果判断恢复成功。
当天完成数据记录与访问检查;3天内完成日志、URL变更和内容抽样;两周内完成必要的301、404、内容合并、Sitemap更新和死链整理。若流量持续明显下降、抓取诊断持续失败或平台数据长期无法解释,再向搜索资源平台反馈,并附上时间、URL、状态码和日志证据。
常见问题
百度网站收录量下降,但流量没有下降,需要处理吗?
不一定需要立即处理。百度官方说明索引量不等于流量,索引量下降也不一定带来流量下降。先观察搜索流量、重要关键词和抓取日志;如果流量持续异常,再检查返回码、日志、URL和内容。来源:https://ziyuan.baidu.com/wiki/3141
site结果减少,是不是百度索引量也下降了?
不能直接等同。site结果只能作为搜索结果页的辅助样本,索引量应在搜索资源平台单独查看。建议同时对照索引量、流量和重要URL状态码,不要根据site数字单独改站。
robots.txt没有Disallow,为什么页面还是没有收录?
robots.txt没有拦截,只能说明抓取限制未发现明显问题,不能保证页面进入索引。还要检查返回码、正文是否可见、canonical是否指向错误URL、站内链接、重复内容和页面质量。robots与canonical的检查方法可参考:https://ziyuan.baidu.com/college/articleinfo?id=1400
百度收录下降后,应该先提交Sitemap还是先改内容?
先修复访问、返回码、URL和内容问题,再提交Sitemap或普通收录。百度明确说明,已提交数据不保证一定抓取和索引;Sitemap应直接列出URL,索引型Sitemap不予处理。来源:https://ziyuan.baidu.com/college/articleinfo?id=267&page=2
日志里出现Baiduspider,就能证明是真百度蜘蛛吗?
不能。User-Agent可以伪造,应先对IP做反向DNS,确认主机名符合*.baidu.com或*.baidu.jp,再正向解析回原始IP。来源:https://ziyuan.baidu.com/college/articleinfo?id=2855
批量删除文章后百度收录下降怎么办?
先区分删除是否合理:有对应新页面的旧URL使用一对一301;确实不存在且无替代内容的URL返回404并整理死链;仍有需求的页面不要直接删除,应合并或补充内容。
换域名后百度收录下降,除了301还要做什么?
除了建立新旧URL的301关系,还应在搜索资源平台的网站改版工具提交域名或URL规则,更新站内链接、canonical和Sitemap,并保持跳转关系直到新站流量稳定。来源:https://ziyuan.baidu.com/rewrite