百度近日收录：入口正常但深层链路失效时，怎样定位断点
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /7fdc6c4455a6.html
📄
百度近日收录：入口正常但深层链路失效时，怎样定位断点
当入口页能被百度发现、抓取并收录，而更深层的列表页、分页或详情页长期没有进入收录，断点通常不在入口本身，而在入口到深层页之间的某一段链路。定位方法取决于一个前提：深层链接是服务端输出的静态或半静态链接，还是依赖前端脚本、接口或跳转才能生成。两种前提下的排查顺序完全不同，不能互相照搬。
先判断深层链接属于哪一种生成方式
把入口页返回的 HTML 保存下来，直接搜索深层页 URL 或它的路径片段。如果能搜到完整的 <a href="...">，说明链接在初始响应里就存在，问题更可能出在抓取调度、层级深度或深层页自身状态。如果搜不到，只有脚本、接口地址或占位符，说明链接是后续才生成的，百度抓到的初始 HTML 里没有可跟随的路径，断点就在渲染或接口这一段。
这个判断决定了后续动作。对服务端输出的链接，重点查日志里百度是否请求过深层 URL；对脚本生成的链接，重点查渲染后的 DOM 是否真的出现了链接，以及接口返回是否稳定。把两者混在一起查，容易把“没被请求”和“请求了但没被采用”当成同一个问题。
服务端输出链接时，用日志把断点缩到具体一层
假设入口页是栏目首页，深层是三级分类和详情页。先在服务器访问日志中按百度蜘蛛的 UA 过滤，观察它请求了哪些路径、返回了什么状态码、请求间隔是否异常。可区分的原因至少有以下几组：
- 日志里完全没有深层 URL：链接可能被放在需要交互才出现的位置，或入口到深层的跳数过多，抓取没有继续向下。
- 有请求但集中返回 3xx 或 4xx：链路在跳转或权限校验处断开，需要看跳转目标是否最终可达、是否对蜘蛛返回了不同结果。
- 有请求且返回 200，但内容为空或为占位：页面本身可达，问题在数据装配或模板渲染，而不是抓取通道。
- 有请求、有内容，但收录仍不出现：这属于抓取之后的选择问题，不能仅凭请求量归零或日志缺失就断定处理正确，缓存、重复内容、页面质量都可能是合理解释。
一个实际动作是：从入口页出发，手动构造一条到目标深层页的最短路径，把每一跳的 URL、状态码和最终可见正文记下来。如果这条最短路径能稳定返回完整内容，而日志中百度始终停在中间某一跳，就可以把断点锁定在这一跳，下一步只需针对这一跳调整链接暴露方式或跳转逻辑，而不是全站重做。
脚本生成链接时，先确认渲染结果而不是接口是否存在
如果深层链接由前端脚本或接口拼出，第一步不是看接口文档，而是看渲染完成后的页面里有没有可抓取的链接。可以用浏览器禁用脚本后再访问入口页，对比两次结果：禁用后深层链接消失，说明链接依赖脚本；启用后链接出现，还要确认这些链接是否在初始视口之外、是否需要滚动或点击才插入 DOM。
假设入口页通过接口返回分类列表，再由脚本渲染成链接。若接口在蜘蛛访问时段返回空数组或超时，渲染结果自然没有深层链接。此时可做的动作是：在服务端对同一份数据做一次兜底输出，把关键深层链接直接写进初始 HTML。这个动作的结果是，即使接口不稳定，入口页仍然向抓取暴露了可跟随的路径；下一步再观察日志中是否出现对这些深层 URL 的请求，以此判断断点是否已前移。
需要说明边界：这种做法适合链接数量可控、层级关键的页面，不适合把成千上万条链接一次性塞进入口页。链接规模过大时，抓取预算会被入口页自身消耗，深层页得到的调度反而更少。
哪些情况不能直接照搬上面的方法
个别样本成立不代表规模化后仍成立。手工验证一条路径可达，只能证明这条路径在当前时点可达，不能证明百度会按同样路径遍历全部深层页。当深层页数量从几十涨到几万，入口页的链接密度、层级深度和更新频率都会改变抓取行为，原来的最短路径结论可能失效。
另外，robots.txt 的抓取限制不等于可靠的索引移除，站点地图也不保证收录。如果深层链路断点伴随 robots 规则或站点地图提交，应把它们当作独立线索分别核查，而不是默认其中一项能解释全部现象。HTTPS 同理，它不保证页面安全无漏洞，也不保证排名，不能用来解释深层页为何未被采用。
当入口页正常、深层链路失效时，先分清链接是服务端输出还是脚本生成，再用日志或渲染结果把断点缩到具体一跳。对脚本生成的链接，服务端兜底输出是成本较低的一步；对服务端输出的链接，最短路径验证是更直接的证据。两者都只能定位断点，不能承诺收录结果，后续仍需用日志中的请求变化来判断调整是否让链路向前推进。
