Forum Posts

Sharmin Akter
Jun 21, 2022
In General Discussions
可以将该“查看全部”页面通过管道传输到所有分页页面并完全忽略 rel=prev/next。缺点是“查看全部”页面很可能会出现在搜索结果中。如果页面加载时间过长,搜索访问者的跳出率会很高,这不是一件好事。如果没有 和链接元素,这些页面将竞争排名,并且您可能会面临重复内容过滤器的风险。如果实施得当,将告诉 Google 将序列视为一个页面,或者 rel=canonical 会将完整值分配给“ 手机号码大全列表 查看全部”页面。常见的编码问题如果您想要有机排名,良好的干净代码很 手机号码大全列表 重要。不幸的是,小错误会使爬虫感 到困惑并导致搜索结果出现严重障碍。这里有一些基本的东西要寻找: 1. 无限空间(又名蜘蛛陷阱)。糟糕的编码有时会无意中导致“无限空间”或“蜘蛛陷阱”。诸如指向相 手机号码大全列表 同内容的无休止的 URL,或包含以不同方式呈现的相同信息的页面(例如,对产品列表进行排序的数十种方式),或包含无限数量不同日期的日历等问题,都可能导致蜘蛛获取卡在一个循环中,这会很快耗尽您的抓取预算。在您的安全 404 错误页面超文本传输​​协议 (HTTP) 标头中 手机号码大全列表 错误地提供 200 状态代码是另一种向机器人提供没有有限边界的网站的方式。依靠 Googlebot 正确确定所有“软 404”对于您的抓取预算来说是一种危险的游戏。当机器人到达大量稀薄或重复的内容时,它最终会放弃,这可能意味着它永远无法到达您的最佳内容,并且您最终会在索引中获得一堆无用的页面。寻找蜘蛛陷阱有时会很棘手,但使用上述日志分析 手机号码大全列表 器或像 Deep Crawl 这样的第三方爬虫是一个不错的起点。您要查找的是不应该发生 手机号码大全列表 的机器人访问、不应该存在的 URL 或没有意义的子字符串。另一个线索可能是具有无限重复元素的 ,例如嵌入式内容。如果您希望有效地抓取您的网站,最好保持简单。机器人经常
得越来越好但尽 手机号码大全列表 content media
0
0
2
S
Sharmin Akter

Sharmin Akter

More actions