跳到主要内容

如何使用 SEO Spider 查找死链

2024-08-12

了解如何抓取您的网站并查找死链(404 错误),查看哪些页面链接到它们,链接文本,并批量导出。


如何查找死链

您可以免费(或付费)使用 Screaming Frog SEO Spider 来检查您网站上的死链(http 响应“404 未找到错误”)。

以下是一个关于如何使用该工具作为死链检查器的快速简易教程。首先,您需要下载 SEO Spider,它可以免费抓取多达 500 个 URL。您可以通过右侧边栏中的绿色按钮下载。

您可以使用付费版本抓取超过 500 个 URL。在我们的视频和下面的教程中,您可以查看在您的网站中查找死链的后续步骤。

1) 抓取网站

打开 SEO Spider,在“Enter URL to spider”框中键入或复制您要抓取的网站,然后点击“Start”。

查找死链

2) 点击“Response Codes”选项卡和“Client Error (4XX)”过滤器以查看死链

您可以等到抓取完成并达到 100%,或者您可以在抓取时通过导航到“Response Codes”选项卡并使用“Client Error 4XX”过滤器来查看 404 死链。

有两种方法可以做到这一点,您可以简单地点击顶部的“tab”并使用下拉过滤器 -

查看死链

或者,您可以使用右侧窗口的抓取概览窗格,然后直接点击“Response Codes”文件夹下的“Client Error (4xx)”树视图。无论您以哪种方式导航,它们都显示相同的结果。

通过右侧窗口查看 404 错误

此抓取概览窗格在抓取时会更新,因此您可以一目了然地看到您拥有的客户端错误 4XX 链接的数量。在上面的例子中,有 11 个客户端错误,占抓取中发现的链接的 0.12%。

作为一种偷懒的替代方法,“Issues”选项卡也会提醒您在抓取中发现的任何问题、警告或机会。如果发现任何死链,它们将在此处报告。

在 Issues 选项卡中报告的死链

在这种情况下,发现的死链是指向外部页面的。因此,它们被归类为低优先级警告。相比之下,内部死链被归类为高优先级问题,但此处未找到任何死链。

3) 通过点击“Inlinks”选项卡查看死链的来源

显然,您会想知道发现的死链的来源(网站上哪些 URL 链接到这些死链),以便可以修复它们。为此,请点击顶部窗口窗格中的 URL,然后点击底部的“Inlinks”选项卡以填充下部窗口窗格。

查看死链源页面

您可以点击上面查看更大的图像。正如您在本例中所看到的,有一个指向 Moz 网站的死链 (https://moz.com/help/guides/moz-api/mozscape/overview/free-vs-paid-access),该链接来自此页面 - https://www.screamingfrog.co.uk/seo-spider/user-guide/configuration/。

以下是下部窗口窗格的更近视图,其中详细说明了“inlinks”数据 -

死链的 Inlinks 特写

“From”是找到 404 死链的来源,而“To”是死链。您还可以看到锚文本、alt 文本(如果它是超链接的图像)以及链接是否被跟踪 (true) 或 nofollow (false)。

看起来我们网站上唯一的死链是外部链接(我们链接到的网站),但显然,如果您有任何内部死链,SEO Spider 会发现它们。

4) 使用“Bulk Export > Response Codes > Client Error (4XX) Inlinks”导出

如果您更喜欢在电子表格中查看数据,您可以使用顶级菜单中的“Bulk Export”、“Response Codes”和“Client Error (4XX) Inlinks”选项导出“source”URL 和“broken links”。

批量导出死链和源页面

这应该涵盖在网站上查找死链的大多数情况。

但是,“source”URL 是链接到 404 错误页面的最后一个页面。因此,有时“source”是一个重定向(并且可能在一系列重定向中)。您可以查看“source”是否为重定向,因为“Type”列将显示“HTTP Redirect”等。

为了快速找到这些错误的原始源页面,我们建议使用“Reports > Redirects > All Redirects”下的“All Redirects”导出。打开报告并将“final status code”列过滤为“404”。“Source”是原始源页面,“address”是最后一个源,“final address”是 404 URL。

您可以通过多种方式从 SEO Spider 导出数据,因此请阅读我们的用户指南,了解导出

抓取 URL 列表以查找死链

如果您有一个想要检查死链的 URL 列表,而不是抓取网站,那么您可以将它们以列表模式上传。

要切换到“list”模式,请点击顶部导航中的“mode > list”,然后您就可以选择粘贴 URL 或通过文件上传。

在列表模式下查找死链

在列表模式下,抓取深度会自动设置为“0”,因此它只会抓取上传的 URL。

可以通过“Config > Spider > Limits”和“Limit Crawl Depth”设置来调整此设置。例如,要抓取上传页面的出站链接,可以将其设置为“1”。

请参阅我们的指南,了解如何使用列表模式

查找损坏的“跳转链接”

跳转链接是一种有用的方式,可以使用链接上的命名锚点将用户链接到网页的特定部分,也称为“书签”、“命名锚点”和“跳过链接”。

这些损坏的书签无法像上面那样找到,因为它们不会响应 404 状态代码,而且它们经常被忽视。

您需要启用位于“Config > Spider > Advanced”中的“Crawl Fragment Identifiers”,抓取网站,然后在“URL”选项卡和“Broken Bookmark”过滤器下查看它们。

损坏的书签,又名跳转链接或锚链接

阅读我们的教程,了解查找损坏的跳转链接的完整演练。

希望以上指南有助于说明如何使用 SEO Spider 工具有效地检查死链。

另请阅读我们的 Screaming Frog SEO spider 常见问题解答 和完整的用户指南,以获取更多信息。