Screaming Frog (国内名：尖叫青蛙)是一款老牌网站爬虫工具，它会通过你提供的网站主域爬取你的网站，并获取你网站里所有的网页以及关键元素，并实时提供分析报告。算一款站内白帽SEO审计工具，可以帮助站长快速的找到网站存在的一些SEO相关的问题。
官方网址：https://www.screamingfrog.co.uk/ （可以免费试用，有1000条日志限制）
售价：139美金每年
外贸基地内部提供正版账号共享使用，300元一年一台。（本站包年Vip客户可免费使用）
Screaming Frog软件主界面：
使用教程：
SEO 蜘蛛入门指南
本指南旨在帮助初学者开始使用Screaming Frog SEO Spider。它涵盖了初始设置、如何开始爬网以及查看报告和发现的问题。
安装
首先，您需要下载并安装免费的SEO Spider，一次最多可爬行 500 个 URL。它适用于 Windows、MacOS 和 Ubuntu。只需点击下面的下载按钮即可。
接下来，双击下载的 SEO Spider 安装文件，然后按照安装程序中的步骤进行操作。
您可以购买许可证，它消除了 500 个 URL 抓取限制，开放了配置并提供对更高级功能的访问。查看我们的定价页面以比较免费与付费功能。
许可证激活
如果您想使用免费版本，则可以忽略此步骤。但是，如果您希望抓取超过 500 个 URL、保存并重新打开抓取并访问高级功能，那么您可以购买许可证。
当您购买许可证时，您将获得一个用户名和许可证密钥，应在应用程序中的“许可证 > 输入许可证密钥”下输入。
输入正确后，许可证将显示其有效并显示到期日期。然后，您将需要重新启动应用程序以删除抓取限制并启用对配置和付费功能的访问。
如果许可证显示无效，请阅读我们有关常见无效许可证问题的常见问题解答以进行故障排除。
内存和存储设置
如果您使用的是免费版本，或者只想直接进行爬网，则可以忽略此步骤。但是，如果您使用付费版本，我们建议您从一开始就进行设置。
如果您有SSD，我们建议切换到数据库存储模式。转到“文件>设置>存储模式”并选择“数据库存储模式”。
数据库存储模式提供了巨大的好处，包括允许 SEO Spider 抓取更多 URL、自动存储抓取数据并允许您更快地访问旧抓取。
如果您没有 SSD，请坚持使用 RAM 存储模式。如果您有足够的可用 RAM，您仍然可以保存爬网并爬网大量 URL。现在您就可以开始爬行了！
开始爬行
爬行有两种主要模式。默认的“蜘蛛”模式可抓取网站，或“列表”模式可让您上传要抓取的 URL 列表。
您可以通过将主页插入“输入蜘蛛的 URL”字段并单击“开始”来启动常规“蜘蛛”爬网。
这将抓取并审核输入的 URL，以及它可以通过同一子域上的页面 HTML 中的超链接发现的所有 URL。
抓取会实时更新，在应用程序底部可以查看已完成和剩余的 URL 的速度和总数。
您可以单击“暂停”，也可以随时“恢复”抓取。您还可以保存爬网并稍后恢复，稍后将详细介绍如何保存。
如果您希望抓取 URL 列表而不是整个网站，请单击“模式 > 列表”上传或粘贴 URL 列表。
配置抓取
您不需要调整配置来抓取网站，因为 SEO Spider 默认设置为以与 Google 类似的方式抓取。
但是，您可以通过多种方法配置爬网以获取所需的数据。查看该工具中“配置”下的选项，并参阅我们的用户指南以了解每个设置的详细信息。
控制爬网内容的一些最常见方法是爬网特定子文件夹、使用排除（以避免按 URL 模式爬网 URL）或包含功能。
如果您的网站依赖 JavaScript 来填充内容，您还可以在“配置 > Spider > 渲染”下切换到JavaScript 渲染模式。
这意味着 JavaScript 被执行，SEO Spider 将抓取渲染的 HTML 中的内容和链接。
查看抓取数据
抓取的数据会实时填充到 SEO Spider 中并显示在选项卡中。 “内部”选项卡包括在爬网中发现的正在爬网的网站的所有数据。您可以向上、向下和向右滚动以查看各个列中的所有数据。
这些选项卡侧重于不同的元素，每个选项卡都具有过滤器，可帮助按类型和发现的潜在问题优化数据。
例如，“响应代码”选项卡和“客户端错误 (4xx)”过滤器将向您显示发现的任何 404 页面。
您可以单击顶部窗口中的 URL，然后单击底部的选项卡以填充下部窗口窗格。
这些选项卡提供有关 URL 的更多详细信息，例如它们的内链接（链接到它们的页面）、外链接（它们链接到的页面）、图像、资源等等。
在上面的示例中，我们可以看到抓取过程中发现的损坏链接的内链。
查找错误和问题
右侧窗口的“概述”选项卡显示每个选项卡和过滤器中包含的爬网数据的摘要。
滚动浏览每个部分以探索数据并识别潜在的错误和问题，而无需单击每个选项卡和过滤器。
对于大多数过滤器来说，受影响的 URL 数量会在抓取过程中实时更新，您可以单击它们以直接转到相关选项卡和过滤器。
还有一个“问题”右侧选项卡，其中详细介绍了发现的问题、警告和机会。
每个问题和可能采取的措施的应用内解释均以英语、德语、西班牙语、法语和意大利语提供。
每个问题都有一个“类型”和基于潜在影响的估计“优先级”。
- 问题是理想情况下应该修复的错误或问题。
- 机会是优化和改进的潜在领域。
- 警告不一定是问题，但应该检查并可能修复。
例如，“Robots.txt 阻止的内部 URL”将被归类为“警告”，但优先级为“高”，因为如果错误地禁止，可能会产生重大影响。
“问题”选项卡是快速识别顶级问题并直接深入研究这些问题的有用方法，作为“概述”选项卡的替代方案。对于 SEO 专业知识较少的用户来说，它有助于提供更多改进网站的方向和指导。所有问题都应由具有专业知识的用户验证，因为 SEO 需要上下文并且可能很细微。
探索这些提示，如果您不确定问题的含义，只需参阅问题选项卡中的应用内描述或我们的用户指南。
每个选项卡都有一个部分（例如页面标题、规范和指令），用于解释每个列和过滤器。
导出数据
您可以通过爬网将所有数据导出到电子表格中。只需单击左上角的“导出”按钮即可从顶部窗口选项卡和过滤器导出数据。
要导出下部窗口数据，请右键单击顶部窗口中要从中导出数据的 URL，然后单击选项之一。
顶层菜单下还有一个“批量导出”选项。这允许您导出源链接，例如具有特定状态代码（例如 2XX、3XX、4XX 或 5XX 响应）的 URL 的“内链接”。
在上面，选择上面的“客户端错误 4XX 链接”选项将导出所有错误页面（链接到 404 错误页面的页面）的所有链接。
所有问题都可以通过“批量导出>问题>全部”批量导出。这会将发现的每个问题（包括其“内链接”变体，例如损坏的链接）导出为文件夹中的单独电子表格（作为 CSV、Excel 和表格）。
保存并打开爬网
您只能使用许可证保存和打开爬网。在默认内存存储模式下，您可以随时（暂停或完成时）保存爬网并通过选择“文件>保存”或“文件>打开”重新打开。
在数据库存储模式下，爬网会在爬网期间自动“保存”并提交到数据库中。要打开爬网，请单击主菜单中的“文件 > 爬网”。
“爬网”窗口显示自动存储的爬网的概述，您可以在其中打开、重命名、组织到项目文件夹中、复制、导出或批量删除它们。
流行用途和高级功能
我们无法涵盖该工具中的所有用途和功能，因此我们建议您探索可用的选项，并在必要时参考我们完整的用户指南。
然而，我们已经编制了 SEO Spider 的一些最常见用途的列表，并提供了额外阅读的链接。
- 查找损坏的链接– 立即抓取网站并查找损坏的链接 (404) 和服务器错误。批量导出错误和源 URL 进行修复，或发送给开发人员。
- 审核重定向– 查找临时和永久重定向，识别重定向链和循环，或上传 URL 列表以在站点迁移中进行审核。
- 分析页面标题和元描述- 查看每个页面的页面标题和元描述，以发现未优化、缺失、重复、长或短的元素。
- 查看指令和规范- 查看被 robots.txt、元机器人或 X-Robots-Tag 指令（例如“noindex”或“nofollow”）阻止的 URL，并审核规范。
- 查找丢失的图像替代文本和属性– 查找缺少替代文本的图像并查看爬网中每个图像的替代文本。
- 检查重复内容- 分析网站是否存在完全相同的重复页面以及接近重复的“相似”内容。
- 抓取 JavaScript 网站– 使用集成的 Chromium WRS 渲染网页，以抓取动态、富含 JavaScript 的网站和框架，例如 Angular、React 和 Vue.js。
- 可视化站点架构– 使用交互式爬行和目录强制导向图以及树形图站点可视化来评估内部链接和 URL 结构。
- 生成 XML 站点地图– 快速创建 XML 站点地图和图像 XML 站点地图，对 URL 进行高级配置，包括上次修改、优先级和更改频率。
- 审核国际设置 (hreflang) – 通过 HTTP 标头或在 XML 站点地图中大规模查找 HTML 中的 hreflang 注释的常见错误和问题。
- 分析 PageSpeed 和 Core Web Vitals – 连接到 PSI API 以获取 Core Web Vitals（CrUX 现场数据）、Lighthouse 指标、速度机会和大规模诊断。
我们还编制了一些最受欢迎的功能的列表。
- 计划爬行– 计划爬行在 SEO Spider 中自动运行，作为一次性运行，或按选定的时间间隔运行。
- 比较爬网和分段– 跟踪 SEO 问题和机会的进度，并查看爬网之间发生的变化。使用高级 URL 映射将暂存环境与生产环境进行比较。
- 与 GA、GSC 和 PSI 集成– 连接到Google Analytics、 Search Console和PageSpeed Insights API，并在爬网中获取所有 URL 的用户和性能数据，以获得更深入的洞察。
- 自定义搜索 HTML – 在网站源代码中查找您想要的任何内容。无论是 Google Analytics 代码、特定文本还是代码等。
- 使用 XPath 提取数据– 使用 CSS 路径、XPath 或正则表达式从网页的 HTML 中收集任何数据。这可能包括社交元标签、附加标题、价格、SKU 等。
- 抓取暂存和开发站点– 使用基本、摘要或 Web 表单身份验证登录暂存网站。
- 通过命令行操作– 通过命令行以编程方式运行爬网，以与您自己的内部系统集成。
进一步支持
上面的指南应该有助于说明开始使用 SEO Spider 所需的简单步骤。
另请阅读我们的Screaming Frog SEO Spider 常见问题解答、完整用户指南和我们的YouTube 频道，了解有关该工具的更多信息。
评论