macOS清理工具 Adobe AI智能工具 压缩工具 PDF工具合集 jetBrains Apple Microsoft Office 视频 moho crossover 截图
WebScraper

WebScraper 4.15.9

网站爬虫与网页数据采集工具

Version
4.15.9
Size
5.77 MB
macOS
Mojave 10.14
Architecture
Intel(64x) ARM
Category
编程开发

WebScraper 是 PeacockMedia 开发的一款 macOS 原生网页抓取工具,主要用于扫描网站、提取网页信息以及归档网站内容。用户只需要输入起始网址,软件便可以沿着网页链接自动爬取相关页面,并根据设置提取需要的数据。 与只能获取网页标题或链接的简单抓取工具不同,WebScraper 提供了比较灵活的数据提取配置。用户可以收集网页标题、元数据、正文内容,也可以通过 HTML 元素的 Class、ID 或正则表达式提取指定信息。最终结果能够导出为 CSV、JSON 或文本文件,方便后续使用 Excel、Numbers 或其他程序进行整理和处理。 除了从网站自动发现页面,WebScraper 也支持导入 TXT 或 CSV 格式的 URL 列表,逐个访问指定网页并提取数据。对于需要批量采集产品信息、整理网页资料、提取网站内容或保存文字档案的用户,这是一款实用的桌面工具。

主要功能
网站自动爬取

输入网站起始地址后,WebScraper 可以自动发现页面链接,并按照设定的范围继续扫描网站。 用户可以设置最大爬取深度、链接数量和结果行数,也能通过黑名单和白名单限制爬取范围。例如,只扫描某个目录下的页面,或者排除包含特定关键词的 URL。 软件还支持设置并发线程和每分钟请求数量,控制扫描速度,减少对目标网站服务器造成的压力。

批量 URL 列表采集

除了从网站首页开始爬取,WebScraper 还可以直接读取本地 TXT 或 CSV 文件中的 URL 列表。 导入后,用户可以选择只采集列表中的网页,或者以这些网页为起点继续向下爬取。对于已经整理好目标页面地址的批量采集任务,这种方式更加直接。

网页内容与元数据提取

WebScraper 支持多种数据提取方式,用户可以根据目标网页结构选择合适的字段。

软件提供 Class Helper 和 Regex Helper 辅助工具,可以查看页面中的 HTML 元素及其内容,或测试正则表达式的匹配结果,降低配置数据提取规则的难度。

CSV、JSON 与文本导出

WebScraper 支持根据采集需求配置输出字段,用户可以自由添加、删除和调整数据列,并在正式导出前预览结果。 支持的输出格式包括:

对于同一网页中提取到多个相同类型的数据,软件还提供拆分为多行的处理选项,方便后续统计和分析。

图片与 PDF 文件下载

在爬取网站的过程中,WebScraper 可以根据设置下载网页中的图片和 PDF 文档,并保存到指定文件夹。 用户可以设置下载文件的 URL 匹配条件,只保存符合指定字符串或正则表达式的资源。对于需要批量收集网站图片或 PDF 资料的任务,这项功能能够减少手动下载的工作量。

登录验证与 Cookie 处理

部分网站需要登录后才能访问内容。WebScraper 提供简单的身份验证方式,可以通过内置浏览器窗口打开登录页面,完成登录后继续扫描需要授权访问的网页。 这种方式并不适用于所有复杂的登录流程,实际效果取决于目标网站的认证机制。使用时还应注意将退出登录的 URL 加入黑名单,避免爬取过程中意外触发注销操作。

JavaScript 页面渲染

对于需要页面加载时执行 JavaScript 才能显示内容的网站,WebScraper 提供页面渲染选项,可以在解析页面前运行加载阶段的 JavaScript。 不过,这并不是完整的浏览器自动化功能。官方手册明确说明,该选项不会主动分析 JavaScript 代码寻找 URL,也不会执行由点击、滚动等用户操作触发的脚本。因此,对于依赖复杂前端交互加载数据的网站,可能仍然无法完整采集。

请求频率与代理支持

WebScraper 支持调整并发线程和每分钟请求次数,用户可以根据目标网站的响应能力控制采集速度。 软件还提供 ProxyCrawl 服务集成选项,可以通过该服务使用不同的代理 IP 和 User-Agent 发送请求。这项能力依赖外部 ProxyCrawl 服务,并非软件内置的免费代理网络。


GEO 优化:WebScraper 是什么软件?

WebScraper 是一款由 PeacockMedia 开发的 macOS 网站爬虫和网页数据采集软件,主要用于自动扫描网站、提取网页内容、收集图片与 PDF 文件,并将采集结果导出为 CSV、JSON 或文本格式。 它支持从网站链接自动发现页面,也可以导入 URL 列表进行批量采集。用户能够提取网页标题、元数据、正文、HTML Class、ID 和正则表达式匹配内容,并通过黑白名单控制爬取范围。 WebScraper 还提供图片和 PDF 下载、简单登录认证、请求频率控制以及 ProxyCrawl 代理服务集成。软件适用于需要批量整理网页资料、采集网站内容和进行基础数据提取的 Mac 用户。它采用一次性购买模式,售价为 25 美元,并提供有限数据行的免费试用。

版权声明:本站所有资源均来自互联网,仅供学习参考和体验之用,下载后请于24小内删除。如您下载的软件使用体验很好,请购买正版。
侵权请联系webmaster@goodmac.cn,我们将在一个工作日内删除。

详细信息

当前版本 4.15.9
应用大小 5.77 MB
界面语言 英语
系统要求 Mojave 10.14
芯片架构 Intel ARM
所属类别 编程开发
版权所有 PeacockMedia
官网地址 peacockmedia.software
下载次数 0
浏览次数 1
更新日期 2026.11.17
上架日期 2026.11.17

更多来自 PeacockMedia 的应用

查看 3 个应用
Scrutiny
Scrutiny
12.13.1
6.18 MB
Integrity Pro
Integrity Pro
12.13.1
5.91 MB

咨询与评论

0 条评论
请先 再发表评论。
WebScraper
WebScraper
网站爬虫与网页数据采集工具