跳转到内容
主站 新闻 控制台

webframe:作为爬虫与沙箱的评测

· Simon Willison
技巧LLM

研究webframe:作为爬虫与沙箱的评估——对 webframe 的评估发现,它是一个快速、轻量的浏览器 JavaScript 运行器,适合用于网络抓取,其性能堪比 shot-scraper,但存在一些显著缺陷,包括 CSP 报错、0×0 视口、加载卡死挂起、缺失 HTTP 元数据以及浏览器控制能力有限。

webframe 是来自 Jeff Lindsay 的一个精巧的小项目,它能让你“像运行程序一样运行网页”——只要传入一个 URL 或文件,它就会在一个隐藏的无头(headless)Web 视图中执行该页面,并将 console.log() 输出到标准输出(stdout),将所有异常输出到标准错误(stderr)。

它采用 Go 语言编写,基于 glaze 库构建,该库提供了调用系统内置浏览器的能力(“macOS 上的 WKWebView、Linux 上的 WebKitGTK、Windows 上的 WebView2”),因此无需自带打包浏览器引擎。

这让我想起了我自己的 shot-scraper javascript 工具,不过它的体积要小得多,且不依赖 Playwright。

我让 Claude Opus 5.5 对它进行了全面实测并为我生成了一份研究报告。以下是我使用的提示词:

探索 https://github.com/tractordev/webframe ,尝试运行并对其进行全面实测,构建几个探索性原型,然后评估其作为潜在沙箱工具的可行性,以及遵循“shot-scraper JavaScript”命令所推荐的模式作为网页抓取工具的表现(参见 GitHub 上的 simonw/shot-scraper 及其 docs 目录)