Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

【开源自荐】基于 Cloudflare 的免费网页归档和分享工具 #5423

Open
Ray-D-Song opened this issue Oct 27, 2024 · 0 comments
Open
Labels

Comments

@Ray-D-Song
Copy link

Ray-D-Song commented Oct 27, 2024

项目地址:https://github.com/Ray-D-Song/web-archive

Web Archive

showcase

Web Archive 是一个网页归档工具,包含以下几个部分:

  • 浏览器插件:将网页保存为单个 html 文件,并上传到服务端。
  • 服务端: 接收浏览器插件上传的快照,并存储在数据库和存储桶中。
  • web 客户端: 查询快照并展示。

服务端基于 Cloudflare Worker 的全套服务,包含 D1 数据库、R2 存储桶,支持一键部署
赛博菩萨 Cloudflare 每个月有 10Gb 的对象存储空间,无限量的传输带宽,数据库 500 万次读,10 万次写,足够负担这样一个 fullstack 应用。

why

大多数网页归档工具,比如 archivebox,都是基于服务器调用无头浏览器抓取的方式进行归档。
这种做法的弊端是 知乎、medium 这种需要登录的网站操作很麻烦,需要配置 token 或 cookie。
同时无头浏览器对服务器的要求也比较高,大多数都是 nas 用户在使用。
更重要的是,现在流行的 AI 网页翻译工具,比如沉浸式翻译,使用服务端抓取就无法调用。

web-archive 是一个完全免费、无门槛的方案,而且 Cloudflare 可以非常方便的将数据迁移回本地转为 self-host。

feat

  1. 文件夹分类
  2. 页面预览图
  3. 标题关键字查询
  4. 橱窗,可以分享自己抓取的页面
  5. 移动端适配

我的橱窗:https://web-archive-egm.pages.dev/#/showcase/folder

@Ray-D-Song Ray-D-Song changed the title 【开源自荐】基于 Cloudflare Worker 的网页归档和分享工具 【开源自荐】基于 Cloudflare 的免费网页归档和分享工具 Oct 27, 2024
@ruanyf ruanyf added the weekly label Oct 30, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
Projects
None yet
Development

No branches or pull requests

2 participants