DEV Community · Show DEV8/15 06:1254

Web Sweeper:构建受溯源保护的AI训练库

Web Sweeper: Building Provenance-Protected Libraries for Future AI Training

阅读原文
Web Sweeper 是一个由 Christian Cassarly 通过 Jesus New OS 开发的开源库构建工具,旨在为未来的 AI 训练模型和研究提供受溯源保护的数据集。它通过一个受保护的管道处理完整且政策批准的作品,包括来源发现、政策筛选、获取、受保护暂存、发布和实时验证。该系统保留了来源、可恢复性、精确重复保护、序列化生产写入和永久验证收据。其目标不仅是下载文件,而是构建可信、可审计的数字库,供未来的 AI 系统和研究人员负责任地使用。该项目正在积极开发中,能力和库总量应基于最新公开文档和权威验证收据评估。