受治理网络爬虫与AI代理的50项能力图谱

本文介绍了Cockroach Crawler项目，一个开源的网络爬虫，旨在为AI代理提供受治理的网页访问能力。作者指出，给代理“网页访问”权限实际上涉及多个独立决策，如URL发现、目标限制、请求方式、数据处理、限额执行和内容验证等。文章将50项能力分为七类，并提供了实用清单，帮助开发者明确每项能力的输入输出契约、失败行为和权限边界。示例代码展示了如何配置爬虫进行有界文档爬取，强调代理创建者应设置来源和上限，模型不能扩大权限。项目遵循MIT许可证，当前版本为0.7.0-rc.1。