如何将实时网站数据输入LLM代理

本文介绍了如何将实时网站数据输入LLM代理。LLM代理的性能取决于提供的上下文，静态知识受训练日期限制，而实时任务需要当前页面内容。文章提出使用Scrapio API将网页转换为干净的Markdown格式，相比原始HTML可减少5-10倍token消耗，降低成本和上下文压力。示例代码展示了如何通过API获取页面Markdown，并利用OpenAI的GPT-4o模型回答关于页面内容的问题。对于JavaScript渲染的页面，可设置render_js参数启用无头浏览器。文章还提供了相关模板和文档链接，适用于RAG管道和批量抓取场景。