Web-Scraping-Agent-with-N8N-and-MCP-Server
使用 N8N 和 MCP 服务器构建的网页抓取代理
🤖 基于 n8n 和 MCP 服务器的 AI 抓取代理
本项目展示了如何在 n8n 中使用 MCP（多组件协议） 和 Firecrawl 创建一个强大的 AI 驱动的网页抓取代理。该代理能够接收聊天消息，通过抓取从互联网获取相关数据，并使用 OpenAI 或 Claude 模型智能地响应。
📌 项目概述
这是最友好且实践性强的教程，教你如何使用以下工具构建一个具有记忆能力的自主 抓取代理：
- 🧠 OpenAI 聊天模型
- 🧰 MCP 工具
- 🗂️ 简单记忆
- 🌐 Firecrawl 用于网页抓取
🧠 代理工作流程（聊天触发）
核心代理在接收到聊天消息时触发，包括以下部分：
- 聊天模型：使用 OpenAI（通过 OpenRouter）
- 记忆：使用简单记忆维护上下文
- 工具：连接到 MCP 客户端，与抓取服务器通信
🔧 代理设置
!代理工作流程
🖥️ MCP 服务器工作流程（抓取处理）
这是实际的抓取后端，接收代理的请求，使用 Firecrawl 执行抓取，并将结构化结果返回。
🌐 MCP 服务器设置
!MCP 服务器工作流程
🧩 使用的组件
组件 | 用途 |
代理（工具代理） | 协调 AI、记忆和抓取 |
OpenAI 聊天模型 | 理解并响应用户查询 |
简单记忆 | 存储先前的消息 / 记忆上下文 |
MCP 客户端 | 将任务转发到 MCP 服务器 |
MCP 服务器触发器 | 启动抓取后端 |
抓取工具 | 使用 Firecrawl 提取网页数据 |
📚 你将学到的内容
- 如何在 n8n 中创建和协调多个 AI 代理
- 将 OpenAI 模型与实时工具连接
- 在 n8n 中设置 MCP 服务器
- 使用 Firecrawl 进行道德抓取
- 使用代理作为工具的模式实现模块化 AI
⚙️ 使用的技术
- Supabase（用于可选的数据库存储）
- QuickChart.io（用于可选的可视化）
- Firecrawl 用于抓取
- [Claude / GPT-4]（用于 LLM 推理）
- MCP 架构
- Author:waytomcp
- URL:https://www.waytomcp.com/article/NarviAdil/Web-Scraping-Agent-with-N8N-and-MCP-Server
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!
