Eget MCP

🚀 使用Claude網絡爬蟲MCP

本項目是一個簡單的模型上下文協議（MCP）服務器，它能將Claude for Desktop與本地運行的eGet網絡爬蟲連接起來，讓Claude可通過本地API抓取網站內容。

🚀 快速開始

按照以下步驟操作，即可使用Claude網絡爬蟲MCP進行網頁抓取。

✨ 主要特性

• 實現Claude for Desktop與eGet網絡爬蟲的連接，讓Claude具備網頁抓取能力。
• 通過本地API進行網站內容抓取，方便快捷。

📦 安裝指南

先決條件

• Claude for Desktop
• Python 3.7+
• eGet網絡爬蟲（來自https://github.com/vishwajeetdabholkar/eGet-Crawler-for-ai）

安裝步驟

1. 設置eGet網絡爬蟲

首先確保eGet網絡爬蟲正在運行：

# 克隆eGet倉庫
git clone https://github.com/vishwajeetdabholkar/eGet-Crawler-for-ai
cd eGet-Crawler-for-ai

# 根據其說明設置並運行eGet（通常使用Docker或本地Python安裝）

# 驗證API是否正在運行（默認：http://localhost:8000/api/v1/scrape）

2. 設置MCP服務器

# 創建項目目錄
mkdir claude-scraper-mcp
cd claude-scraper-mcp

# 設置UV和虛擬環境
uv venv
source .venv/bin/activate  # 在Windows上：.venv\Scripts\activate

# 安裝依賴項
uv add "mcp[cli]" httpx

# 創建MCP服務器腳本
touch scrape_mcp_server.py

將scrape_mcp_server.py代碼複製到文件中。

3. 配置Claude for Desktop

1. 創建或編輯Claude桌面配置：

# 在macOS上
mkdir -p ~/Library/Application\ Support/Claude/

2. 將以下配置添加到~/Library/Application Support/Claude/claude_desktop_config.json文件中：

{
    "mcpServers": {
        "scrape-service": {
            "command": "/absolute/path/to/claude-scraper-mcp/.venv/bin/python",
            "args": [
                "/absolute/path/to/claude-scraper-mcp/scrape_mcp_server.py"
            ]
        }
    }
}

將路徑替換為實際的絕對路徑。 3. 重啟Claude for Desktop

💻 使用示例

設置完成後，您可以使用Claude進行網頁抓取，例如：

• "抓取https://example.com的內容並總結它"
• "獲取有關https://news.ycombinator.com網站的信息"

📚 詳細文檔

故障排除

如果遇到問題，可按以下步驟排查：

1. 檢查eGet抓蟲器是否在運行
2. 驗證腳本中的API端點與您的eGet配置是否匹配
3. 確保Claude for Desktop使用正確的Python解釋器
4. 在更改配置後重啟Claude for Desktop