Brsearch MCP Server

🚀 URL文本提取器MCP服務器

URL文本提取器MCP服務器是一個現代化的模型上下文協議（MCP）服務器，它藉助FastMCP框架，為LM Studio和其他兼容MCP的客戶端提供URL文本提取、網頁抓取和網絡搜索功能。

該服務器基於現代化的FastMCP框架構建，具備以下特性：

• 基於裝飾器的簡潔工具定義
• 依據類型提示自動生成模式
• 簡化的服務器設置與配置
• 更出色的錯誤處理和日誌記錄

在實現現代化並遵循MCP最佳實踐的同時，保留了所有安全特性和功能。

✨ 主要特性

此MCP服務器使AI模型能夠：

• 提取文本內容：從任意URL提取所有可見文本
• 提取鏈接：從網頁中提取鏈接以發現相關資源
• 網絡搜索：使用Brave Search進行網絡搜索，並自動從搜索結果中提取內容
• 優雅處理錯誤：通過適當的超時和異常處理機制，確保錯誤處理的優雅性

🔒 安全特性

企業級安全實現：

• SSRF防護：阻止對內部網絡和元數據端點的請求
• 輸入淨化：驗證並清理所有URL和查詢輸入
• 內存保護：內容大小限制可防止內存耗盡
• 速率限制：具備可配置閾值的線程安全API速率限制
• 錯誤處理：全面的異常處理，且不會洩露信息

🛠️ 工具

服務器提供三個主要工具：

fetch_url_text

• 描述：從URL下載所有可見文本
• 參數：
  • url（字符串，必填）：要提取文本的URL
• 返回值：網頁的純文本內容

fetch_page_links

• 描述：從網頁中提取所有鏈接
• 參數：
  • url（字符串，必填）：要提取鏈接的URL
• 返回值：頁面上找到的所有href鏈接列表

brave_search_and_fetch

• 描述：使用Brave Search進行網絡搜索，並自動從搜索結果中提取內容
• 參數：
  • query（字符串，必填）：搜索查詢
  • max_results（整數，可選）：要提取內容的最大結果數（默認值：3，最大值：10）
• 返回值：包含每個結果URL完整文本內容的搜索結果

📦 安裝指南

前提條件

Brave Search API密鑰

要使用搜索功能，您需要一個免費的Brave Search API密鑰：

1. 訪問 Brave Search API
2. 註冊免費賬戶（每月2000次查詢，每秒最多1次）
3. 獲取API密鑰
4. 將 .env.example 複製到 .env，並添加您的API密鑰：

cp .env.example .env
# 編輯.env文件並設置：BRAVE_API_KEY=your_actual_api_key

安裝步驟

1. 克隆此倉庫
2. 安裝依賴項：

uv sync --dev --all-extras

3. 配置環境：

cp .env.example .env
# 編輯.env文件並設置您的BRAVE_API_KEY

💻 使用示例

與LM Studio配合使用

1. 打開LM Studio，導航到集成部分
2. 點擊“安裝”，然後點擊“編輯mcp.json”

FastMCP實現（推薦）

3. 選項A：使用配置輔助腳本

./configure_lmstudio_fastmcp.sh

這將為您的系統生成正確的配置和路徑。

4. 選項B：手動配置 - 添加服務器配置：

{
  "mcpServers": {
    "url-text-fetcher-fastmcp": {
      "command": "uv",
      "args": [
        "run", 
        "url-text-fetcher-fastmcp"
      ],
      "cwd": "/Users/wallison/TechProjects/mcp-server"
    }
  }
}

舊版實現（底層）

對於舊版實現：

./configure_lmstudio.sh  # 為舊版服務器生成配置

注意：API密鑰將自動從項目目錄中的 .env 文件加載。

5. 保存配置並重啟LM Studio
6. 服務器將出現在集成部分

獨立使用

您也可以直接運行服務器：

# FastMCP實現（推薦）
uv run url-text-fetcher-fastmcp

# 舊版實現
uv run url-text-fetcher

示例請求

配置好LM Studio後，您可以要求AI執行以下操作：

• “從https://example.com提取文本內容”
• “從https://news.example.com提取所有鏈接”
• “搜索 'Python網頁抓取' 並顯示前3個結果的內容”
• “最新的AI新聞有哪些？搜索並獲取完整文章”
• “查找有關MCP服務器的信息並提取詳細內容”

📚 詳細文檔

依賴項

• mcp>=1.12.3 - 模型上下文協議框架
• requests>=2.31.0 - 用於網絡請求和Brave Search API的HTTP庫
• beautifulsoup4>=4.12.0 - HTML解析和文本提取庫

配置

服務器可以通過 .env 文件進行配置：

# 必需：Brave Search API密鑰
BRAVE_API_KEY=your_api_key_here

# Brave Search API速率限制（每秒請求數）
# 免費套餐：每秒1次請求（默認值）
# 付費套餐：每秒20次請求
# 高級套餐：每秒50次請求
# 設置此值以匹配您的訂閱級別
BRAVE_RATE_LIMIT_RPS=1

# 可選：請求超時時間（秒，默認值：10）
REQUEST_TIMEOUT=10

# 可選：內容長度限制（字符數，默認值：5000）
CONTENT_LENGTH_LIMIT=5000

# 可選：最大響應大小（字節，默認值：10MB）
MAX_RESPONSE_SIZE=10485760

Brave Search訂閱套餐

服務器會根據您的Brave Search訂閱自動調整速率限制：

• 免費套餐：每秒1次請求 (BRAVE_RATE_LIMIT_RPS=1)
• 付費套餐：每秒20次請求 (BRAVE_RATE_LIMIT_RPS=20)
• 高級套餐：每秒50次請求 (BRAVE_RATE_LIMIT_RPS=50)

服務器將對所有併發請求強制執行配置的速率限制，以確保您不會超出API配額。

請參考 .env.example 獲取模板。

🔧 技術細節

開發環境

本項目使用：

• Python 3.13+
• uv 進行依賴管理
• MCP SDK 實現協議

開發設置

要進行開發設置：

1. 克隆倉庫
2. 運行 uv sync --dev --all-extras
3. 進行更改
4. 使用兼容MCP的客戶端進行測試

調試

由於MCP服務器通過標準輸入輸出運行，調試可能具有挑戰性。為獲得最佳調試體驗，強烈建議使用 MCP Inspector。

您可以通過 npm 使用以下命令啟動MCP Inspector：

npx @modelcontextprotocol/inspector uv --directory /Users/wallison/TechProjects/mcp-server run url-text-fetcher

啟動後，Inspector將顯示一個URL，您可以在瀏覽器中訪問該URL以開始調試。

📄 許可證

本項目採用MIT許可證，詳情請參閱LICENSE文件。