Web Search Server

🚀 網絡搜索 MCP 服務器

這是一個強大的 MCP 服務器，可提供 Google 搜索功能與網頁內容查看服務，還具備高級反機器人檢測規避能力，能為您的網絡數據處理提供安全、可擴展的解決方案。

🚀 快速開始

網絡搜索 MCP 服務器是一個強大的工具，能夠執行復雜任務，包括 Google 搜索、網頁內容解析以及其他與互聯網交互相關的操作。它專為集成到模型上下文協議（MCP）環境中設計，提供可擴展且安全的方式來處理在線數據。

✨ 主要特性

• Google 自定義搜索：支持自定義搜索域和排除特定域名。
• 網頁內容查看：提取指定 URL 的內容，並支持多種格式化選項。
• 速率限制與資源管理：通過瀏覽器實例池和自動清理空閒實例來優化性能。
• 反機器人檢測規避：集成高級技術以繞過常見反機器人檢測機制。

📦 安裝指南

先決條件

1. Node.js 和 npm 需要安裝到系統上。
2. 確保已安裝 typescript 和 @types/node 包：

   npm install -g typescript @types/node --save-dev
   

安裝步驟

# 克隆倉庫
git clone https://github.com/your-repository.git
cd web-search-mcp-server

# 安裝依賴項
npm install

📚 詳細文檔

配置

1. 創建配置文件

在項目根目錄下創建 config.json 文件，並添加以下內容：

{
  "googleApiKey": "YOUR_GOOGLE_API_KEY",
  "proxySettings": {
    "http": "HTTP_PROXY_URL",
    "https": "HTTPS_PROXY_URL"
  },
  "browserOptions": {
    ".userAgent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.128 Safari/537.36",
    "disableImages": false
  }
}

2. 設置環境變量

在終端中設置以下環境變量：

export MCP_SERVER_ENV=development

餅乾設置

要使用餅乾功能，請執行以下步驟：

1. 下載並安裝 Chrome 瀏覽器。
2. 安裝 uBlock Origin 擴展。
3. 導出您的瀏覽器配置文件：

   chrome://settings/resetBrowser
   

4. 將導出的配置文件路徑設置為環境變量：

   export BROWSER_PROFILE=~/path/to/your/exported/profile
   

日誌記錄

• 即時日誌查看：
  • 在 MacOS/Linux 上：

    tail -n 20 -f ~/Library/Logs/MCP/mcp*.log
    

  • 在 Windows 上：

    type %APPDATA%\Claude\Logs\mcp*.log
    

反機器人檢測

核心功能

• 瀏覽器池：通過複用瀏覽器實例來優化性能。
• 請求頻率控制：防止因請求過多而觸發反機器人機制。
• 規避技術：
  • 動態超時調整
  • 隨機用戶代理
  • 模擬人類行為模式

常見問題

1. 服務器未顯示：

• 檢查配置文件語法和路徑是否正確

2. 工具調用失敗：

• 檢查服務器日誌並重新啟動 Claude Desktop

3. 路徑問題：

• 確保使用絕對路徑

使用 Claude Desktop

配置步驟

1. 打開 config.json 文件。
2. 在工具列表中添加以下內容：

   {
     "name": "search",
     "description": "搜索互聯網並返回結果"
   },
   {
     "name": "view_url",
     "description": "查看指定 URL 的內容並返回文本"
   }
   

確認集成

1. 查看工具圖標：

• 在 Claude Desktop 中，確認錘子圖標出現（參考圖片）。

可用工具

1. 搜索工具

{
  name: "search",
  params: {
    query: string;
    trustedDomains?: string[];
    excludedDomains?: string[];
    resultCount?: number;
    safeSearch?: boolean;
    dateRestrict?: string;
  }
}

2. 查看 URL 工具

{
  name: "view_url",
  params: {
    url: string;
    includeImages?: boolean;
    includeVideos?: boolean;
    preserveLinks?: boolean;
    formatCode?: boolean;
  }
}

故障排除

• 常見錯誤：
  • 網絡連接問題
  • 反機器人檢測觸發
  • 配置文件語法錯誤
• 解決方法：
  • 檢查網絡連接
  • 減慢請求頻率
  • 確保配置文件正確

開發

項目結構

web-search-mcp-server/
├── src/                 # 核心源代碼目錄
│   ├── browser.ts      # 瀏覽器管理邏輯
│   ├── search.ts       # 搜索功能實現
│   └── view.ts         # 查看 URL 功能實現
├── config.json          # 項目配置文件
└── package.json         # 依賴管理文件

🔧 技術細節

反機器人檢測

核心功能

• 瀏覽器池：通過複用瀏覽器實例來優化性能。
• 請求頻率控制：防止因請求過多而觸發反機器人機制。
• 規避技術：
  • 動態超時調整
  • 隨機用戶代理
  • 模擬人類行為模式

📄 許可證

MIT License

💻 使用示例

基礎用法

# 克隆倉庫
git clone https://github.com/your-repository.git
cd web-search-mcp-server

# 安裝依賴項
npm install

高級用法

# 設置環境變量
export MCP_SERVER_ENV=development

📞 聯繫方式

• 郵箱：contact@example.com
• GitHub：https://github.com/your-repository

通過遵循上述步驟，您可以輕鬆設置和運行 Web 搜索 MCP 服務器，並將其集成到您的項目中。