Local Wikipedia

🚀 Local-Wikipedia

Local-Wikipedia 是一個 MCP 服務器，它能讓你將維基百科離線使用 —— 只需一次性快速下載，即可搜索和閱讀文章。以下是其重要意義：

1. 支持維基百科全文搜索
   • 大多數 MCP 服務器僅支持精確標題匹配和基本的重定向處理。
   • 由於 Local-Wikipedia 將全文存儲在本地，因此你可以進行真正的全文搜索。
2. 一次性下載後，無網絡也能使用
   • 因為數據保存在本地，即使離線也能搜索和閱讀維基百科文章。
3. 能處理高頻率搜索
   • 沒有網絡 API 速率限制 —— 你可以隨意迭代和優化搜索。
   • 非常適合靈活解釋查詢並進行重複搜索的場景。
4. 全文本地存儲，易於擴展
   • 手頭擁有整個語料庫，在其他 MCP 服務器上難以實現的功能，在此處則容易得多。
   • 其他 MCP 服務器可能會受到其所依賴的網絡 API 的限制，而 Local-Wikipedia 則不會。
   • 例如，添加“獲取隨機文章”功能非常簡單。

這個 MCP 服務器旨在與小型本地大語言模型（LLM）完美配合。即使在無法使用大型大語言模型的情況下，你仍然可以靈活搜索維基百科並檢索信息。我們使用名為 Gemma 3n E4B 的緊湊、面向移動設備的模型對其進行了驗證，即使在僅使用 CPU 的環境中，它也能快速運行。

為了對小型大語言模型友好，我們做了一些貼心的設計：

1. 僅兩個工具且參數最少，以便大語言模型能夠可靠地調用它們。
2. 啟發式查詢校正，以清理大語言模型輸入的過度指定或嘈雜的輸入。
3. 簡潔、情境感知的輸出，即使在短上下文窗口和有限計算資源的情況下也能快速運行。
4. 高級數據庫索引，實現快速搜索和低內存使用。初始設置需要一些時間，但完成後速度很快。

🚀 快速開始

本項目使用 Docker Compose 進行配置，可按如下步驟操作：

1. 確保已安裝 Docker 和 Docker Compose。
2. 克隆項目倉庫並進入項目目錄：

git clone https://github.com/soukouki/local-wikipedia.git
cd local-wikipedia

3. 啟動服務：

docker-compose up

首次運行時，會下載並索引 config.yaml 中指定語言的維基百科數據。這可能需要一些時間，日語數據大約需要幾十分鐘，英語數據則需要數小時。建議使用穩定的光纖網絡進行下載。

設置完成後，MCP 服務器將啟動。默認情況下，它監聽 29423 端口。可按如下方式進行連接：

{
  "servers": {
    "local-wikipedia": {
      "url": "http://localhost:29423"
    }
  }
}

✨ 主要特性

此 MCP 服務器提供以下兩個工具：

search_article

可根據指定標題靈活搜索文章並返回合適結果。將多種搜索策略整合為一個工具，方便大語言模型使用。 搜索方法包括：

1. 精確標題匹配
2. 精確重定向匹配
3. 部分標題匹配
4. 部分重定向匹配
5. 正文全文搜索

對於第 1 和第 2 種方法，將返回文章的引言部分（摘要）；對於第 3、4 和 5 種方法，最多返回 20 個結果。

此外，還有啟發式查詢修復功能，以防大語言模型意外向工具傳遞額外或不相關的細節。

read_random_article

從指定語言版本的維基百科中隨機獲取一篇文章。

📦 安裝指南

一切都通過 Docker Compose 進行設置。請按照以下步驟操作：

1. 確保已安裝 Docker 和 Docker Compose。
2. 克隆倉庫並進入項目目錄：

git clone https://github.com/soukouki/local-wikipedia.git
cd local-wikipedia

3. 啟動 Docker Compose：

docker-compose up

首次運行時，會下載並索引 config.yaml 中指定語言的維基百科數據。這可能需要一些時間，日語數據大約需要幾十分鐘，英語數據則需要數小時。建議使用穩定的光纖網絡進行下載。

設置完成後，MCP 服務器將啟動。默認情況下，它監聽端口 29423。可按如下方式連接：

{
  "servers": {
    "local-wikipedia": {
      "url": "http://localhost:29423"
    }
  }
}

🔧 技術細節

Local-Wikipedia 使用官方維基百科頁面和重定向的轉儲數據，以及在 HuggingFaceFW/finewiki · Datasets at Hugging Face 上發佈的 Markdown 格式的全文數據集。

對於全文搜索，它使用 PGroonga 來提供快速、內存高效的日語和英語搜索。

📄 重要提示

⚠️ 重要提示

• 當前的 Local-Wikipedia 實現並非為公共 API 訪問而設計。在將 API 對外暴露時，建議出於安全目的進行適當的代碼修改。
• 維基百科內容同時遵循知識共享署名 - 相同方式共享 4.0 國際許可協議（CC BY - SA 4.0）和 GNU 自由文檔許可協議（GFDL）。