Local Wikipedia

🚀 Local-Wikipedia

Local-Wikipedia 是一个 MCP 服务器，它能让你将维基百科离线使用 —— 只需一次性快速下载，即可搜索和阅读文章。以下是其重要意义：

1. 支持维基百科全文搜索
   • 大多数 MCP 服务器仅支持精确标题匹配和基本的重定向处理。
   • 由于 Local-Wikipedia 将全文存储在本地，因此你可以进行真正的全文搜索。
2. 一次性下载后，无网络也能使用
   • 因为数据保存在本地，即使离线也能搜索和阅读维基百科文章。
3. 能处理高频率搜索
   • 没有网络 API 速率限制 —— 你可以随意迭代和优化搜索。
   • 非常适合灵活解释查询并进行重复搜索的场景。
4. 全文本地存储，易于扩展
   • 手头拥有整个语料库，在其他 MCP 服务器上难以实现的功能，在此处则容易得多。
   • 其他 MCP 服务器可能会受到其所依赖的网络 API 的限制，而 Local-Wikipedia 则不会。
   • 例如，添加“获取随机文章”功能非常简单。

这个 MCP 服务器旨在与小型本地大语言模型（LLM）完美配合。即使在无法使用大型大语言模型的情况下，你仍然可以灵活搜索维基百科并检索信息。我们使用名为 Gemma 3n E4B 的紧凑、面向移动设备的模型对其进行了验证，即使在仅使用 CPU 的环境中，它也能快速运行。

为了对小型大语言模型友好，我们做了一些贴心的设计：

1. 仅两个工具且参数最少，以便大语言模型能够可靠地调用它们。
2. 启发式查询校正，以清理大语言模型输入的过度指定或嘈杂的输入。
3. 简洁、情境感知的输出，即使在短上下文窗口和有限计算资源的情况下也能快速运行。
4. 高级数据库索引，实现快速搜索和低内存使用。初始设置需要一些时间，但完成后速度很快。

🚀 快速开始

本项目使用 Docker Compose 进行配置，可按如下步骤操作：

1. 确保已安装 Docker 和 Docker Compose。
2. 克隆项目仓库并进入项目目录：

git clone https://github.com/soukouki/local-wikipedia.git
cd local-wikipedia

3. 启动服务：

docker-compose up

首次运行时，会下载并索引 config.yaml 中指定语言的维基百科数据。这可能需要一些时间，日语数据大约需要几十分钟，英语数据则需要数小时。建议使用稳定的光纤网络进行下载。

设置完成后，MCP 服务器将启动。默认情况下，它监听 29423 端口。可按如下方式进行连接：

{
  "servers": {
    "local-wikipedia": {
      "url": "http://localhost:29423"
    }
  }
}

✨ 主要特性

此 MCP 服务器提供以下两个工具：

search_article

可根据指定标题灵活搜索文章并返回合适结果。将多种搜索策略整合为一个工具，方便大语言模型使用。 搜索方法包括：

1. 精确标题匹配
2. 精确重定向匹配
3. 部分标题匹配
4. 部分重定向匹配
5. 正文全文搜索

对于第 1 和第 2 种方法，将返回文章的引言部分（摘要）；对于第 3、4 和 5 种方法，最多返回 20 个结果。

此外，还有启发式查询修复功能，以防大语言模型意外向工具传递额外或不相关的细节。

read_random_article

从指定语言版本的维基百科中随机获取一篇文章。

📦 安装指南

一切都通过 Docker Compose 进行设置。请按照以下步骤操作：

1. 确保已安装 Docker 和 Docker Compose。
2. 克隆仓库并进入项目目录：

git clone https://github.com/soukouki/local-wikipedia.git
cd local-wikipedia

3. 启动 Docker Compose：

docker-compose up

首次运行时，会下载并索引 config.yaml 中指定语言的维基百科数据。这可能需要一些时间，日语数据大约需要几十分钟，英语数据则需要数小时。建议使用稳定的光纤网络进行下载。

设置完成后，MCP 服务器将启动。默认情况下，它监听端口 29423。可按如下方式连接：

{
  "servers": {
    "local-wikipedia": {
      "url": "http://localhost:29423"
    }
  }
}

🔧 技术细节

Local-Wikipedia 使用官方维基百科页面和重定向的转储数据，以及在 HuggingFaceFW/finewiki · Datasets at Hugging Face 上发布的 Markdown 格式的全文数据集。

对于全文搜索，它使用 PGroonga 来提供快速、内存高效的日语和英语搜索。

📄 重要提示

⚠️ 重要提示

• 当前的 Local-Wikipedia 实现并非为公共 API 访问而设计。在将 API 对外暴露时，建议出于安全目的进行适当的代码修改。
• 维基百科内容同时遵循知识共享署名 - 相同方式共享 4.0 国际许可协议（CC BY - SA 4.0）和 GNU 自由文档许可协议（GFDL）。