Keyphrases MCP

🚀 关键短语-MCP

借助真实的关键短语提取能力赋能大语言模型

使用以下工具和技术构建：

🔍 概述

关键短语MCP服务器是一个自然语言接口，专为智能应用程序设计，用于从提供的文本中提取关键短语。它与MCP（模型内容协议）客户端实现了无缝集成，借助BERT机器学习模型，使人工智能驱动的工作流程能够更准确、更具相关性地提取关键短语。该应用程序可直接处理允许目录中的本地文件，为大语言模型节省上下文令牌。并且，它仅将提取的关键短语暴露给MCP客户端，而不暴露原始文件内容，从而确保文档处理的安全性。

使用此MCP服务器，您可以提出以下问题：

• “从文件中提取7个关键短语。[绝对文件路径]”
• “从给定文件中提取3个关键短语，忽略停用词。停用词：前者、由于、数量、[其他停用词]。文件：[绝对文件路径]”

关键短语有助于用户在不完整阅读文档的情况下快速掌握文档的主要主题和核心内容，并且可应用于以下场景：

1. 作为文档的标签或元数据，提升数字图书馆中文档的组织性和可发现性。
2. 从客户评论、社交媒体或新闻文章中识别新兴趋势和情感倾向。
3. 作为其他任务（如文本分类、聚类）的特征或输入。

💡 关键短语-MCP的设计依据

像Claude或ChatGPT这样的自回归大语言模型按顺序处理文本，这不仅限制了它们在整个文档中全面理解关键短语上下文的能力，而且随着输入长度的增加，还会出现上下文退化的问题，导致早期的关键短语得不到足够的关注。

而像BERT这样的双向模型，通过同时考虑左右上下文并在整个序列中保持更一致的注意力，通常能更准确、更具相关性地从文本中提取现有关键短语，特别是在未进行特定领域微调的情况下。

然而，随着自回归模型采用更长的上下文窗口和输入分块等技术，它们在关键短语提取方面的性能正在不断提升，与BERT的差距逐渐缩小。并且，特定领域的微调可以使自回归大语言模型在关键短语提取任务上超越BERT解决方案。

此MCP服务器将用于关键短语提取的BERT与用于文本生成或优化的自回归大语言模型相结合，实现了无缝的文本处理。

⚙️ 工作原理

服务器使用KeyBERT框架进行多步骤提取流程，将spaCy自然语言处理预处理与BERT嵌入相结合：

1. 候选生成：KeyphraseCountVectorizer使用spaCy的en_core_web_trf模型识别有意义的关键短语候选，并去除停用词。
2. 语义编码：使用paraphrase-multilingual-MiniLM-L12-v2句子转换器对候选关键短语和文档进行嵌入。
3. 相关性排序：KeyBERT计算候选关键短语和文档嵌入之间的余弦相似度。
4. 多样性选择：**最大边际相关性（MMR）**确保选择的关键短语具有多样性且不冗余。
5. 最终输出：选择并按字母顺序排序前N个最相关且多样的关键短语。

具体细节请参阅配置文档。

📚 文档

• 🚀 集成 - 如何将服务器与您的MCP客户端或大语言模型集成。
• 🔧 配置 - 环境变量和设置。
• 🛠️ MCP工具 - 所有可用工具。
• 🪵 开发与测试 - 如何为项目做出贡献的指南。

📄 许可证

本项目采用MIT许可证。

📞 联系我们

如有任何问题或需要支持，请通过GitHub问题与我们联系。