Keyphrases MCP

🚀 關鍵短語-MCP

藉助真實的關鍵短語提取能力賦能大語言模型

使用以下工具和技術構建：

🔍 概述

關鍵短語MCP服務器是一個自然語言接口，專為智能應用程序設計，用於從提供的文本中提取關鍵短語。它與MCP（模型內容協議）客戶端實現了無縫集成，藉助BERT機器學習模型，使人工智能驅動的工作流程能夠更準確、更具相關性地提取關鍵短語。該應用程序可直接處理允許目錄中的本地文件，為大語言模型節省上下文令牌。並且，它僅將提取的關鍵短語暴露給MCP客戶端，而不暴露原始文件內容，從而確保文檔處理的安全性。

使用此MCP服務器，您可以提出以下問題：

• “從文件中提取7個關鍵短語。[絕對文件路徑]”
• “從給定文件中提取3個關鍵短語，忽略停用詞。停用詞：前者、由於、數量、[其他停用詞]。文件：[絕對文件路徑]”

關鍵短語有助於用戶在不完整閱讀文檔的情況下快速掌握文檔的主要主題和核心內容，並且可應用於以下場景：

1. 作為文檔的標籤或元數據，提升數字圖書館中文檔的組織性和可發現性。
2. 從客戶評論、社交媒體或新聞文章中識別新興趨勢和情感傾向。
3. 作為其他任務（如文本分類、聚類）的特徵或輸入。

💡 關鍵短語-MCP的設計依據

像Claude或ChatGPT這樣的自迴歸大語言模型按順序處理文本，這不僅限制了它們在整個文檔中全面理解關鍵短語上下文的能力，而且隨著輸入長度的增加，還會出現上下文退化的問題，導致早期的關鍵短語得不到足夠的關注。

而像BERT這樣的雙向模型，通過同時考慮左右上下文並在整個序列中保持更一致的注意力，通常能更準確、更具相關性地從文本中提取現有關鍵短語，特別是在未進行特定領域微調的情況下。

然而，隨著自迴歸模型採用更長的上下文窗口和輸入分塊等技術，它們在關鍵短語提取方面的性能正在不斷提升，與BERT的差距逐漸縮小。並且，特定領域的微調可以使自迴歸大語言模型在關鍵短語提取任務上超越BERT解決方案。

此MCP服務器將用於關鍵短語提取的BERT與用於文本生成或優化的自迴歸大語言模型相結合，實現了無縫的文本處理。

⚙️ 工作原理

服務器使用KeyBERT框架進行多步驟提取流程，將spaCy自然語言處理預處理與BERT嵌入相結合：

1. 候選生成：KeyphraseCountVectorizer使用spaCy的en_core_web_trf模型識別有意義的關鍵短語候選，並去除停用詞。
2. 語義編碼：使用paraphrase-multilingual-MiniLM-L12-v2句子轉換器對候選關鍵短語和文檔進行嵌入。
3. 相關性排序：KeyBERT計算候選關鍵短語和文檔嵌入之間的餘弦相似度。
4. 多樣性選擇：**最大邊際相關性（MMR）**確保選擇的關鍵短語具有多樣性且不冗餘。
5. 最終輸出：選擇並按字母順序排序前N個最相關且多樣的關鍵短語。

具體細節請參閱配置文檔。

📚 文檔

• 🚀 集成 - 如何將服務器與您的MCP客戶端或大語言模型集成。
• 🔧 配置 - 環境變量和設置。
• 🛠️ MCP工具 - 所有可用工具。
• 🪵 開發與測試 - 如何為項目做出貢獻的指南。

📄 許可證

本項目採用MIT許可證。

📞 聯繫我們

如有任何問題或需要支持，請通過GitHub問題與我們聯繫。