Keyphrases MCP

🚀 キーフレーズ-MCP

本物のキーフレーズ抽出機能を搭載した大規模言語モデルの強化

以下のツールと技術を使用して構築されています:

🚀 クイックスタート

このキーフレーズMCPサーバーは、提供されたテキストからキーフレーズを抽出するためのエージェント型アプリケーション向けの自然言語インターフェースです。MCP（モデルコンテンツプロトコル）クライアントとシームレスに統合され、BERT機械学習モデルを使用して、AI駆動のワークフローでキーフレーズをより正確かつ関連性高く抽出できます。許可されたディレクトリ内のローカルファイルを直接操作し、大規模言語モデルのコンテキストトークンを保存します。このアプリケーションは、元のファイル内容ではなく、抽出されたキーフレーズのみをMCPクライアントに公開することで、安全なドキュメント処理を保証します。

このMCPサーバーを使用すると、以下のような質問をすることができます。

• "ファイルから7つのキーフレーズを抽出してください。[絶対ファイルパス]"
• "与えられたファイルから、ストップワードを無視して3つのキーフレーズを抽出してください。ストップワード: former, due, amount, [その他のストップワード]。ファイル: [絶対ファイルパス]"

キーフレーズは、ユーザーがドキュメントを完全に読まなくても、主なトピックやテーマをすばやく把握するのに役立ち、以下のようなアプリケーションを可能にします。

1. ドキュメントのタグまたはメタデータとして使用し、デジタルライブラリでの整理と検索可能性を向上させる
2. 顧客レビュー、ソーシャルメディア、またはニュース記事から、新興トレンドやセンチメントを特定する
3. テキスト分類、クラスタリングなどの他のタスクの特徴または入力として使用する

✨ 主な機能

キーフレーズ抽出の理由

ClaudeやChatGPTなどの自己回帰型大規模言語モデルは、テキストを逐次的に処理するため、ドキュメント全体でキーフレーズを完全に文脈化する能力が制限されるだけでなく、入力長が増えるにつれてコンテキストが劣化し、初期のキーフレーズに対する注意が薄まる問題があります。

BERTのような双方向モデルは、左右のコンテキストを考慮し、シーケンス全体でより一貫した注意を維持するため、特にドメイン固有の微調整が適用されない場合、一般的にテキストから既存のキーフレーズをより正確かつ関連性高く抽出します。

ただし、自己回帰型モデルがより長いコンテキストウィンドウや入力チャンキングなどの技術を採用するにつれて、キーフレーズ抽出の性能が向上し、BERTとのギャップが狭まっています。また、ドメイン固有の微調整により、自己回帰型大規模言語モデルはBERTソリューションを上回ることができます。

このMCPサーバーは、キーフレーズ抽出にBERTを、テキスト生成または改良に自己回帰型大規模言語モデルを組み合わせ、シームレスなテキスト処理を可能にします。

動作原理

サーバーは、spaCyの自然言語処理の前処理とBERT埋め込みを組み合わせた多段階抽出パイプラインにKeyBERTフレームワークを使用します。

1. 候補生成：KeyBERTはspaCyのen_core_web_trfモデルを使用して意味のあるキーフレーズ候補を特定し、ストップワードを破棄します。
2. 意味的エンコーディング：候補とドキュメントは、paraphrase-multilingual-MiniLM-L12-v2文埋め込みモデルを使用して埋め込まれます。
3. 関連性ランキング：KeyBERTは、候補キーフレーズとドキュメントの埋め込み間のコサイン類似度を計算します。
4. 多様性選択：最大限界関連性（MMR） は、多様で重複のないキーフレーズを保証します。
5. 最終出力：最も関連性が高く多様な上位N個のキーフレーズが選択され、アルファベット順に並べられます。

詳細については、設定ドキュメントを参照してください。

📚 ドキュメント

• 🚀 統合 - サーバーをMCPクライアントまたは大規模言語モデルと統合する方法
• 🔧 設定 - 環境変数と設定
• 🛠️ MCPツール - 利用可能なすべてのツール
• 🪵 開発とテスト - プロジェクトに貢献する方法のガイド

📄 ライセンス

このプロジェクトは、MITライセンスの下でライセンスされています。

お問い合わせ

質問やサポートが必要な場合は、GitHubの問題 を通じてお問い合わせください。