Deepcontext MCP

🚀 大規模コードベース向けの高度なコンテキスト管理

DeepContextは、Codex CLI、Claude Code、その他のコーディングエージェントにシンボル認識型の意味検索機能を追加するMCPサーバーです。これにより、大規模なコードベースでもより正確なコンテキストを提供できます。現在は、TypeScriptとPythonをサポートしています。

🚀 クイックスタート

1. WildcardのDeepContextページにアクセスします。
2. 「APIキーを生成する」をクリックします。
3. APIキーをコピーします。
4. MCPクライアントのインストールコマンドを貼り付けます。
5. index this codebase と入力して、現在のディレクトリをインデックス化します。

Claude Code:

claude mcp add deepcontext \
  -e WILDCARD_API_KEY=your-wildcard-api-key \
  -- npx @wildcard-ai/deepcontext@latest

Codex:

# Add to ~/.codex/config.toml
[mcp_servers.deepcontext]
command = "npx"
args = ["-y", "@wildcard-ai/deepcontext@latest"]
env = { "WILDCARD_API_KEY" = "your-wildcard-api-key" }

🎥 デモ

https://github.com/user-attachments/assets/9a2d418f-497b-42b9-bbb2-f875ef0007b4

✨ なぜDeepContext MCPが必要なのか？

ほとんどのコーディングエージェントは、正確なテキストを検索するgrepベースの検索を使用しています。これらの検索では、意味的に関連するコードを見逃し、コンテキストウィンドウに関係のない結果が表示されることがあります。大規模なコードベースでは、この問題がさらに深刻化し、テキスト検索が数百のマッチを返し、会話容量をすぐに超えてしまいます。これにより、コードの補完が遅くなり、ハロウィング（無関係な情報の生成）が増え、成功率が低下します。

DeepContextは、エージェントにインテリジェントな検索機能を提供し、関連するコードチャンクのみを見つけることで、コンテキストウィンドウを維持します。

• 意味的な精度: テキストパターンではなく、意味と関係に基づいてコードをマッチングし、キーワード検索では見つからないファイル間の関連関数を見つけます。
• トークン使用量の削減: 検索語を含むすべてのファイルではなく、正確なコードチャンクを返し、会話のコンテキストウィンドウを維持し、コストを削減します。
• 検索速度: 事前にインデックス化されたデータを通じてコードをすぐに検索し、即座にファイルを見つけます。

🛠️ MCPツール

index_codebase

コードベースの意味検索用の検索可能なインデックスを作成します。

search_codebase

自然言語またはキーワードクエリを使用して関連するコードを検索します。

get_indexing_status

コードベースのインデックス化の状態とファイル数を表示します。

clear_index

コードベースのすべてのインデックス化されたデータを削除します。

🔧 技術詳細

MCP統合フロー

• コーディングエージェントは、Model Context Protocolを通じてDeepContextと通信します。
• MCPサーバーは、リクエストを受け取り、パラメータを検証し、適切なコアコンポーネントにルーティングします。
• インデックス化などの長時間実行される操作の場合は、タイムアウトを防ぐためにバックグラウンドプロセスを起動します。
  • バックグラウンドワーカーは、大規模なコードベースを処理し、MCPチャネルをブロックしません。

ASTベースのパース

• Tree-sitterパーサーは、ソースコードを分析して抽象構文木（AST）を構築します。
  • Python、TypeScript、JavaScriptの言語文法を使用して正確なパースを行います。
  • 関数、クラス、インターフェース、モジュールなどの意味的なノードを識別します。
• シンボル抽出は、関数、クラス、インターフェース、型、変数、定数を識別します。
  • スコープ分析は、ローカル、エクスポート、グローバルの可視性を判断します。
  • 関数シグネチャのパラメータと戻り値の型を抽出します。
• インポート/エクスポート分析は、モジュールの依存関係とファイル間の関係をマッピングします。
• 意味的な境界でコードチャンクを作成し、任意の行またはトークンの分割を避けます。
  • 大きなファイルの処理は、重複するウィンドウを持つ範囲ベースのパースを使用します。

再ランキング付きハイブリッド検索

• 検索は3段階で行われます。
  • ハイブリッド検索は、ベクトル類似度とBM25全文検索を組み合わせます。
  • Jina reranker-v2を使用して最終的な関連性を最適化します。
• ベクトル類似度は、埋め込みを使用して意味的に関連するコードを見つけます。
  • Jinaテキスト埋め込みは、コードチャンクに1024次元のベクトルを生成します。
• BM25は、正確な用語の従来のキーワードマッチングを行います。
  • 全文インデックス化により、正確な識別子とコメントのマッチングが可能になります。
• 結果は、設定可能な重みを使用して融合され、Jina rerankerによって再並べ替えされます。

増分インデックス化

• ファイルの変更時刻とコンテンツハッシュを使用して変更を追跡します。
  • SHA-256ハッシュを使用して、バイトレベルでのコンテンツ変更を検出します。
• 再インデックス化時には、ハッシュが異なるファイルのみを再処理します。
  • 変更されていないファイルの不要なパースと埋め込み生成を避けます。

コンテンツフィルタリング

• 拡張子パターン、パスコンポーネント、コンテンツ分析に基づいてファイルをスコアリングします。
  • 言語検出とファイルタイプ分類を使用して処理の決定を行います。
• インデックス化時に、テストファイル、生成されたコード、縮小されたファイル、ビルド出力を除外します。
  • 一般的なテストフレームワークとビルドツールの出力に対するパターンマッチングを行います。
• ドキュメントと設定ファイルをフィルタリングし、ソースコードに焦点を当てます。

🏠 セルフホスティング

現在の実装ではWildcard APIバックエンドを使用しているため、セルフホスティングにはベクトルストレージと埋め込みプロバイダーと直接統合するためのコード変更が必要です。

前提条件

• ESモジュールのサポートとパフォーマンス最適化のために、Node.js 20以上が必要です。
• ベクトルストレージとハイブリッド検索操作には、Turbopuffer APIキーが必要です。
• テキスト埋め込みと再ランキングサービスには、Jina AI APIキーが必要です。

セットアップ

git clone https://github.com/Wildcard-Official/deepcontext-mcp.git
cd deepcontext
npm install
npm run build

統合

claude mcp add deepcontext-local \
  -e TURBOPUFFER_API_KEY=your-turbopuffer-key \
  -e JINA_API_KEY=your-jina-key \
  -- node /path/to/deepcontext/dist/standalone-mcp-integration.js

🤝 コントリビューション

ご興味いただき、ありがとうございます！現在は、早期段階のスタートアップであり、迅速な反復に注力しているため、外部からのコントリビューションを受け付けていません。将来的にはオープンにする可能性がありますので、リポジトリを⭐して最新情報をキャッチアップしてください。

📄 ライセンス

このプロジェクトは、Apache Licenseの下でライセンスされています。