MCP Jina Supabase Rag

🚀 MCP Jina Supabase RAG

このプロジェクトは、ドキュメントサイトをクロールし、それらをSupabaseにインデックス化してRAG（Retrieval-Augmented Generation）に利用するための、軽量で焦点の絞られたMCPサーバーです。

✨ 主な機能

• スマートなURL発見：最初にsitemap.xmlを試し、それがない場合はCrawl4AIの再帰的発見にフォールバックします。
• ハイブリッドコンテンツ抽出：高速なコンテンツ抽出にJina AIを使用し、複雑なページの場合はCrawl4AIにフォールバックします。
• 複数プロジェクトサポート：複数のドキュメントサイトを別々のSupabaseプロジェクトにインデックス化できます。
• 効率的なチャンキング：サイズとオーバーラップを設定可能な、インテリジェントなテキストチャンキングを行います。
• ベクトル埋め込み：OpenAIの埋め込みをSupabaseのpgvectorに保存します。

🔧 技術詳細

┌─────────────────────────────────────────────────────────────┐
│                    MCP Server Tools                         │
├─────────────────────────────────────────────────────────────┤
│  1. crawl_and_index(url_pattern, project_name)             │
│  2. list_projects()                                         │
│  3. search_documents(query, project_name, limit)           │
└─────────────────────────────────────────────────────────────┘
                            │
                            ▼
┌─────────────────────────────────────────────────────────────┐
│                   Discovery Layer                           │
├─────────────────────────────────────────────────────────────┤
│  • Try sitemap.xml (fast)                                   │
│  • Try common doc patterns                                  │
│  • Crawl4AI recursive discovery (fallback)                  │
└─────────────────────────────────────────────────────────────┘
                            │
                            ▼
┌─────────────────────────────────────────────────────────────┐
│                  Extraction Layer                           │
├─────────────────────────────────────────────────────────────┤
│  • Jina AI Reader API (primary, fast)                       │
│  • Crawl4AI (fallback for complex pages)                    │
└─────────────────────────────────────────────────────────────┘
                            │
                            ▼
┌─────────────────────────────────────────────────────────────┐
│              Chunking & Embedding Layer                     │
├─────────────────────────────────────────────────────────────┤
│  • Smart text chunking                                      │
│  • OpenAI embeddings (text-embedding-3-small)               │
└─────────────────────────────────────────────────────────────┘
                            │
                            ▼
┌─────────────────────────────────────────────────────────────┐
│                   Supabase Storage                          │
├─────────────────────────────────────────────────────────────┤
│  • pgvector for similarity search                           │
│  • Project isolation via source column                      │
└─────────────────────────────────────────────────────────────┘

📦 インストール

前提条件

• Python 3.12以上
• Supabaseアカウント
• OpenAI APIキー
• Jina AI APIキー（オプションですが、推奨）

セットアップ

1. リポジトリをクローンします：

git clone https://github.com/yourusername/mcp-jina-supabase-rag.git
cd mcp-jina-supabase-rag

2. 依存関係をインストールします：

# uvを使用することを推奨
uv venv
source .venv/bin/activate  # Windowsの場合は.venv\Scripts\activate
uv pip install -e .

# またはpipを使用
pip install -e .

3. Supabaseデータベースをセットアップします：

# supabase_schema.sqlのSQLをSupabase SQLエディタで実行

4. 環境を設定します：

cp .env.example .env
# .envを自分の認証情報で編集

💻 使用例

MCPサーバーの起動

# SSEトランスポート（リモート接続に推奨）
python src/main.py

# サーバーはhttp://localhost:8052/sseで起動します

MCPクライアントの設定

Claudeコード

claude mcp add --transport sse jina-supabase http://localhost:8052/sse

Cursor / Claude Desktop

{
  "mcpServers": {
    "jina-supabase": {
      "transport": "sse",
      "url": "http://localhost:8052/sse"
    }
  }
}

スラッシュコマンド

/home/marty/.claude/commands/jina.mdを作成します：

---
allowed-tools: mcp__jina-supabase
argument-hint: <url_pattern> <project_name>
description: Crawl documentation and index to Supabase RAG
---

# Index Documentation to Supabase

jina-supabase MCPサーバーを使って、ドキュメントをクロールしてインデックス化します。

引数:
- $1: URLパターン（例: https://docs.example.com/*）
- $2: 分離用のプロジェクト名

例:
/jina https://docs.anthropic.com/claude/* anthropic-docs

ツール

crawl_and_index

ドキュメントサイトをクロールし、Supabaseにインデックス化します。 パラメーター:

• url_pattern (文字列): クロールするURLまたはパターン
• project_name (文字列): 分離用のプロジェクト識別子
• discovery_method (文字列, オプション): auto, sitemap, または crawl
• extraction_method (文字列, オプション): auto, jina, または crawl4ai

例:

await crawl_and_index(
    url_pattern="https://docs.supabase.com/docs/*",
    project_name="supabase-docs",
    discovery_method="auto",
    extraction_method="jina"
)

list_projects

すべてのインデックス化されたプロジェクトをリストします。 戻り値: ドキュメント数付きのプロジェクト名のリスト

search_documents

ベクトル類似度を使用して、インデックス化されたドキュメントを検索します。 パラメーター:

• query (文字列): 検索クエリ
• project_name (文字列, オプション): プロジェクトでフィルタリング
• limit (整数, オプション): 最大結果数（デフォルト: 5）

例:

results = await search_documents(
    query="How do I set up authentication?",
    project_name="supabase-docs",
    limit=10
)

📚 ドキュメント

設定

すべての設定オプションについては、.env.exampleを参照してください。

発見方法

• auto: 最初にサイトマップを試し、それがない場合はクロールにフォールバックします。
• sitemap: sitemap.xmlのみを使用します（高速ですが、サイトマップがない場合は失敗します）。
• crawl: Crawl4AIの再帰的発見のみを使用します（低速ですが、網羅的です）。

抽出方法

• auto: 大量のURL（>10）の場合はJinaを使用し、それ以外の場合はCrawl4AIを使用します。
• jina: Jina AI Reader APIを使用します（高速ですが、APIキーが必要です）。
• crawl4ai: Crawl4AIのブラウザー自動化を使用します（低速ですが、APIキーは必要ありません）。

開発

# 開発用の依存関係をインストール
uv pip install -e ".[dev]"

# テストを実行
pytest

# コードを整形
black src/

# リントを実行
ruff check src/

mcp-crawl4ai-ragとの違い

📄 ライセンス

MIT

コントリビューション

コントリビューションを歓迎します！変更については、まずIssueを開いて議論してください。