Lenny Rag MCP

🚀 Lenny RAG MCP Server

このMCPサーバーは、299のLenny Rachitskyポッドキャストのトランスクリプトに対して階層的なRAG（Retrieval Augmented Generation）を提供します。関連する洞察、実世界の事例、および完全なトランスクリプトのコンテキストを取得することで、製品開発のブレインストーミングを可能にします。

🚀 クイックスタート

# リポジトリをクローンする（Git LFSを通じて事前構築されたインデックスを含む）
git clone git@github.com:mpnikhil/lenny-rag-mcp.git
cd lenny-rag-mcp

# 仮想環境を作成してアクティブ化する
python -m venv venv
source venv/bin/activate

# パッケージをインストールする
pip install -e .

Claudeコード

claude mcp add lenny --scope user -- /path/to/lenny-rag-mcp/venv/bin/python -m src.server

または、~/.claude.jsonに追加します。

{
  "mcpServers": {
    "lenny": {
      "type": "stdio",
      "command": "/path/to/lenny-rag-mcp/venv/bin/python",
      "args": ["-m", "src.server"],
      "cwd": "/path/to/lenny-rag-mcp"
    }
  }
}

Claudeデスクトップ

~/Library/Application Support/Claude/claude_desktop_config.jsonに追加します。

{
  "mcpServers": {
    "lenny": {
      "command": "/path/to/lenny-rag-mcp/venv/bin/python",
      "args": ["-m", "src.server"],
      "cwd": "/path/to/lenny-rag-mcp"
    }
  }
}

Cursor

プロジェクト内の.cursor/mcp.jsonまたはグローバルな~/.cursor/mcp.jsonに追加します。

{
  "mcpServers": {
    "lenny": {
      "command": "/path/to/lenny-rag-mcp/venv/bin/python",
      "args": ["-m", "src.server"],
      "cwd": "/path/to/lenny-rag-mcp"
    }
  }
}

すべての設定で/path/to/lenny-rag-mcpを実際のクローン場所に置き換えてください。

✨ 主な機能

search_lenny

コーパス全体に対する意味検索を行います。段階的な開示のためのポインタを返します。

返り値: 関連性スコア、エピソード参照、および詳細を掘り下げるためのトピックIDを含むランク付けされた結果。

get_chapter

特定のトピックを完全なコンテキストで読み込みます。search_lennyの後に詳細を取得するために使用します。

返り値: トピックの要約、すべての洞察、すべての事例、および生のトランスクリプトセグメント。

get_full_transcript

メタデータ付きの完全なエピソードのトランスクリプトを読み込みます。

返り値: 完全なトランスクリプト（10,000 - 40,000トークン）、エピソードのメタデータ、およびトピックのリスト。

list_episodes

利用可能なエピソードを閲覧します。必要に応じて専門分野でフィルタリングできます。

返り値: ゲスト名と専門分野のタグを含む299のエピソードのリスト。

📚 詳細ドキュメント

データキュレーションアプローチ

階層的抽出

各トランスクリプトは、段階的な開示を可能にする4レベルの階層に処理されます。

Episode
├── Topics (1エピソードあたり10 - 20)
│   ├── Insights (1トピックあたり2 - 4)
│   └── Examples (1トピックあたり1 - 3)

これにより、Claudeは軽量な検索結果から始め、必要なときにのみ詳細を掘り下げることができ、コンテキストウィンドウを効率的に保つことができます。

抽出スキーマ

{
  "episode": {
    "guest": "Guest Name",
    "expertise_tags": ["growth", "pricing", "leadership"],
    "summary": "150 - 200語のエピソードの要約",
    "key_frameworks": ["Framework 1", "Framework 2"]
  },
  "topics": [{
    "id": "topic_1",
    "title": "検索可能なトピックのタイトル",
    "summary": "トピックの要約",
    "line_start": 1,
    "line_end": 150
  }],
  "insights": [{
    "id": "insight_1",
    "text": "実行可能な洞察または逆説的な見解",
    "context": "追加のコンテキスト",
    "topic_id": "topic_1",
    "line_start": 45,
    "line_end": 52
  }],
  "examples": [{
    "id": "example_1",
    "explicit_text": "トランスクリプトに記載された物語",
    "inferred_identity": "Airbnb",
    "confidence": "high",
    "tags": ["marketplace", "growth", "launch strategy"],
    "lesson": "この事例からの具体的な教訓",
    "topic_id": "topic_1",
    "line_start": 60,
    "line_end": 85
  }]
}

暗黙的アンカー検出

多くのゲストは、会社名を挙げずに会社を参照します（「私の前の会社で...」）。抽出プロンプトは、モデルにゲストの背景に基づいて識別を推測するよう指示します。

• Brian Cheskyが「私たちが始めたとき」と言った場合 → Airbnb（高い信頼度）
• マーケットプレイスの専門家が「あるライドシェアリング会社」と言った場合 → おそらくUber/Lyft（中程度の信頼度）

これにより、キーワード検索だけでは見つからない事例が浮き彫りになります。

品質閾値

各トランスクリプトの抽出は、最小閾値に対して検証されます。

閾値を下回る抽出は、手動レビューの警告をトリガーします。

モデルとテクノロジースタック

前処理にClaude Haikuを使用する理由

• 品質: Haikuは複雑な抽出プロンプトを確実に実行します。
• コスト: トランスクリプト1つあたり約$0.02 - 0.03（299エピソードの合計で約$6 - 9）
• 速度: トランスクリプト1つあたり約30秒

埋め込みにbge-small-en-v1.5を使用する理由

• パフォーマンス: サイズに対してトップクラスの検索品質を提供します。
• 効率性: 384次元、高速な推論
• ローカル: CPUで完全に実行され、API呼び出しは必要ありません。

コーパス統計

インデックスの再構築

リポジトリには事前構築されたChromaDBインデックスが含まれています。最初から再構築するには、以下の手順を実行します。

トランスクリプトの再処理（Claude CLIが必要）

# 未処理のすべてのトランスクリプトを処理する
python scripts/preprocess_haiku.py

# 特定のファイルを処理する
python scripts/preprocess_haiku.py --file "Brian Chesky.txt"

# 並列処理（50個ずつ4バッチ）
python scripts/preprocess_haiku.py --limit 50 --offset 0 &
python scripts/preprocess_haiku.py --limit 50 --offset 50 &
python scripts/preprocess_haiku.py --limit 50 --offset 100 &
python scripts/preprocess_haiku.py --limit 50 --offset 150 &

埋め込みの再構築

# 増分（新しいファイルのみ）
python scripts/embed.py

# 完全な再構築
python scripts/embed.py --rebuild

プロジェクト構造

lenny-rag-mcp/
├── transcripts/           # 299の生の.txtポッドキャストトランスクリプト
├── preprocessed/          # 抽出されたJSON階層（エピソードごとに1つ）
├── chroma_db/             # ベクトル埋め込み（Git LFS）
├── prompts/
│   └── extraction.md      # Haiku抽出プロンプト
├── src/
│   ├── server.py          # MCPサーバーとツールの定義
│   ├── retrieval.py       # LennyRetrieverクラス（ChromaDBラッパー）
│   └── utils.py           # ファイル読み込みユーティリティ
├── scripts/
│   ├── preprocess_haiku.py  # Claude CLIによる前処理
│   └── embed.py             # ChromaDB埋め込みパイプライン
└── pyproject.toml

📄 ライセンス

MIT