Pytorch Documentation Search

🚀 PyTorch ドキュメント検索ツール（プロジェクト一時停止）

コマンドライン機能を備えたPyTorchドキュメントの意味検索プロトタイプです。

🚀 クイックスタート

現在の状態（2025年4月19日）

⚠️ 重要提示

このプロジェクトは現在、大幅な再構築のため一時停止しています。

このツールは、PyTorchドキュメントを検索するための基本的なコマンドライン検索インターフェースを提供していますが、多くの面で大幅な改善が必要です。コアの埋め込みと検索機能は基本的なレベルでは正常に動作しますが、関連性とMCP統合についてはさらなる開発が必要です。

出力例

$ python scripts/search.py "PyTorchでマルチアテンションヘッドをどのように描画するか？"

'How are multi-attention heads plotted out in PyTorch?'に対する5つの結果が見つかりました：

--- 結果1（コード） ---
タイトル：plot_visualization_utils.py
ソース：plot_visualization_utils.py
スコア：0.3714
抜粋：# models. Let's start by analyzing the output of a Mask-RCNN model. Note that...

--- 結果2（コード） ---
タイトル：plot_transforms_getting_started.py
ソース：plot_transforms_getting_started.py
スコア：0.3571
抜粋：https://github.com/pytorch/vision/tree/main/gallery/...

✨ 主な機能

✅ 基本的な意味検索：コマンドラインインターフェースを備えたドキュメント検索
✅ ベクトルデータベース：ChromaDBを統合して埋め込みの保存と検索を行う
✅ 内容の区別：コードとテキスト内容を区別する
✅ インタラクティブモード：連続した対話型検索セッションを実行するオプション

📦 インストール

環境設定

すべての依存関係を含むconda環境を作成します：

conda env create -f environment.yml
conda activate pytorch_docs_search

APIキーの設定

このツールは、埋め込み生成にOpenAI APIキーが必要です：

export OPENAI_API_KEY=your_key_here

💻 使用例

基本的な使用法

# 直接クエリを使用して検索
python scripts/search.py "your search query here"

# インタラクティブモードで実行
python scripts/search.py --interactive

# その他のオプション
python scripts/search.py "query" --results 5  # 結果を5件に制限
python scripts/search.py "query" --filter code  # コード結果のみを表示
python scripts/search.py "query" --json  # JSON形式で出力

📚 ドキュメント

プロジェクト構成

• ptsearch/core/：コア検索機能（データベース、埋め込み、検索）
• ptsearch/config/：設定管理
• ptsearch/utils/：ユーティリティ関数とログ記録
• scripts/：コマンドラインツール
• data/：埋め込みドキュメントとデータベース
• ptsearch/protocol/：MCPプロトコル処理（現在未使用）
• ptsearch/instructions/：MCP命令セット（現在未使用）

一時停止の理由

• データ品質：元のドキュメントの品質が低く、高品質な埋め込みを生成するには不十分です。
• チャンク分割戦略：技術ドキュメントの内容を処理するために、より複雑なロジックが必要です。
• MCP統合：PyTorchチームとのインターフェースとプロトコルについて合意に達していません。

将来の計画

1. データ品質
   • 前処理手順を使用して元のドキュメントをクリーニングします。
   • 外部の知識ベースを統合してコンテキストを豊富にします。
2. チャンク分割戦略
   • 技術用語とコードスニペットを処理するためのより高度なロジックを開発します。
   • 意味的な類似性に基づくチャンク分割方法を実装します。
3. 結果の表示
   • コンテキスト情報を強化して、検索結果をより読みやすくします。
   • 複数の形式（HTML、Markdown）での出力をサポートします。
4. MCP統合
   • PyTorchチームと協力して統一されたインターフェースを定義します。
   • 双方向通信メカニズムを実装して、リアルタイムフィードバックをサポートします。

開発ガイド

依存関係のインストール

必要なライブラリをインストールするには、以下のコマンドを実行します：

pip install -r requirements.txt

スクリプトの起動

検索ツールを起動するには、以下のコマンドを実行します：

python scripts/run.py

貢献ガイド

1. コード規約
   • PEP8コーディングスタイルに従ってください。
   • 明確なドキュメントコメントを提供してください。
2. テスト要件
   • 各機能モジュールに単体テストを記述してください。
   • 定期的にテストスイートを実行して、コード品質を確保してください。
3. コミットガイド
   • ブランチでコードレビューを行ってください。
   • コミット時に詳細な変更履歴を添付してください。