Tokenscope

🚀 トークンスコープ

TokenScopeは、コードベースを効率的に分析し、大規模言語モデル（LLM）とやり取りするためのツールです。FastMCP と tiktoken を組み合わせ、大規模言語モデルを通じてコードベースのコンテキスト分析を効率的に行うことを目的としています。

🚀 クイックスタート

以下は簡単な使用例です。

from tokenscope import create_client

# クライアントを作成
client = create_client()

# ディレクトリ構造をスキャン
structure = client.scan_directory_structure("path/to/directory")

# ファイル内容を抽出
content = client.extract_file_content("path/to/file.py")

# トークン使用状況を分析
analysis = client.analyze_token_usage("path/to/directory")

print(structure)
print(content)
print(analysis)

✨ 主な機能

• ディレクトリ構造のスキャン：トークンを効率的に使用する方法でディレクトリ構造をスキャンし、返す。
• ファイル内容の抽出：トークン制限と形式を考慮して、特定のファイルの内容を抽出する。
• ファイル検索：指定されたパターンに基づいて、ディレクトリ構造内でファイルを検索する。
• トークン使用分析：ディレクトリまたはファイルのトークン使用状況を分析し、LLMの処理要件を推定する。
• レポート生成：ディレクトリの統計情報を含む包括的なMarkdownレポートを生成する。
• ファイルコピー：ファイルをソースパスからターゲットパスにコピーする。

📦 インストール

pipを通じたインストール

pip install token-scope

リポジトリをクローンしてインストール

git clone https://github.com/yourusername/token-scope.git
cd token-scope
python -m pip install .

💻 使用例

基本的な使用法

from tokenscope import create_client

# 创建客户端
client = create_client()

# 扫描目录结构
structure = client.scan_directory_structure("path/to/directory")

# 提取文件内容
content = client.extract_file_content("path/to/file.py")

# 分析 token 使用情况
analysis = client.analyze_token_usage("path/to/directory")

print(structure)
print(content)
print(analysis)

高度な使用法

各関数の詳細な使用方法は以下の通りです。

scan_directory_structure

トークン制限を考慮して、ディレクトリをスキャンし、その構造を返します。

scan_directory_structure(
    path: str, 
    depth: int = 3,
    max_tokens: int = 10000,
    ignore_patterns: list[str] | None = None,
    include_gitignore: bool = True,
    include_default_ignores: bool = True
)

extract_file_content

トークン制限と形式を考慮して、特定のファイルの内容を抽出します。

extract_file_content(
    file_path: str, 
    max_tokens: int = 10000,
    sample_only: bool = False
)

search_files_by_pattern

指定されたパターンに基づいて、ディレクトリ内のファイルを検索します。

search_files_by_pattern(
    directory: str,
    patterns: list[str],
    max_depth: int = 5,
    include_content: bool = False,
    max_files: int = 100,
    max_tokens_per_file: int = 1000,
    sample_only: bool = False,
    ignore_patterns: list[str] | None = None,
    include_gitignore: bool = True,
    include_default_ignores: bool = True
)

analyze_token_usage

指定されたパスのトークン使用状況を分析します。

analyze_token_usage(
    path: str,
    include_file_details: bool = False,
    ignore_patterns: list[str] | None = None,
    include_gitignore: bool = True,
    include_default_ignores: bool = True
)

generate_directory_report

統計情報を含むMarkdownレポートを生成します。

generate_directory_report(
    directory: str, 
    depth: int = 3,
    include_file_content: bool = True,
    max_files_with_content: int = 5,
    max_tokens_per_file: int = 1000,
    sample_only: bool = False,
    ignore_patterns: list[str] | None = None,
    include_gitignore: bool = True,
    include_default_ignores: bool = True
)

copy_file_to_destination

ファイルを指定されたパスにコピーします。

copy_file_to_destination(
    source_path: str,
    destination_path: str
)

📚 ドキュメント

デフォルトの無視パターン

TokenScopeは、以下の一般的なディレクトリとファイルを自動的に無視します。

DEFAULT_IGNORE_PATTERNS = [
    ".git/",
    ".venv/",
    "venv/",
    "__pycache__/",
    "node_modules/",
    ".pytest_cache/",
    ".ipynb_checkpoints/",
    ".DS_Store",
    "*.pyc",
    "*.pyo",
    "*.pyd",
    "*.so",
    "*.dll",
    "*.class",
    "build/",
    "dist/",
    "*.egg-info/",
    ".tox/",
    ".coverage",
    ".idea/",
    ".vscode/",
    ".mypy_cache/",
]

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています - 詳細はLICENSEファイルを参照してください。

謝辞

• FastMCP を組み合わせて使用しています。
• tiktoken を使用してトークン化を行っています。