Autopentest Ai

🚀 AutoPentest

AutoPentestは、完全なOWASP Web Security Testing GuideとPortSwigger Web Security Academyの技術参考資料を使用して、Webアプリケーションのペネトレーションテストを自動化するエージェント型ペンテストMCPサーバーです。

対象を指定すると、アプリをクロールし、すべてのエンドポイントをマッピングし、役割別のエージェント（Scout、Analyzer、Exploiter、Reporter）を起動して、XSS、SQLi、SSRF、SSTI、IDORなどのテストを実行します。誤検知はありません。すべての検出結果には、実際の再現可能な証拠があり、各フェーズで品質ゲートによる証明が強制されます。31のPortSwigger技術ガイド、12のベンダーに対応した適応型WAF回避、クロスフェーズの脆弱性チェーン、リスク重み付けによるエンドポイントの優先順位付けが含まれています。Claude Code、APIを使用して実行するか、Ollamaモデルを使用して完全にオフラインで実行することができます。

考えてみてください： 上級ペンテスターの方法論がMCPサーバーにエンコードされたものです。109のOWASPテスト、31のPortSwigger攻撃技術ガイド、68以上のMCPツール、27のセキュリティツール、4つの専用エージェントロール、7つの構造化されたフェーズ、自動品質保証、およびゼロコンテキストの最終レビューが含まれています。

🚀 クイックスタート

前提条件

• Docker （macOS/WindowsではDocker Desktop、LinuxではDocker Engine）
• 有効なAnthropic APIキーを持つClaude Code CLI
• uv （MCPサーバー用のPythonパッケージマネージャー）
• Node.js （Playwright MCPサーバー用）
• オプション：パッシブトラフィック監視用のBurp Suite Professional

インストール

# 1. リポジトリをクローンする
git clone https://github.com/bhavsec/autopentest-ai.git
cd autopentest-ai

# 2. MCPサーバーのPython依存関係をインストールする
cd server && uv sync && cd ..

# 3. Dockerイメージをビルドし、ツールコンテナを起動する
make setup

これですべての27のセキュリティツールがDockerコンテナ内にインストールされ、使用可能になりました。

インストールの確認

# すべてのツールがインストールされていることを確認する
make verify-tools

# 期待される出力:
# [+] nuclei: installed
# [+] httpx: installed
# [+] katana: installed
# ... (合計27個のツール)

テストの開始

# プロジェクトディレクトリでClaude Codeを起動する
claude

次に、Claudeにテスト対象を指示します。

Run a full WSTG assessment against https://target.example.com

✨ 主な機能

包括的なOWASPカバレッジ

• 情報収集からAPIテストまで、12のカテゴリにわたる109のWSTGテストケース。
• 各テストには、ステップバイステップのCLI手順、コンテキスト固有のペイロード、検出基準、および深刻度ルーブリックが含まれています。
• テストは優先順位付け（MUST/SHOULD）され、条件付きトリガーがあるため、関連するものはすべてテストされます。

31のPortSwigger攻撃技術ガイド

• PortSwigger Web Security Academy から取得された検出方法、攻撃技術、ペイロード、チートシート、およびWAFバイパスパターン。
• 脆弱性クラス（SQLi、XSS、SSRF、JWT、OAuthなど）ごとに整理されており、テスト中に直接使用できます。
• すべてのテストフェーズに統合されており、エージェントは各脆弱性クラスをテストする前に関連する技術ガイドを自動的に読み込みます。
• データベース/プラットフォーム固有のペイロードテーブル（SQLiの場合はOracle、MySQL、PostgreSQL、MSSQL、SSTIの場合はJinja2、Twig、Freemarkerなど）。
• WAFバイパスパターンはバイパスレベル（基本 → 中級 → 上級）ごとに整理されています。

27の事前構成済みセキュリティツール

• すべてのツールが単一のDockerイメージに事前インストールされています。make setup を実行するとすぐに使用できます。
• ツールはフェーズごとに整理されています：発見、インジェクションテスト、認証、暗号化、APIテスト。
• パッシブトラフィック監視用にBurp Suiteプロキシが自動的に統合されています。

構造化された7フェーズのワークフロー

• フェーズ0：アプリケーションの発見とマッピング
• フェーズ1：情報収集と調査
• フェーズ2：構成とデプロイメントのテスト
• フェーズ3：ID、認証、承認、セッション管理
• フェーズ4：入力検証テスト（パイプライン化されたXSS/SQLi/SSRFパイプライン）
• フェーズ5：エラーハンドリング、暗号化、ビジネスロジック、クライアントサイド、APIテスト
• フェーズ6：カバレッジ検証とレポート作成
• フェーズ7：最終判定レビューと修復

品質保証システム

• 自動フェーズゲート：各フェーズは品質チェックを通過しなければ次のフェーズに進むことができません。
• 品質レビュアー：各フェーズの移行時にサブエージェントが起動し、ギャップを特定し、改善策を提案します。
• 最終判定エージェント：ゼロコンテキストのエージェントが、外部の品質保証レビュアーのように、エンゲージメント全体を冷静にレビューします。
• 完全性ゲート：「脆弱性なし」と判断するには、十分なテスト努力（最小限の技術とバイパス試行）の証拠が必要です。

証拠ベースの検出結果

• すべての検出結果には、再現可能なcurlコマンドと完全なリクエスト/レスポンスの証拠が必要です。
• 3段階の分類：EXPLOITED（実証された影響）、POTENTIAL（制御によってブロックされた）、FALSE_POSITIVE（制御が機能した）。
• 幻覚防止フレームワーク：「攻撃がなければ検出結果なし」がすべてのレベルで強制されます。
• 各脆弱性クラスの証拠チェックリストが、検出結果が記録される前に検証されます。

役割別のサブエージェント

• 4つの専用ロール：焦点を絞ったプロンプトテンプレート、ツールガイダンス、およびアンチパターンがあります。
  • Scout：調査のみを行い、ペイロードを送信せずに攻撃面をマッピングします（フェーズ0 - 1、ソースコードの発見）。
  • Analyzer：カナリー/ウィットネスペイロードを使用して潜在的なシンクを特定し、攻撃キューを構築します（フェーズ2 - 5の分析）。
  • Exploiter：Analyzerの出力を消費し、証拠を用いて攻撃を実証し、確認された検出結果を記録します（フェーズ4の攻撃）。
  • Reporter：品質レビューと最終判定を行い、リクエストを送信せずにデータをレビューします（品質保証 + レポート作成後）。
• 分析と攻撃の間の検証チェックポイントにより、無駄な努力が防止されます。
• 各ロールには、明示的な許可/制限されたツールリストと入力/出力契約があります。

パイプライン化された攻撃（フェーズ4）

• 3つの独立した2段階パイプラインが並行して実行されます：XSS、インジェクション（SQLi/CMDi）、SSRF/SSTI。
• 各パイプライン：Analyzer（発見 → 分析 → キュー） → 検証チェックポイント → Exploiter（攻撃 → 記録）。
• 各パイプラインは、検出方法、チートシート、およびWAFバイパスパターンのためにPortSwigger技術ガイドを読み込みます。
• WAF情報はすべてのパイプラインで共有されます。
• 13種類のシンクタイプに対応したコンテキスト認識型ウィットネスペイロード。

適応型WAF回避

• 自動WAFフィンガープリント：レスポンスヘッダー、ボディ、およびステータスコードから12のWAFベンダー（Cloudflare、AWS WAF、Akamai、Imperva、ModSecurity、F5、FortiWeb、Sucuri、Barracuda、Wordfence、NAXSI、Citrix）を識別します。
• ベンダー固有のバイパスペイロード：複雑度レベル（基本 → 中級 → 上級）ごとに整理されています。
• WAF情報はすべてのエージェントで配布システムを介して共有されます。
• エージェントは最初のブロックレスポンスでWAFを自動的に識別し、カスタマイズされたバイパスペイロードに切り替えます。

クロスフェーズの知識グラフ

• エンティティ関係グラフ：エンドポイント、パラメータ、技術、検出結果、クッキー、ドメイン、およびユーザーロールを追跡します。
• 自動脆弱性チェーン：BFSパス検索を使用して7つの事前定義されたチェーンパターン（XSS + CSPの欠如、XSS + 弱いクッキー（HttpOnlyなし）、オープンリダイレクト + OAuthコールバック、IDOR + 管理者ロール、SSRF + クラウドメタデータ、ロックアウトなし + MFAなし、CORS + 機密エンドポイント）を検出します。
• チェーンによって影響が大幅に増加する場合、深刻度が引き上げられます。
• テスト中にデータが入力され、フェーズ4の後にチェーンを発見するためにクエリされます。

階層型タスクツリー

• 永続的なツリー構造（フェーズをブランチ、テストを葉とする）により、LLMの深さ優先バイアスとコンテキストの損失が防止されます。
• メインエージェントは戦略的なマクロビューを維持し、サブエージェントは割り当てられた葉ノードのみを更新します。
• 自動伝播：すべての子ノードが完了すると、親ノードが自動的に完了します。
• フェーズレベルの完了率により、的確な意思決定が可能になります。

エンドポイントのリスク優先順位付け

• リスクに基づいてエンドポイントをスコアリングし、ソートして、優先的にテストします。最もリスクの高いエンドポイントからテストされます。
• スコアリング要素：パラメータ数、技術リスク指標、汚染チェーンの信頼度、ツールの収束、認証要件、注入可能なパラメータ名。
• フェーズ0のエンドポイントマップ生成に統合されています。

ツール出力の解析

• 一般的なCLIツール（nmap、nuclei、sqlmap、ffuf、httpx、whatweb、testssl、nikto、dalfox、katana、gau、wapiti、commix）用の13の組み込みパーサー。
• 生のツール出力を3 - 5倍に圧縮しながら、重要な検出結果、エンドポイント、およびエラーを保持します。
• 詳細度を設定できます：要約（約15行）、詳細（約50行）、完全（完全に解析された出力）。

CLIツール結果の検証

• CLIツールの出力品質を自動的に検証し、空の出力、プロキシエラー、権限問題、および疑わしい結果を検出します。
• ツールごとに10のバリデーター（nmap、nuclei、sqlmap、ffuf、feroxbuster、testssl、dalfox、wapiti、katana、httpx）があり、修正されたコマンドの提案があります。
• ツールが空または疑わしい出力を生成した場合、バリデーターは修正策を提案します（例：nmapに -Pn を追加、プロキシ環境変数を削除、異なるフラグを試す）。
• ツール実行ワークフローに統合されており、エージェントは各CLIツールの実行後に verify_tool_result() を呼び出します。

漸進的なコンテキスト圧縮

• フェーズの要約（約500 - 800語）は、フェーズゲートが通過したときに自動生成され、検出結果、カバレッジ、ツール結果、および攻撃面を圧縮した形式で捕捉します。
• 長時間実行されるエンゲージメントでのコンテキストの劣化を防止するために、生の履歴データを構造化された要約で置き換えます。
• get_engagement_summary() はすべてのフェーズの要約を1つの概要に結合し、新しいサブエージェントのプロンプトに挿入することができます。
• 要約は配布物として保存され、すべてのエンゲージメント履歴を必要とせずに、下流のエージェントがアクセスできます。

反事実分析（2回目の発見）

• Analyzerが脆弱性を検出して完了した後、「それらの脆弱性が修正されたと仮定する」という指示を持つ2番目のAnalyzerが起動されます。
• 反事実Analyzerは、追加の脆弱性（異なるエンドポイント、異なるパラメータ、異なる注入コンテキスト、ロジックの欠陥）を検索します。
• 結果は既存の攻撃キューに追加され（エンドポイント+パラメータによる自動重複排除と自動インクリメントID）、PenHealのアブレーション研究によると、脆弱性のカバレッジが71％向上します。

マルチドメインサポート

• 自動的なSSO/OAuth/OIDC/SAMLの検出と処理。
• ドメインごとのスコープ登録、クロール、およびテスト。
• クロスドメインのセッションの永続性のためのクッキージャー管理。
• 6段階の認証失敗エスカレーション（代替グラント → PKCE → ヘッドレスブラウザ → トークン抽出 → ユーザープロビジョニング → 未認証）。

クラッシュセーフなエンゲージメント管理

• 追記専用の findings.md と progress.log はクラッシュしても保持されます。
• Gitワークスペースのチェックポイントを作成し、ロールバックすることができます。
• 中断時の自動再開：各チェックポイントで resume-prompt.md が自動生成され、完全なコンテキスト（ターゲット、資格情報、現在のフェーズ、残りのテスト、スコープ）が含まれています。新しいセッションに貼り付けると、中断したところから再開できます。
• フェーズ内のチェックポイントの粒度：フェーズ内のどのテストが完了したかを追跡し、フェーズレベルの状態だけでなく、詳細な情報を提供します。
• すべてのMCPツールの呼び出しの完全な監査証跡とタイムスタンプが記録されます。

プロフェッショナルなレポート作成

• エグゼクティブサマリー、深刻度別の検出結果、テストカバレッジマトリックス、およびツールカバレッジを含むMarkdownレポート。
• カテゴリごとのカバレッジ率とギャップ分析。
• 脆弱性チェーン分析が文書化されています。
• 最終判定の観察結果と品質ノートが含まれています。

🔧 エージェントロールシステム

AutoPentestは、汎用のサブエージェントではなく、4つの専用エージェントロールを使用しています。各ロールには、焦点を絞ったツールガイダンス、入力/出力契約、およびアンチパターンを持つ専用のプロンプトテンプレートがあります。

パイプラインの仕組み

フェーズ4（最も影響の大きいテスト）では、各脆弱性クラスに対して2段階のパイプラインが使用されます。

┌──────────────────────────────────────────────────────────────┐
│                    Pipeline 1: XSS                           │
│                                                              │
│  Analyzer (75 turns)          Exploiter (75 turns)           │
│  ┌─────────────────────┐      ┌─────────────────────┐        │
│  │ Discover endpoints  │      │ Load Analyzer queue │        │
│  │ Send canary payloads│─────▶│ Attempt exploitation│        │
│  │ Build exploit queue │ gate │ Prove impact        │        │
│  │ Save deliverable    │      │ Log findings        │        │
│  └─────────────────────┘      └─────────────────────┘        │
│                          ▲                                   │
│               validate_exploitation_queue()                  │
└──────────────────────────────────────────────────────────────┘

3つのパイプライン（XSS、インジェクション、SSRF/SSTI）が並行して実行されます。AnalyzerとExploiterの間の検証チェックポイントにより、適切に形成された攻撃キューのみが進むことが保証されます。

ロールの境界

各ロールには、プロンプトを通じて明示的なツール制限があります。

• Scout は log_finding() を呼び出したり、攻撃ペイロードを送信したりすることはできません。
• Analyzer は構成に関する検出結果（ヘッダーの欠如、弱いクッキー）を記録できますが、インジェクションクラスの検出結果は記録できません。
• Exploiter は新しいキューを作成することはできず、Analyzerが生成したものを消費します。
• Reporter はターゲットにHTTPリクエストを送信することはできず、データのみをレビューします。

CTFチャレンジや小規模なアプリ（3つ未満の入力エンドポイント）の場合は、レガシーのモノリシックパイプラインがフォールバックとして利用可能です。

💻 使用例

オプションA：対話モード

Claude Codeを起動し、ターゲットを指定します。

Run a full pentest against https://app.example.com

Credentials: admin / P@ssw0rd123

Claudeは不足している情報（資格情報など）を要求し、7フェーズのワークフローを開始します。

オプションB：設定駆動モード（推奨）

繰り返し可能で一貫性のある評価のために、YAML設定ファイルを作成します。

# configs/my-target.yaml
target:
  url: https://app.example.com
  scope:
    - app.example.com
    - api.example.com
  exclude:
    - cdn.example.com

authentication:
  login_type: form
  login_url: https://app.example.com/login
  credentials:
    username: testuser@example.com
    password: secret123
  login_flow:
    - "Type $username into the email field"
    - "Type $password into the password field"
    - "Click the 'Sign In' button"
  success_condition:
    type: url_contains
    value: "/dashboard"

rules:
  avoid:
    - description: "Do not test logout"
      type: path
      url_path: "/logout"
  focus:
    - description: "Prioritize API endpoints"
      type: path
      url_path: "/api"

reporting:
  tester_name: "Security Team"

次に、Claude Codeで次のコマンドを実行します。

Load the config from configs/my-target.yaml and run the pentest

オプションC：ターゲットテスト

特定のWSTGテストを特定のエンドポイントに対して実行します。

Run WSTG-INPV-05 (SQL Injection) against https://app.example.com/search?q=

Test https://app.example.com for CORS misconfiguration (WSTG-CONF-13)

Run all authentication tests (WSTG-ATHN) against https://app.example.com

オプションD：中断したエンゲージメントの再開

Resume engagement pentest-2026-02-11-myapp

📚 詳細ドキュメント

フェーズ0：アプリケーションの発見とマッピング

重要な基礎フェーズです。Claudeは自動的に以下のことを行います。

1. 事前チェック：ターゲットの到達可能性を検証し、リダイレクトとクロスドメイン認証を検出します。
2. 10以上のバックグラウンドツールを並行して起動（katana、ffuf、nuclei、whatweb、gau、nmap、feroxbuster、wapiti、httpx）。
3. 再帰的なクローリング：リンクをたどって深さ2 - 3までクロールし、HTML/JSを解析してエンドポイントを抽出します。
4. ディレクトリブルートフォース：一般的なパスと技術固有のワードリストを使用します。
5. ツール結果の取り込み：すべてのバックグラウンドツールの出力を読み取り、統一されたエンドポイントマップにマージします。
6. 構造化されたエンドポイントインベントリの構築：パラメータ、認証要件、および優先順位付けを含みます。

出力：ドメインごとに整理された完全なエンドポイントマップで、体系的なテストが可能です。

フェーズ1 - 2：調査と構成

• サーバーのフィンガープリント、技術の検出、メタデータのレビュー。
• セキュリティヘッダーの分析（HSTS、CSP、CORS、X-Frame-Options）。
• TLS構成のテスト、管理インターフェイスの発見。
• HTTPメソッドのテスト、ファイル拡張子の処理。

フェーズ3：認証、承認、セッション管理

• ロール/特権の格子 をテスト前に構築します（ガード、ミドルウェア、およびバイパステストをマッピング）。
• 各エンドポイントに対して複数の代替IDを使用したIDORテスト。
• すべての状態変更エンドポイントでのCSRFテスト。
• セッション固定、ハイジャッキング、およびトークンの分析。
• JWTの脆弱性テスト（適用可能な場合）。
• OAuth/OIDCの弱点テスト（適用可能な場合）。

フェーズ4：入力検証（最も影響の大きい）

3つの独立した2段階パイプラインが並行して実行され、それぞれがAnalyzer→Exploiterのロール分割を使用します。

各パイプライン：Analyzer（発見 → 分析 → 攻撃キューの構築） → 検証チェックポイント → Exploiter（攻撃の試行 → 影響の実証 → 検出結果の記録）。WAF回避情報はすべてのパイプラインで共有されます。

フェーズ5：エラーハンドリング、暗号化、ビジネスロジック、クライアントサイド、API

• スタックトレースとエラーメッセージの開示。
• testssl.shを使用したTLS/SSLのテスト。
• ビジネスロジックのバイパス（ワークフローの回避、リクエストの偽造）。
• クライアントサイドのテスト（クリックジャッキング、オープンリダイレクト、DOM操作）。
• GraphQLとREST APIのテスト。
• すべての検出結果にわたる脆弱性チェーン分析。

フェーズ6：レポート作成

• カバレッジの検証（テストカバレッジ + ツールカバレッジ）。
• 検出結果の重複排除と深刻度の調整。
• エグゼクティブサマリー、検出結果、カバレッジマトリックスを含むMarkdownレポートの生成。

フェーズ7：最終判定レビュー

ゼロコンテキストのエージェントが、テストの決定や困難に関する知識なしに、エンゲージメント全体を冷静にレビューします。次のことを調査します。

• カバレッジの完全性：ゴム印を押されたテスト、未テストのエンドポイント。
• N/Aの連鎖検出：過度に「該当なし」とマークされたカテゴリ。
• 検出結果の品質：証拠の完全性、深刻度の一貫性、チェーンの機会。
• ツールの利用：実行されたが出力が確認されなかったツール、怠惰なスキップ理由。
• 見逃した攻撃面：未テストのエンドポイント、未テストのパラメータ、未テストのドメイン。

判定結果（PASS、CONDITIONAL_PASS、FAIL）に応じて、レポートが配布される前に特定の修復アクションがトリガーされます。

🛠️ セキュリティツール

発見と調査（フェーズ0）

インジェクションテスト（フェーズ4）

認証とセッション（フェーズ3）

暗号化とAPI（フェーズ5）

インフラストラクチャ（フェーズ2）

ブラウザ自動化

📚 WSTG知識ベース

12のOWASPカテゴリにわたる109のテストケースで、それぞれにCLI固有の手順が含まれています。

各テストファイルには以下が含まれています。

• ステップバイステップのCLI手順（curlコマンド、ツールの呼び出し）。
• バイパスレベル（基本、中級、上級）ごとに整理されたペイロード。
• 深刻度評価ルーブリックを含む検出基準。
• 参照情報を含む修復ガイダンス。

📄 PortSwigger技術ガイド

PortSwigger Web Security Academy から取得された31の攻撃技術参照ガイドで、実際のペンテストエンゲージメントで直接使用できるように脆弱性クラスごとに整理されています。

含まれる内容

さらに11種類：CLICK、WS、CACHEPOIS、CACHEDEC、DESER、INFO、BUSL、PROTO、API、LLM、SKILLSがあります。

使用方法

技術ガイドは、get_technique_guide() MCPツールを介してすべてのテストフェーズに統合されています。

フェーズ2 → CONF-13テスト用のCORSガイド
フェーズ3 → 認証/セッションテスト用のAUTHN、AUTHZ、CSRF、JWT、OAUTHガイド
フェーズ4 → 入力検証用のSQLI、XSS、CMDI、SSTI、SSRF、PTRAV、XXEガイド
フェーズ5 → クライアントサイドとビジネスロジック用のDOM、CLICK、GRAPHQL、RACE、UPLOADガイド

各並列テストエージェントは、テスト前に自動的に関連する技術ガイドを読み込み、以下を提供します。

• 検出ペイロード：脆弱性を特定するために注入するもの。
• 攻撃技術：攻撃方法ごとに整理され、ステップバイステップの手順があります。
• チートシート：データベース/プラットフォーム固有の構文テーブルで、すぐに参照できます。
• WAFバイパスパターン：エンコード、難読化、およびフィルター回避戦略。

カスタムガイドの追加

知識ベースに新しい技術ガイドを追加する手順については、 を参照してください。

🔧 品質保証システム

AutoPentestには、浅いテストを防止する多層構造の品質保証システムがあります。

1. フェーズゲート（自動）

各フェーズの後、phase_gate_check() が以下を検証します。

• すべてのMUST優先度のテストが実行された。
• 最小限のカバレッジ閾値が満たされた。
• ツールのカバレッジが適切である。
• 重大なギャップが存在しない。

ブロックされたフェーズは、すべての問題が解決されるまで進むことができません。

2. 品質レビュアー（フェーズごと）

各フェーズの移行時に起動されるサブエージェントで、以下を行います。

• 16の既知のアンチパターン（ゴム印を押す、N/Aの連鎖、検出結果の膨張）をチェックします。
• 未テストのエンドポイントとパラメータを特定します。
• 脆弱性チェーンの機会を提案します。
• ブロックされたテストに対する代替アプローチを推奨します。

3. 最終判定エージェント（レポート作成後）

ゼロコンテキストのエージェントが、新しい視点で完了したエンゲージメントをレビューします。

• すべてのドメインにわたるカバレッジの完全性を分析します。
• N/Aの連鎖とその根本原因を検出します。
• 検出結果の品質と証拠の完全性を検証します。
• 見逃した攻撃面を特定します。
• 判定結果（PASS、CONDITIONAL_PASS、FAIL）を出します。

4. 完全性ゲート

脆弱性を「攻撃不可能」とマークするには、以下の努力の証拠が必要です。

5. 証拠チェックリスト

検出結果を記録する前に、以下の証拠要件が検証されます。

• 再現可能なcurlコマンド。
• 完全なHTTPリクエストとレスポンス。
• 実際の攻撃の証拠（理論上の影響ではない）。
• 正しい分類階層（EXPLOITED vs POTENTIAL）。

6. ライブエンゲージメントロギング

すべてのMCPツールの呼び出しは、engagements/<eid>/logs.txt に自動的にログ記録され、完全な引数、結果、および実行時間が記録されます。別のターミナルで tail -f logs.txt を実行すると、すべてのエージェントのアクティビティをリアルタイムで監視できます。自動ツールラッパーにより100％のカバレッジが保証され、手動での計測は必要ありません。

7. フェーズゲートのタイミング

フェーズゲートは、呼び出し間に最小60秒の間隔を強制します（CTFモードでは15秒）。これにより、早すぎるフェーズの完了が防止されます。ゲート間の作業検証では、連続するゲート間で3つ未満の作業イベントが発生した場合に警告が表示されます。

📊 ベンチマーク

AutoPentestは、XBOW Validation Benchmarks との統合を含んでいます。これは、AIペンテストエージェントのベンチマーク用の業界標準として使用される104のCTFスタイルのDockerチャレンジです。

ベンチマークスコア（参考）

使用方法

# セットアップ（一度だけ）
cd benchmarks/xbow && make setup

# AutoPentestで解く（MCPサーバー + CLAUDE.md + CTFモード）
make solve ID=XBEN-001-24

# 生のClaudeで解く（ベースライン — MCPなし、方法論なし）
make solve ID=XBEN-001-24 RAW=1

# 脆弱性タグで解く
make solve-tag TAG=sqli

# すべての104のチャレンジを解く
make solve-all

# 比較用の完全なベースライン実行
make solve-all RAW=1

# 最新の実行をスコアリングする
make score

# autopentestと生の実行を並べて比較する
make compare

ソルバーには2つのモードがあります。

• autopentest（デフォルト）：プロジェクトルートからClaude Codeを実行し、.mcp.json（68以上のツールを持つMCPサーバー）と CLAUDE.md（ペンテスト方法論）を読み込みます。AutoPentestの完全な機能を測定します。
• raw (RAW=1)：MCPサーバーや方法論なしで生のClaude Codeを実行します。AutoPentestの追加価値を生のLLM機能と比較するためのベースラインです。

各チャレンジは、ビルド時にフラグが注入されたDocker Composeアプリです。Claudeの出力からのフラグ抽出により、合格/不合格が決まります。結果はチャレンジごと、タグごと、難易度レベルごとにスコアリングされます。

CTFモード

CTFチャレンジや小規模なアプリの場合は、