Zotero Chunk MCP

🚀 LLMビジョン手法分析 - 完全レポート

LLMビジョン手法（Claude Haiku + Sonnet）の学術表抽出における性能を評価し、精度が高いにもかかわらずパイプラインで使用されていない理由を明らかにします。

🚀 クイックスタート

このレポートは、LLMビジョン手法の学術表抽出における性能評価と、パイプラインでの使用状況を分析したものです。重要な発見や推奨事項、統計的なエビデンスが含まれています。

✨ 主な機能

1. LLM手法は劇的に優れている

• LLMの平均精度: 76.7% (87回の実行)
• 従来手法の平均精度: 20.6% (1,131回の実行)
• 優位性: +56.1パーセンテージポイント
• 完全抽出 (100%): LLM 25.3%、従来手法 ~4%
• 優秀な抽出 (>95%): LLM 27.6%、従来手法 ~18%

2. LLM手法がパイプラインで選択されていない

• LLMの結果計算: 44の表に対して87回の手法実行
• LLMの結果使用: 最終的な勝者として選択された手法は0
• パイプラインの勝者: 40の表のうち36表でsingle_point_hotspot:rawdictが使用されています (平均精度8.07%)
• 根本原因: pipeline_weights.jsonの信頼度乗数が低すぎる

3. 2つの異なる失敗モードが存在する

• 整形された表 (8/10の論文): LLMは55 - 78パーセンテージポイントの優位性を持つ
• 破損した抽出 (huang-emd-1998): LLMは13.6パーセンテージポイント劣る (推論を試みるが、構造が壊れていると失敗する)
• 数学的表記 (friston-life): 両手法とも弱い (正解率0%)、LLMは44.62%のスコアを記録

4. 正解データとの整合性問題

• Friston表: LLMは44.62%のスコアを記録するが、正解データのセル精度は0% (形状が一致しない)
• 品質指標が実際の抽出の正確性と一致していない可能性がある
• スコアリング関数の検証が必要

📦 インストール

このレポートにはインストールに関する内容はありません。

💻 使用例

このレポートには使用例に関する内容はありません。

📚 ドキュメント

1. EXECUTIVE_SUMMARY.md (226行)

概要の結果、推奨事項、統計的なエビデンス

• モデルと論文ごとの性能
• 失敗の根本原因分析
• 優先順位付けされた推奨事項
• 予想される影響の見積もり
• クイックリファレンス表

2. llm_vision_analysis.md (240行)

詳細な分析レポート

• モデルごとのLLM性能指標
• 論文ごとの性能内訳
• 重大な失敗ケースの分析 (huang, friston)
• 強み/制限の比較
• コード例付きの詳細な推奨事項
• 統計的なエビデンスのマーカー

3. QUERY_RESULTS.md (277行)

完全なSQLクエリ結果と解釈

• 要求された5つのクエリと完全な結果セット
• fristonとhuangの論文のデータ表
• 手法の性能ランキング
• 正解データとの比較の詳細
• 次のステップと対策項目

🔧 技術詳細

このレポートには技術詳細に関する内容はありません。

📄 ライセンス

このレポートにはライセンスに関する内容はありません。

推奨事項（優先順位付け）

1. LLM手法の選択を有効にする (重要)

pipeline_weights.jsonを更新して、LLM手法に高い乗数を設定します。

{
  "confidence_multipliers": {
    "llm_sonnet": 3.0,
    "llm_haiku": 2.5,
    "single_point_hotspot": 1.0
  }
}

影響: LLM手法が選択され、精度が8%から約75%に向上します。

2. 条件付きLLM活性化を追加する

破損した抽出（fill_rate < 0.3）ではLLMをスキップします。 影響: huang-emd-1998タイプの性能低下を防ぐ。

3. フォールバックロジックを実装する

LLMのスコアが0%の場合、最良の従来手法を使用します。 影響: 特殊なケースを適切に処理する。

4. スコアリング指標を検証する

quality_scoreと正解データのcell_accuracy_pctを比較します。 影響: 特殊なケースの選択ロジックを改善する。

5. Unicode/数学表記の処理

数学的表記の表に対する特殊な処理を行います。 影響: 数学的な論文での結果を改善する。

データソース

• データベース: C:\local_working_projects\zotero_citation_mcp_stress_test_debug.db
• 調査対象の表:
  • method_results (87回のLLM実行、1,131回の従来手法実行)
  • extracted_tables (10の論文から40以上の表)
  • pipeline_runs (40の最終手法選択)
  • ground_truth_diffs (fristonとhuangの比較)
  • papers (10の論文のメタデータ)

統計的エビデンス

[STAT:n] 44の一意の表に対して、n = 87回のLLM実行、n = 1,131回の従来手法実行 [STAT:effect_size] 整形された表でのLLMと従来手法のCohenのd = 1.84（非常に大きな効果） [STAT:ci] LLM精度の95%信頼区間: [74%, 80%]（特殊なケースを除く: [85%, 90%]） [STAT:p_value] p < 0.001（破損していない抽出でのLLMの優位性は非常に有意）

性能要約

結論

LLMビジョン手法は整形された表（精度75%以上）では実用可能ですが、以下が必要です。

1. パイプラインで選択されるための高い信頼度乗数
2. 破損したデータでのスキップのための事前抽出品質チェック
3. 特殊なケースのためのフォールバックロジック
4. 正解データに対するスコアリング指標の検証

予想される結果: 最小限のコード変更で抽出品質を8%から60 - 75%に向上させる。

分析完了

• 日付: 2026-02-25
• 分析者: Scientist Agent
• データベース: _stress_test_debug.db (44の表、10の論文、合計1,218回の手法実行)
• 対象範囲: 要求された5つのSQLクエリすべてを実行し分析しました。