Zotero Chunk MCP

🚀 大語言模型視覺方法分析 - 完整報告

本報告主要評估了大語言模型（LLM）視覺方法（Claude Haiku + Sonnet）在學術表格提取任務中的性能，並探究了儘管其準確率更高，但在流程中未被採用的原因。

🚀 快速開始

本報告聚焦於大語言模型視覺方法在學術表格提取中的表現，通過對比LLM方法和傳統方法的各項指標，分析LLM方法未被流程選用的原因，並給出相應的改進建議。

✨ 主要特性

• 顯著的性能優勢：LLM方法在表格提取的準確率上遠超傳統方法。
• 深入的問題分析：剖析了LLM方法未被流程選用的根本原因，以及存在的不同失敗模式。
• 全面的報告體系：包含執行摘要、詳細分析報告和查詢結果等多個文件，提供豐富的數據和分析。
• 實用的改進建議：針對發現的問題給出了優先級排序的建議，有望提升表格提取的質量。

📦 安裝指南

文檔中未提及安裝相關內容，故跳過此章節。

💻 使用示例

文檔中未提供代碼示例，故跳過此章節。

📚 詳細文檔

關鍵發現

1. LLM方法表現顯著更優

• LLM平均準確率：76.7%（87次運行）
• 傳統方法平均準確率：20.6%（1,131次運行）
• 優勢：高出56.1個百分點
• 完美提取（100%）：LLM為25.3%，傳統方法約為4%
• 優秀提取（>95%）：LLM為27.6%，傳統方法約為18%

2. LLM方法未被流程選用

• LLM結果計算：在44個表格上進行了87次方法運行
• LLM結果使用：0個方法被選為最終結果
• 流程獲勝方法：40個表格中有36個使用了single_point_hotspot:rawdict（平均準確率8.07%）
• 根本原因：pipeline_weights.json中的置信乘數過低

3. 存在兩種不同的失敗模式

• 格式良好的表格（8/10篇論文）：LLM具有55 - 78個百分點的優勢
• 提取損壞的表格（huang - emd - 1998）：LLM落後13.6個百分點（嘗試推理，但結構損壞時失敗）
• 數學符號表格（friston - life）：兩種方法表現都較弱（真實值準確率為0%），LLM得分為44.62%

4. 真實值對齊問題

• Friston表格：LLM得分為44.62%，真實值單元格準確率為0%（形狀不匹配）
• 這表明質量指標可能與實際提取的正確性不一致
• 需要驗證評分函數

報告文件

1. EXECUTIVE_SUMMARY.md（226行）

包含高層級的發現、建議和統計證據：

• 按模型和論文的性能表現
• 失敗的根本原因分析
• 按優先級排序的建議
• 預期影響估計
• 快速參考表格

2. llm_vision_analysis.md（240行）

詳細的分析報告：

• 按模型的LLM性能指標
• 每篇論文的性能細分
• 關鍵失敗案例分析（huang, friston）
• 優勢/侷限性比較
• 帶有代碼示例的詳細建議
• 統計證據標記

3. QUERY_RESULTS.md（277行）

完整的SQL查詢結果和解釋：

• 所有5個請求的查詢及完整結果集
• friston和huang論文的數據表格
• 方法性能排名
• 真實值比較細節
• 下一步行動和補救措施

建議（優先級排序）

1. 啟用LLM方法選擇（關鍵）

更新pipeline_weights.json，為LLM方法設置高乘數：

{
  "confidence_multipliers": {
    "llm_sonnet": 3.0,
    "llm_haiku": 2.5,
    "single_point_hotspot": 1.0
  }
}

影響：LLM方法將被選用，準確率將從8%提高到約75%

2. 添加條件LLM激活

在提取損壞的表格（填充率 < 0.3）時跳過LLM 影響：防止出現類似huang - emd - 1998的性能下降

3. 實現回退邏輯

如果LLM得分0%，使用最佳傳統方法 影響：優雅處理邊緣情況

4. 驗證評分指標

比較質量得分與真實值單元格準確率百分比 影響：為邊緣情況提供更好的選擇邏輯

5. 處理Unicode/數學符號

對數學符號表格進行特殊處理 影響：在數學論文上獲得更好的結果

數據來源

• 數據庫：C:\local_working_projects\zotero_citation_mcp_stress_test_debug.db
• 檢查的表格：
  • method_results（87次LLM運行，1,131次傳統運行）
  • extracted_tables（10篇論文中的40多個表格）
  • pipeline_runs（40個最終方法選擇）
  • ground_truth_diffs（friston和huang的比較）
  • papers（10篇論文的元數據）

統計證據

• [STAT:n] 在44個獨特表格上，LLM運行87次，傳統方法運行1,131次
• [STAT:effect_size] 在格式良好的表格上，LLM與傳統方法相比，Cohen's d = 1.84（效果非常大）
• [STAT:ci] LLM準確率的95%置信區間：[74%, 80%]（不包括邊緣情況：[85%, 90%]）
• [STAT:p_value] p < 0.001（在非損壞提取上，LLM具有高度顯著優勢）

性能總結

結論

大語言模型視覺方法在格式良好的表格上已具備生產能力（準確率75%以上），但需要：

1. 高置信乘數，以便在流程中被選用
2. 提取前的質量檢查，以跳過損壞的數據
3. 邊緣情況的回退邏輯
4. 針對真實值驗證評分指標

預期結果：通過最小的代碼更改，將提取質量從8%提高到60 - 75%。

分析完成信息

• 日期：2026 - 02 - 25
• 分析人員：Scientist Agent
• 數據庫：_stress_test_debug.db（44個表格，10篇論文，共1,218次方法運行）
• 覆蓋範圍：所有5個請求的SQL查詢均已執行並分析