Haiku.rag

🚀 俳句檢索增強生成（Haiku RAG）

俳句檢索增強生成（Haiku RAG）是一個基於 LanceDB、Pydantic AI 和 Docling 構建的智能檢索增強生成系統。它具備多種強大功能，能有效處理文檔、實現高效搜索和問答，為研究和信息處理提供有力支持。

✨ 主要特性

• 混合搜索 — 結合向量搜索與全文搜索，並採用互反排名融合算法。
• 重排序 — 支持 MxBAI、Cohere、零熵或 vLLM 等重排序方法。
• 問答功能 — 問答代理可提供引用信息（頁碼、章節標題）。
• 研究代理 — 通過 pydantic - graph 實現多代理工作流：規劃、搜索、評估、合成。
• 文檔結構處理 — 存儲完整的 DoclingDocument，支持基於結構的上下文擴展。
• 視覺定位 — 在原始頁面圖像上高亮顯示文本塊。
• 時間回溯 — 使用 --before 參數可查詢數據庫在任意歷史時間點的狀態。
• 多供應商支持 — 嵌入模型：Ollama、OpenAI、VoyageAI、LM Studio、vLLM。問答/研究：支持 Pydantic AI 所支持的任何模型。
• 本地優先 — 嵌入 LanceDB，無需服務器。也支持 S3、GCS、Azure 和 LanceDB Cloud。
• MCP 服務器 — 可作為工具供 AI 助手（如 Claude Desktop）使用。
• 文件監控 — 監控目錄，文件變更時自動索引。
• 檢查器 — 提供文本用戶界面（TUI），用於瀏覽文檔、文本塊和搜索結果。
• 命令行界面（CLI）與 Python API — 可通過命令行或代碼實現全部功能。

📦 安裝指南

需要 Python 3.12 或更高版本

完整包（推薦）

uv pip install haiku.rag

包含所有功能：文檔處理、所有嵌入模型供應商和重排序器。

精簡包（最小依賴）

uv pip install haiku.rag - slim

僅安裝所需的擴展。可用選項請參閱 安裝文檔。

🚀 快速開始

# 索引 PDF 文件
haiku - rag add - src paper.pdf

# 搜索
haiku - rag search "attention mechanism"

# 帶引用的問答
haiku - rag ask "What datasets were used for evaluation?" --cite

# 深度問答 — 將複雜問題分解為子查詢
haiku - rag ask "How does the proposed method compare to the baseline on MMLU?" --deep

# 研究模式 — 迭代規劃和搜索
haiku - rag research "What are the limitations of the approach?" --verbose

# 交互式研究 — 人工介入決策點
haiku - rag research "Compare the approaches discussed" --interactive

# 監控目錄變更
haiku - rag serve --monitor

自定義選項請參閱 配置文檔。

💻 使用示例

基礎用法

from haiku.rag.client import HaikuRAG

async with HaikuRAG("research.lancedb", create=True) as rag:
    # 索引文檔
    await rag.create_document_from_source("paper.pdf")
    await rag.create_document_from_source("https://arxiv.org/pdf/1706.03762")

    # 搜索 — 返回帶出處的文本塊
    results = await rag.search("self - attention")
    for result in results:
        print(f"{result.score:.2f} | p.{result.page_numbers} | {result.content[:100]}")

    # 帶引用的問答
    answer, citations = await rag.ask("What is the complexity of self - attention?")
    print(answer)
    for cite in citations:
        print(f"  [{cite.chunk_id}] p.{cite.page_numbers}: {cite.content[:80]}")

關於研究代理和使用 AG - UI 進行流式處理，請參閱 代理文檔。

MCP 服務器

可與 Claude Desktop 等 AI 助手配合使用：

haiku - rag serve --mcp --stdio

添加到你的 Claude Desktop 配置中：

{
  "mcpServers": {
    "haiku - rag": {
      "command": "haiku - rag",
      "args": ["serve", "--mcp", "--stdio"]
    }
  }
}

可直接在 AI 助手中提供文檔管理、搜索、問答和研究工具。

🔍 示例

工作示例請參閱 示例目錄：

• [交互式研究助手](examples/ag - ui - research/) - 基於 Pydantic AI 和 AG - UI 的全棧研究助手，支持人工介入審批和即時狀態同步。
• Docker 部署 - 完整的 Docker 部署方案，包含文件監控和 MCP 服務器。
• [A2A 服務器](examples/a2a - server/) - 自包含的 A2A 協議服務器包，帶有對話代理界面。

📚 詳細文檔

完整文檔請訪問：https://ggozad.github.io/haiku.rag/

• 安裝 - 供應商設置
• 配置 - YAML 配置
• 命令行界面 - 命令參考
• Python API - 完整的 API 文檔
• 代理 - 問答代理和多代理研究
• 服務器 - 文件監控、MCP 和 AG - UI
• MCP - 模型上下文協議集成
• 檢查器 - 數據庫瀏覽器 TUI
• 基準測試 - 性能基準
• 更新日誌 - 版本歷史

mcp - name: io.github.ggozad/haiku - rag