Omni Nli

🚀 Omni-NLI

Omni-NLI 是一個可自託管的服務器，它通過 RESTful 和模型上下文協議（MCP）接口提供自然語言推理（NLI）功能。既可以作為可擴展的無狀態獨立微服務（通過 REST API）使用，也能作為 MCP 服務器，為基於 AI 的應用程序中的 AI 代理實現驗證層。

🚀 快速開始

1. 安裝

pip install omni-nli[huggingface]

2. 啟動服務器

omni-nli

3. 使用 REST API 進行自然語言推理評估

curl -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "premise": "A football player kicks a ball into the goal.",
    "hypothesis": "The football player is asleep on the field."
  }' \
  http://127.0.0.1:8000/api/v1/nli/evaluate

示例響應：

{
    "label": "contradiction",
    "confidence": 0.99,
    "model": "microsoft/Phi-3.5-mini-instruct",
    "backend": "huggingface"
}

4. 使用 MCP 接口進行自然語言推理評估

✨ 主要特性

• 通過驗證生成的內容是否有事實依據，幫助減少大語言模型（LLM）的幻覺問題。
• 支持不同後端提供的模型，包括 Ollama、HuggingFace（公共和私有/受限模型）和 OpenRouter。
• 支持 REST API（適用於傳統應用程序）和 MCP（適用於 AI 代理）接口。
• 完全可配置且具有高可擴展性，內置緩存功能。
• 提供置信度分數和（可選）推理軌跡，以增強可解釋性。

查看 ROADMAP.md 瞭解已實現和計劃實現的功能列表。

⚠️ 重要提示

Omni-NLI 處於早期開發階段，因此可能會出現 bug 和重大變更。請使用 問題頁面 報告 bug 或請求新功能。

📚 詳細文檔

查看 Omni-NLI 文檔 瞭解更多信息，包括配置選項、API 參考和示例。

🤝 貢獻代碼

歡迎貢獻代碼！請查看 CONTRIBUTING.md 瞭解如何開始貢獻。

📄 許可證

Omni-NLI 採用 MIT 許可證（請參閱 LICENSE）。

👏 鳴謝

• 圖標來自 SVG Repo，並進行了一些修改。