Entityidentification

🚀 實體識別

本項目聚焦於識別兩組數據是否來自同一主體，同時它還是一個支持MCP（模型上下文協議）的服務器，為數據比較提供了強大的支持。

🚀 快速開始

本項目提供了一個數據比較工具，能全面比較兩組數據，評估其值在精確和語義上的相等性，藉助文本規範化和語言模型來判斷數據是否源於同一主體。

✨ 主要特性

• 文本規範化：將文本轉換為小寫，去除標點符號，並標準化空白字符。
• 值比較：對兩個值進行精確和語義上的比較（對列表忽略順序）。
• JSON遍歷：逐個遍歷每個JSON對象的鍵，並比較對應的值。
• 語言模型整合：利用生成式語言模型評估語義相似性，並對數據是否來自同一主體做出最終判斷。

📦 安裝指南

要使用此工具，請確保安裝了必要的依賴項。可以使用pip進行安裝：

pip install genai

💻 使用示例

基礎用法

import json
import genai
import re

# 定義你的JSON對象
json1 = {
    "name": "John Doe",
    "address": "123 Main St, Anytown, USA",
    "hobbies": ["reading", "hiking", "coding"]
}

json2 = {
    "name": "john doe",
    "address": "123 Main Street, Anytown, USA",
    "hobbies": ["coding", "hiking", "reading"]
}

# 比較JSON對象
comparison_results = compare_json(json1, json2)

# 生成最終匹配結果
model1 = genai.GenerativeModel("gemini-2.0-flash-thinking-exp")
result_matching = model1.generate_content("綜合這些信息，你認為可以判斷兩個數據來自同一主體嗎？"+json.dumps(comparison_results, ensure_ascii=False, indent=4))
print(result_matching.text)

函數說明

1. normalize_text(text)：
   • 對輸入文本進行規範化處理，將其轉換為小寫，去除標點符號，並標準化空白字符。
2. compare_values(val1, val2)：
   • 對兩個值進行精確和語義上的比較。
   • 如果值是列表，則在語義比較時忽略元素順序。
3. compare_json(json1, json2)：
   • 比較兩個JSON對象的鍵。
   • 使用compare_values評估每個鍵的值。
   • 整合語言模型評估語義相似性，並對數據是否來自同一主體做出最終判斷。

🤝 貢獻

歡迎貢獻！請打開問題或提交拉取請求。

📄 許可證

該項目在MIT許可證下。更多細節請查看LICENSE文件。

📞 聯繫方式

如有任何問題或建議，請通過以下方式聯繫：

• 郵箱：u3588064@connect.hku.hk
• GitHub：u3588064@connect.hku.hk。

微信