Entity Resolution

🚀 實體識別工具

實體識別工具提供了一種全面的方法來比較兩組數據，評估其值在精確性和語義上的相等性。該工具利用文本規範化和語言模型技術，能夠準確判斷兩組數據是否來自同一主體，在數據處理和分析領域具有重要價值。

🚀 快速開始

實體識別工具藉助文本規範化和語言模型，為數據比較提供了全面的解決方案。它能準確評估兩組數據的值在精確性和語義上的相等性，幫助用戶判斷數據是否來自同一主體。

✨ 主要特性

• 文本規範化：將文本轉換為小寫、移除標點符號並統一空白字符，使文本格式更加統一，便於後續處理。
• 數值比較：對數值進行精確和語義上的比較（對於列表，忽略順序），確保數據比較的準確性和靈活性。
• JSON遍歷：逐個鍵地遍歷每個JSON對象，並使用compare_values函數比較對應的值，實現對JSON數據的細緻分析。
• 語言模型整合：利用生成式語言模型評估語義相似性並最終判斷數據是否來自同一主體，提升了數據判斷的智能性。

📦 安裝指南

要使用此工具，請確保安裝了必要的依賴項。您可以通過pip進行安裝：

pip install genai

💻 使用示例

基礎用法

import json
import genai
import re

# 定義您的JSON對象
json1 = {
    "name": "John Doe",
    "address": "123 Main St, Anytown, USA",
    "hobbies": ["reading", "hiking", "coding"]
}

json2 = {
    "name": "john doe",
    "address": "123 Main Street, Anytown, USA",
    "hobbies": ["coding", "hiking", "reading"]
}

# 比較JSON對象
comparison_results = compare_json(json1, json2)

# 生成最終匹配結果
model1 = genai.GenerativeModel("gemini-2.0-flash-thinking-exp")
result_matching = model1.generate_content("綜合這些信息，你認為可以判斷兩個數據來自同一主體嗎？"+json.dumps(comparison_results, ensure_ascii=False, indent=4))
print(result_matching.text)

函數介紹

1. normalize_text(text)：
   • 對輸入文本進行規範化處理，包括轉小寫、去標點符號和統一空白字符。
2. compare_values(val1, val2)：
   • 從精確和語義上比較兩個值。
   • 如果是列表類型，則在語義比較時忽略元素順序。
3. compare_json(json1, json2)：
   • 比較兩個JSON對象的每個鍵。
   • 使用compare_values函數評估每個鍵的值。
   • 整合生成式語言模型來評估語義相似性並提供最終判斷結果。

📚 詳細文檔

函數詳細說明

1. normalize_text(text)：
   • 功能：對輸入文本進行規範化處理，包括轉小寫、去標點符號和統一空白字符。
   • 參數：
     • text：需要進行規範化處理的文本。
   • 返回值：經過規範化處理後的文本。
2. compare_values(val1, val2)：
   • 功能：從精確和語義上比較兩個值。如果是列表類型，則在語義比較時忽略元素順序。
   • 參數：
     • val1：需要比較的第一個值。
     • val2：需要比較的第二個值。
   • 返回值：比較結果。
3. compare_json(json1, json2)：
   • 功能：比較兩個JSON對象的每個鍵，使用compare_values函數評估每個鍵的值，並整合生成式語言模型來評估語義相似性並提供最終判斷結果。
   • 參數：
     • json1：需要比較的第一個JSON對象。
     • json2：需要比較的第二個JSON對象。
   • 返回值：比較結果。

📄 許可證

此項目使用MIT許可證。有關詳細信息，請參閱LICENSE文件。

📞 聯繫方式

如果您有任何問題或建議，請隨時聯繫我：

• 郵箱：u3588064@connect.hku.hk
• GitHub：u3588064@connect.hku.hk

微信