Entity Resolution

🚀 实体识别工具

このツールは、2組のデータを比較し、その値の正確性と意味的な同等性を評価する包括的な方法を提供します。テキストの正規化と言語モデルを利用して、データが同一の主体から来ているかどうかを判断します。

✨ 主な機能

• テキスト正規化：テキストを小文字に変換し、句読点を削除し、空白文字を統一します。
• 数値比較：数値に対して正確な比較と意味的な比較を行います（リストの場合は順序を無視します）。
• JSON走査：各JSONオブジェクトのキーを1つずつ走査し、compare_values関数を使用して対応する値を比較します。
• 言語モデル統合：生成型言語モデルを利用して、意味的な類似性を評価し、最終的にデータが同一の主体から来ているかどうかを判断します。

📦 インストール

このツールを使用するには、必要な依存関係をインストールする必要があります。pipを使用してインストールできます。

pip install genai

💻 使用例

関数説明

1. normalize_text(text)：
   • 入力テキストを正規化します。小文字化、句読点の削除、空白文字の統一を行います。
2. compare_values(val1, val2)：
   • 2つの値を正確におよび意味的に比較します。
   • リスト型の場合、意味的な比較では要素の順序を無視します。
3. compare_json(json1, json2)：
   • 2つのJSONオブジェクトの各キーを比較します。
   • compare_values関数を使用して各キーの値を評価します。
   • 生成型言語モデルを統合して、意味的な類似性を評価し、最終的な判断結果を提供します。

基本的な使用法

import json
import genai
import re

# 定義するJSONオブジェクト
json1 = {
    "name": "John Doe",
    "address": "123 Main St, Anytown, USA",
    "hobbies": ["reading", "hiking", "coding"]
}

json2 = {
    "name": "john doe",
    "address": "123 Main Street, Anytown, USA",
    "hobbies": ["coding", "hiking", "reading"]
}

# JSONオブジェクトを比較する
comparison_results = compare_json(json1, json2)

# 最終的な一致結果を生成する
model1 = genai.GenerativeModel("gemini-2.0-flash-thinking-exp")
result_matching = model1.generate_content("これらの情報を総合すると、2つのデータが同一の主体から来ていると判断できると思いますか？"+json.dumps(comparison_results, ensure_ascii=False, indent=4))
print(result_matching.text)

🤝 貢献方法

ご貢献いただける場合は、いつでも歓迎です！問題を開くか、プルリクエストを送信してください。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。詳細については、LICENSEファイルを参照してください。

📞 連絡先

何か質問や提案がある場合は、いつでもご連絡ください。

• メール：u3588064@connect.hku.hk
• GitHub：u3588064@connect.hku.hk

微信