Entity Identificationn

🚀 実体識別

2組のデータが同一の主体からのものかどうかを識別します。

これはMCP（モデルコンテキストプロトコル）サーバーをサポートするツールです。

📦 データ比較ツール

このツールは、2組のデータを比較し、値の厳密な一致と意味的な一致を評価する包括的な方法を提供します。テキストの正規化と言語モデルを通じて、データが同一の主体からのものかどうかを判断します。

✨ 主な機能

• テキスト正規化：テキストを小文字に変換し、句読点を削除し、空白文字を標準化します。
• 値の比較：2つの値を厳密に比較し、意味的に比較します（リストの順序は無視します）。
• JSONの走査：JSONオブジェクトをキーごとに走査し、対応する値を比較します。
• 言語モデルの統合：生成型言語モデルを使用して意味的な類似性を評価し、最終的にデータが同一の主体からのものかどうかを判断します。

📦 インストール

このツールを使用するには、必要な依存関係をインストールする必要があります。pipを使用してインストールできます。

pip install genai

💻 使用例

関数

1. normalize_text(text)：

   • 入力テキストを正規化します。小文字への変換、句読点の削除、空白文字の標準化を含みます。

2. compare_values(val1, val2)：

   • 2つの値を厳密に比較し、意味的に比較します。
   • 値がリストの場合は、順序を無視して意味的に比較します。

3. compare_json(json1, json2)：

   • 2つのJSONオブジェクトの各キーを比較します。
   • compare_valuesを使用して各キーの値を評価します。
   • 言語モデルを統合して意味的な類似性を評価し、最終的な判断を行います。

基本的な使用法

import json
import genai
import re

# 定義するJSONオブジェクト
json1 = {
    "name": "John Doe",
    "address": "123 Main St, Anytown, USA",
    "hobbies": ["reading", "hiking", "coding"]
}

json2 = {
    "name": "john doe",
    "address": "123 Main Street, Anytown, USA",
    "hobbies": ["coding", "hiking", "reading"]
}

# JSONオブジェクトを比較する
comparison_results = compare_json(json1, json2)

# 最終的な一致結果を生成する
model1 = genai.GenerativeModel("gemini-2.0-flash-thinking-exp")
result_matching = model1.generate_content("これらの情報を総合すると、2つのデータは同一の主体からのものと判断できますか？"+json.dumps(comparison_results, ensure_ascii=False, indent=4))
print(result_matching.text)

🤝 貢献

貢献を歓迎します！問題を開くか、プルリクエストを送信してください。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。詳細については、LICENSEファイルを参照してください。

📞 連絡先

何か質問や提案がある場合は、以下の方法で連絡してください。

• メール：u3588064@connect.hku.hk
• GitHub：u3588064@connect.hku.hk

微信