Entityidentification

2つのデータセットが同じ主体からのものかどうかを識別するツールで、テキストの正規化、値の比較、意味分析をサポートし、言語モデルを統合して最終的な判断を行います。

顧客データプラットフォーム開発者ツール #データ比較 #意味分析 #エンティティ識別ローカル .JavaScript

スコア : 2ポイント

ダウンロード数 : 5.4K

更新時間 : 2025-04-29

サイトを開く

基本概念

エンティティ識別とは、2つのJSONオブジェクトを分析し、同じエンティティを表しているかどうかを判断することです。このプロセスでは、テキスト内容、コンテキスト関連、意味理解など、複数の次元の情報を考慮する必要があります。MCPプロトコルはこれらの情報を統合して、より正確な識別機能を実現します。

核心機能

このサーバーは、テキストクリーニング、意味分析、関連ルールマイニングなど、さまざまな機能モジュールを提供します。ユーザーは必要に応じて異なる処理フローを選択できます。

スマートテキストクリーニング

テキストから不要な情報を自動的に削除し、マッチング効率を向上させます。

コンテキスト意味分析

コンテキストに基づいてテキストの意味を理解し、識別精度を向上させます。

🚀 エンティティ識別

2つのデータセットが同一の主体から来たものかどうかを識別します。

これはMCP（モデルコンテキストプロトコル）サーバーをサポートしています。

🚀 クイックスタート

このツールは、2つのデータセットを比較し、それらが同一の主体から来たものかどうかを判断するためのものです。MCPサーバーをサポートしており、テキスト正規化と言語モデルを利用して、データの比較を行います。

✨ 主な機能

テキスト正規化：テキストを小文字に変換し、句読点を削除し、空白文字を標準化します。
値の比較：2つの値を正確に、かつ意味的に比較します（リストの場合は順序を無視します）。
JSONの走査：各JSONオブジェクトのキーを1つずつ走査し、対応する値を比較します。
言語モデルの統合：生成型言語モデルを利用して、意味的な類似性を評価し、データが同一の主体から来たものかどうかを最終的に判断します。

📦 インストール

このツールを使用するには、必要な依存関係をインストールする必要があります。pipを使用してインストールできます。

pip install genai

💻 使用例

基本的な使用法

import json
import genai
import re

# 定義するJSONオブジェクト
json1 = {
    "name": "John Doe",
    "address": "123 Main St, Anytown, USA",
    "hobbies": ["reading", "hiking", "coding"]
}

json2 = {
    "name": "john doe",
    "address": "123 Main Street, Anytown, USA",
    "hobbies": ["coding", "hiking", "reading"]
}

# JSONオブジェクトを比較する
comparison_results = compare_json(json1, json2)

# 最終的な一致結果を生成する
model1 = genai.GenerativeModel("gemini-2.0-flash-thinking-exp")
result_matching = model1.generate_content("これらの情報を総合すると、2つのデータが同一の主体から来たと判断できますか？"+json.dumps(comparison_results, ensure_ascii=False, indent=4))
print(result_matching.text)

関数の説明

normalize_text(text)：
- 入力テキストを正規化し、小文字に変換し、句読点を削除し、空白文字を標準化します。
compare_values(val1, val2)：
- 2つの値を正確に、かつ意味的に比較します。
- 値がリストの場合は、意味的な比較で要素の順序を無視します。
compare_json(json1, json2)：
- 2つのJSONオブジェクトのキーを比較します。
- compare_valuesを使用して、各キーの値を評価します。
- 言語モデルを統合して、意味的な類似性を評価し、データが同一の主体から来たものかどうかを最終的に判断します。