EntityIdentification

识别两组数据是否来自同一主体

这是一个支持MCP协议的服务器。

数据比较工具

该工具提供了一种全面的方法来比较两组数据，评估其值的精确相等性和语义相等性。它利用文本规范化和语言模型来确定数据是否来自同一主体。

特性

• 文本规范化: 将文本转换为小写，删除标点符号，并规范化空格。
• 值比较: 直接和语义地比较值（对于列表，忽略顺序）。
• JSON 遍历: 迭代 JSON 对象中的每个键，并比较相应的值。
• 语言模型集成: 使用生成式语言模型来评估语义相似性，并提供关于数据是否来自同一主体的最终判断。

安装

要使用此工具，请确保已安装必要的依赖项。您可以使用 pip 安装它们：

pip install genai

用法

函数

1. normalize_text(text):

   • 通过将输入文本转换为小写，删除标点符号，并规范化空格来规范化文本。

2. compare_values(val1, val2):

   • 精确地和语义地比较两个值。
   • 如果这些值是列表，它会忽略元素顺序以进行语义比较。

3. compare_json(json1, json2):

   • 逐个键地比较两个 JSON 对象。
   • 使用 compare_values 来评估每个键的值。
   • 集成语言模型以评估语义相似性并提供最终判断。

示例

import json
import genai
import re

# 定义您的 JSON 对象
json1 = {
    "name": "John Doe",
    "address": "123 Main St, Anytown, USA",
    "hobbies": ["reading", "hiking", "coding"]
}

json2 = {
    "name": "john doe",
    "address": "123 Main Street, Anytown, USA",
    "hobbies": ["coding", "hiking", "reading"]
}

# 比较 JSON 对象
comparison_results = compare_json(json1, json2)

# 生成最终匹配结果
model1 = genai.GenerativeModel("gemini-2.0-flash-thinking-exp")
result_matching = model1.generate_content("综合这些信息，你认为可以判断两个数据来自同一主体吗？"+json.dumps(comparison_results, ensure_ascii=False, indent=4))
print(result_matching.text)

贡献

欢迎贡献！请打开一个 issue 或提交一个 pull request。

许可

该项目根据 MIT 许可证获得许可。有关详细信息，请参见 LICENSE 文件。

联系方式

如果您有任何问题或建议，请联系我：

• 电子邮件：u3588064@connect.hku.hk
• GitHub: u3588064@connect.hku.hk。

微信