医学知识图谱驱动的GraphRAG：Deepseek-R1与Weaviate用于高级Chatbot

AIGC莹子

935人浏览 · 2025-04-08 20:56:42

AIGC莹子 · 2025-04-08 20:56:42 发布

摘要

大型语言模型（LLMs）显著推进了自然语言生成领域。然而，它们经常生成未经核实的输出，这影响了其在关键应用中的可靠性。在本研究中，我们提出了一个创新框架，通过检索增强生成技术将结构化的生物医学知识与LLMs相结合。我们的系统通过识别和精炼与年龄相关性黄斑变性（AMD）相关的医学摘要中的因果关系及命名实体来开发一个全面的知识图谱。利用基于向量的检索流程和本地部署的语言模型，我们的框架生成的回应既具有上下文相关性又可核实，并直接参考临床证据。实验结果显示，该方法显著减少了幻觉，提高了事实精确度，并改善了生成回应的清晰度，为高级生物医学聊天机器人应用提供了一个稳健的解决方案。

https://arxiv.org/abs/2502.11108

核心速览

研究背景

研究问题

：这篇文章要解决的问题是如何在大语言模型（LLMs）生成的自然语言中减少幻觉，提高事实精度和生成响应的清晰度，特别是在关键应用中。
研究难点

：该问题的研究难点包括：LLMs容易生成未经验证的输出，如何在生成响应时保持上下文相关性和事实准确性，以及如何有效地将结构化的生物医学知识与LLMs结合。
相关工作

：该问题的研究相关工作有：KRAGEN框架结合了图和检索增强生成技术来解决生物医学领域的复杂问题；Polat等人研究了不同的提示工程技术以提高知识提取性能；Muntean等人评估了LLMs在特定眼科领域（如年龄相关性黄斑变性AMD）的性能；Lewis等人介绍了检索增强生成框架，展示了将LLMs输出锚定在外部数据中可以显著提高事实准确性；Wei等人展示了链式思维提示可以引导LLMs进行多步推理；Yang等人强调了将知识图谱与LLMs结合可以提高结果的可靠性和可解释性。

研究方法

这篇论文提出了一个创新的框架，通过检索增强生成技术将结构化的生物医学知识与LLMs结合，用于高级聊天机器人应用。具体来说，

知识图谱构建：首先，通过识别和精炼与年龄相关性黄斑变性（AMD）相关的医学摘要中的因果关系和命名实体，开发一个全面的知识图谱。使用Protege编辑器构建一个包含AMD相关因果关系的本体，并使用Dimensions数据库收集医学摘要。
数据处理：使用GPT-4o1-mini模型从摘要中提取因果关系，并使用HermiT推理器进行推理，将所有推断的知识转移到使用Ontotext GraphDB工具维护的知识图谱中。
检索增强生成（RAG）：将精炼的数据转换为语义向量，形成一个综合上下文，然后由大型语言模型处理生成用户答案。RAG模块结合了基于向量的检索机制和DeepSeek-R1模型，以实时生成由策划知识和用户输入信息形成的响应。

具体步骤如下：

嵌入和知识检索：将结构化知识存储在GraphDB实例中，并通过Weaviate进行语义搜索。Weaviate模式定义了三个主要类：Entity、Publication和Relation，用于捕捉实体之间的关系并提供出版物的引用。
上下文构建：接收用户查询后，系统首先识别与输入语义匹配的实体，并通过预训练的transformer模型将这些输入文本转换为向量表示。然后，计算查询向量与Weaviate中存储的每个实体向量的余弦相似度，检索出最相关的实体。接下来，提取这些实体作为主体或客体的顶级关系，并为每个检索到的关系添加相关的出版物引用，以增强上下文。
语言生成：最后，大型语言模型处理增强的上下文，生成连贯且上下文相关的响应。DeepSeek-R1模型运行在本地，使用Ollama的DeepSeek，具有70亿参数。

实验设计

数据收集

：从Dimensions数据库中收集与AMD相关的医学摘要，并使用Protege编辑器构建包含AMD相关因果关系的本体。
样本选择

：选择与AMD相关的医学摘要作为训练和测试数据，重点关注12种命名实体和8种因果关系。
参数配置

：使用GPT-4o1-mini模型进行关系提取，HermiT推理器进行推理，并使用Ontotext GraphDB工具维护知识图谱。DeepSeek-R1模型配置为本地运行，使用70亿参数。

结果与分析

减少幻觉

：实验结果表明，该方法显著减少了LLMs生成的幻觉，提高了生成响应的事实精度。
上下文相关性

：生成的响应不仅上下文相关，而且直接引用了临床证据，增强了用户的信任度。
清晰度

：生成的响应更加清晰，能够更好地传达复杂的生物医学信息。
系统性能

：在处理AMD相关的复杂生物医学查询时，系统表现出较高的准确性和可靠性。

总体结论

在这项研究中，我们创建了一个创新的框架，将结构化的生物医学知识与语言生成相结合，特别是针对年龄相关性黄斑变性（AMD）。我们的系统利用自定义知识图谱和特定领域的本体，从医学摘要中提取和验证因果关系，从而提高了聊天机器人响应的可靠性和可解释性。通过将策划数据与实时用户输入结合，这种方法在最小化模型幻觉和提高生物医学应用中的事实准确性方面显示出潜力。未来的研究可以考虑整合更多的关系细节，如负向或概率交互，以增强生物医学过程的表示。此外，扩展系统的推理能力可能会提供更深入的模糊案例理解，促进更广泛的应用。

论文评价

优点与创新

创新框架

：提出了一个结合结构化生物医学知识与大型语言模型（LLMs）的检索增强生成（RAG）框架，通过将LLMs与知识图谱（KGs）结合，提高了生成响应的可靠性和清晰度。
特定领域应用

：该系统特别适用于年龄相关性黄斑变性（AMD）等复杂生物医学领域，能够准确捕捉和传达复杂的生物医学实体和因果关系。
知识图谱构建

：开发了一个详细的知识图谱，通过识别和精炼与AMD相关的医学摘要中的因果关系和命名实体，确保了生成响应的事实准确性。
向量检索系统

：使用Weaviate进行基于向量的检索，支持语义搜索，增强了上下文的丰富性。
本地部署的语言模型

：采用本地部署的Deepseek-R1模型，减少了网络延迟，并提供了对处理环境的更多控制。
透明性和可验证性

：生成的响应直接引用临床证据，用户可以通过点击链接验证数据，确保了信息的透明性和可验证性。
结构化数据集成

：通过自动化的提示工程和关系提取，将提取的关系转换为RDF三元组，并插入到知识图谱中，确保了数据的标准化和一致性。

不足与反思

未来研究方向

：未来的研究可以探索集成更多的关系细节，如负向或概率交互，以增强生物医学过程的表示能力。
推理能力扩展

：扩展系统的推理能力可能有助于在模糊案例中提供更深入的见解，促进跨多种医学领域的广泛应用。

关键问题及回答

问题1：在构建知识图谱的过程中，如何确保提取的因果关系和命名实体的准确性？

自动标注和手动校验

：首先，使用Protege编辑器构建一个包含AMD相关因果关系的本体，并标注医学摘要中的关系和实体。标注过程包括自动标注和手动校验，以确保初始标注的准确性。
使用GPT-4o1-mini模型提取关系

：在数据处理阶段，使用GPT-4o1-mini模型从医学摘要中提取因果关系。该模型经过预训练，能够识别和提取文本中的结构化关系。
HermiT推理器进行推理

：提取的关系通过HermiT推理器进行验证和推理，确保每个关系符合预定义的有效类型，并且与现有的知识图谱一致。
标准化和去歧义

：提取的关系经过标准化处理，去除多余的词汇和缩写，并将不同实体类型统一为最常见或优先级最高的类型。
动态更新和同步

：通过查询本体，不断更新提示模板，确保新的实体和关系类型能够自动反映到系统中，保持标注和提取的一致性。

问题2：检索增强生成（RAG）模块在生成响应时如何利用知识图谱和用户输入？

嵌入和知识检索

：首先，将结构化的知识存储在GraphDB实例中，并通过Weaviate进行语义搜索。Weaviate模式定义了Entity、Publication和Relation三个主要类，用于捕捉实体之间的关系并提供出版物的引用。
上下文构建

：接收用户查询后，系统首先识别与输入语义匹配的实体，并通过预训练的transformer模型将这些输入文本转换为向量表示。然后，计算查询向量与Weaviate中存储的每个实体向量的余弦相似度，检索出最相关的实体。接下来，提取这些实体作为主体或客体的顶级关系，并为每个检索到的关系添加相关的出版物引用，以增强上下文。
语言生成

：最后，大型语言模型（DeepSeek-R1）处理增强的上下文，生成连贯且上下文相关的响应。DeepSeek-R1模型运行在本地，使用Ollama的DeepSeek，具有70亿参数。通过这种方式，RAG模块结合了基于向量的检索机制和DeepSeek-R1模型，以实时生成由策划知识和用户输入信息形成的响应。

问题3：实验结果表明该方法在哪些方面表现出色？

减少幻觉

：实验结果表明，该方法显著减少了LLMs生成的幻觉，提高了生成响应的事实精度。这意味着生成的响应更加可靠，减少了不准确或不真实的信息。
上下文相关性

：生成的响应不仅上下文相关，而且直接引用了临床证据，增强了用户的信任度。这表明系统能够提供与用户查询紧密相关的信息，并且这些信息是基于可靠的临床数据。
清晰度

：生成的响应更加清晰，能够更好地传达复杂的生物医学信息。这意味着系统能够以用户易于理解的方式呈现复杂的信息，提高了用户体验和信息传递的效果。
系统性能

：在处理AMD相关的复杂生物医学查询时，系统表现出较高的准确性和可靠性。这表明系统在处理特定领域的复杂任务时具有良好的性能和稳定性。