因为一位知名咨询公司的美国读者发邮件询问Graph RAG相关问题，尽管我已经一个季度没有进行这方面的研究，但这周我还是把最近4、5个月找到的10多篇相关论文都看了一遍。其中只有一篇《LLM on Graphs》是在DeepSeek R1火爆之后的研究，内容方向与去年的研究已经有了明显不同,开始反思LLM和知识图谱彼此的各个作用   

目前AI的根本性创新仍然集中在Transformer和大模型本身的训练上。每当大模型升级，基于LLM的RAG、Agent以及本文将要讨论的知识图谱都会做出相应调整。

而知识图谱(KG)的发展趋势已经从早期的HippoRAG,GraphRAG通过知识图谱增强LLM准确性、减少幻觉转变为更加垂直化的应用，聚焦于那些本来就适合知识图谱的行业，例如交通运动图、情报人物关系图谱、生物分子图和特定金融分析领域。

下图来自《LLM on Graphs》，这篇在DeepSeek R1（以其强大推理能力著称）发布背景下的论文，更专注于这些传统上就非常适合知识图谱应用的领域

 

记得2024上半年吴恩达说过，大意是GPT-3.5配合优质提示词和工具就能达到接近GPT-4的效果，模型本身无法达到极高智能水平，所以通过添加问题重写、思维链、案例、多次迭代循环和知识图谱来增强性能。但现在LLM能力又有了显著升级，这些之前的优化机制必须随之调整，效果不佳的方法正被淘汰。这是一次重大升级，使得之前那些细小的改进机制实际上都失去了显著价值。

经过持续研究，我发现知识图谱领域似乎不太景气，前景有限。在查阅资料的过程中，整个领域给人一种死气沉沉的感觉。利用知识图谱增强LLM只是那个特定阶段的过渡手段，GraphRAG和HippoRAG虽然在理论上一度引人关注，但从现在的效果来看并不理想，属于相对失败的探索。相比之下，RAG一直被反复提及是因为它确实有更明显的实用价值，并已有落地的实际产品。

下面我们来跟随几篇论文一起探讨这个话题

01

现在回归来看2024用知识图谱增加LLM能力的论文实在觉得幼稚,那时候LLM回答有幻觉的问题,现在让新的LLM回答,就能回答准确,而且比加了知识图谱的回答更准确

下图是2024.05.24的G-Retriever, 现在看这么简单的问题

G-Retriever都是看图识画,现在LLM都能解析Parsing 能力了, 这种富文本图片都能识别

 

中间任务根据图片地点写一个500 words的广告词,我直接截屏发给Claude, Claude不仅字数达标,而且还注意到山脉上的雪花,而这个G-Retriever论文回答都没有注意到这点

 

下图的HOLMES也是通过增加图谱来增加当时的LLM能力。只是基本识别相关的文档，并构建一个实体-文档链接图则容易出现节点不相关的问题,因此HOLMES这样通过跟问题对齐来抽取最相关的信息

 

另外也有像GEAR的SynGE使用"Gist Memory Constructor"（要点记忆构造器）和"Rewriter"（重写器）多步迭代,最后"RRF"（互惠排名融合）最输出最终结果

 

知识图谱KAG最出名最完善的KAG现在也不怎么报道,实际产品测试下来效果也不好。 里面算是对历来知识图谱的RAG项目做了集合,如果实在要了解知识图谱RAG最推荐的就是KAG的论文,太典型了,集各种探索理论性框架于一身(搞科研理论性的可能喜欢看这个)

下面是整体的框架, 真是集合好多这样的理论, 结果产品效果一般

左边的KAG-Builder：

首先收集文档,通过索引管道处理这些文档 ;建立领域知识库;创建"互相理解"的索引,支持图结构和原始文本块之间的相互索引表示,知识与 Chunk 互索引结构，以整合更丰富的上下文文本信息

右边的KAG-Solver：a logical-form-guided hybrid solving and reasoning engine:有一个"逻辑形式解决器" 可以做计划、检索推理和生成答案 ;使用符号表示帮助解决问题 ;会与知识图进行对齐和反馈

底部的KAG-Model： 由NLU（自然语言理解）、NLI（自然语言推理）和NLG（自然语言生成）组成 ,这些组件帮助系统理解问题并生成答案

 

更详细的过程

处理流程（上部）

• 用户问题 → NLU（信息提取将问题转换为逻辑形式） → NLI（语义对齐执行实体链接和概念关联） → NLG（知识注入基于知识和逻辑约束生成答案）

知识表示（中部）

LLM友好的知识表示：设计便于大语言模型理解的知识结构; 结合领域知识图谱：整合领域概念和关系;模式与领域概念：为左侧提供结构化的概念框架; 逻辑规则与领域逻辑概念：右侧提供推理规则

 

底层处理（下部）

KAG builder领域文档 → 信息提取 → 概念关联 → 生成描述/摘要,为知识图谱中的各个节点和关系生成描述和摘要

KAG builder还有专门的pipeline图片

 

KAG连数据处理都是参考DIKW（数据、信息、知识、智慧）的层次结构

 

02

2024整年知识图谱用来增强LLM不大成功,于是从2024.12月就开始研究LLM帮助知识图谱的方向

比如利用LLM和RAG把用户自然语言查询转变成 SPARQL 查询的SparqLLM(2025.02.03),这样非专业人员也能在RDF知识图谱进行问答查询,无需用户掌握该语言

执行提取、转换和加载（ETL）流程是自动化:

提取（Extract）：从原始数据源（如数据库、文档）获取数据。转换（Transform）：通过编码和本体论映射，将数据转换为知识图谱的三元组格式。加载（Load）：存储到 Vector Database 和 Tuple Store 中。

之后RAG（检索增强生成） ◦ LLM 生成 SPARQL 时，从 Vector Database 检索相关模板作为上下文，提升查询准确性。 ◦ 例如：用户问“某产品的供应商是谁？”，系统检索类似模板 SELECT ?supplier WHERE { product :supplier ?supplier }，辅助生成最终查询。

 

另一个是用LLM预测缺失的三元组数据LLM at TSP-2024.12.24

TSP（Triple Set Prediction） 任务：给定一个已有的知识图谱（KG），用Prompt引导LLM挖掘其中可能存在但尚未显式存储的三元组，从而“补全”知识图谱

输入：知识图谱的关系列表以及可选的部分已知三元组或实体-关系信息。

提示（Prompt）：将这些关系名称或示例三元组作为上下文，提示给 LLM，让其生成可能的逻辑规则

 

Effective Rules：对上述挖掘到的规则进行筛选，保留合理且具有实际意义的规则，并形成一个有效规则集。将子图 Gj 与挖掘到的规则进行匹配。再基于每个子图已有的三元组，加上适用的规则，提示 LLM 预测可能缺失的三元组。最后汇总各子图的预测结果，形成对整个知识图谱的最终三元组补全预测。

从图中可以看出，整个流程是一个先挖掘规则，再结合子图和规则进行三元组预测，最后整合所有子图预测结果的闭环

 

03

最后再做一下概念区分,那个Marsh McLennan的美国人还搞不清楚现在用RDF Graph还是属性图Property Graph (neo4j),甚至还冒出个比RDF Graph 三元组还简单的Concept Graph

属性图适用于实体属性和复杂关系建模，通常强调关联和属性分析,通过边属性描述更多的信息，更加紧凑。RDF图则强调语义关系和语义推理，在构建语义网络和数据互操作性方面具有优势。

同时，RDF的优势在于足够简单，所有数据都是三元组形式，而且是schema-free的数据建模，灵活性高。比如KAG的开源项目OpenSPG提供用户自定义 Schema 功能,论文HOLMES也提到增加Schema以优化知识库构建

结论来看,现在我看到所有KAG,GraphRAG的研究都是用的RDF三元组图,毕竟LLM本身就是基于语义的,需要语义。

下图是一个季度前研究的部分知识图谱RAG论文项目,都是RDF三元组

下面简单科普一下Property Graph和RDF Graph的区别

属性图数据库都常见的特征。

节点(Nodes)：是图中的实体，用表示其类型的0到多个文本标签进行标记，相当于实体。

边(Edges)：是节点之间的定向链接，也称为关系。其中对应的“from node”称为源节点，“to node”称为目标节点。边是定向的且每条边都有一个类型，它们可以在任何方向上导航和查询。相当于实体之间的关系。

属性(Properties)：是一个键值对，顶点和边都具有属性

下图显示了一个属性图的部分，其中包含有关演员、导演和他们参与的电影或电视节目的数据。节点用椭圆表示。节点标签以深蓝色显示。关系用灰色箭头表示，从一个节点指向另一个节点，每个关系都有一个红色显示的类型。属性显示在带有金色的圆角矩形中，并使用红色箭头连接到它们所属的节点和关系。

 

RDF图数据模型主要是由以下两个部分组成的：

节点(Nodes)：对应图中的顶点，可以是具有唯一标识符的资源，也可以是字符串、整数等有值的内容。

边(Edges)：是节点之间的定向链接，也称为谓词或属性。边的入节点称为主语，出节点称为宾语，由一条边连接的两个节点形成一个主语-谓词-宾语的陈述，也称为三元组。边是定向的，它们可以在任何方向上导航和查询

RDF的英文全称为Resource Description Framework，因为在RDF图中，一切都称为资源。边和节点只是给定语句中资源所扮演的角色。基本上在RDF中，扮演边角色的资源和扮演节点角色的资源没有区别，因此一条语句中的边也可以是另一条语句中的节点。

RDF数据模型相较于属性图更加丰富，也在语义上保持一致性

 

而Concept Graph或者叫Conceptual Graph则把RDF的实体和关系都表示为节点了,只在美国网站看到过,中国真没研究这的

 

Epilogue

我自己研究下来,结论如标题所说,之前是作为RAG一个细分领域来优化LLM的逻辑能力,降低幻觉发现并没太大作用,反而会导致因为知识图谱检索不准增加噪声,到现在开始利用LLM发展知识图谱本身和已经在互联网时代就发现的适合知识图谱大展身手的领域深耕。LLM on Graphs和SparqLLM就是两个信号

现在这几月,知识图谱相关AI研究比较冷门,主要内容集中在Agent上

 大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书 

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集***

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓