作者｜淘天集团未来生活实验室

OpenAI o1视觉能力还是最强，模型们普遍“过于自信”！

这个结果来自首个面向事实知识的中文视觉问答基准ChineseSimpleVQA。

该基准测试包含2200个高质量问题，覆盖了8个主要话题和56个子话题，这些问题涉及从人文到科学和工程等多个领域，由淘天集团未来生活实验室团队推出。

据介绍，这是第一个系统性地衡量视觉大模型事实准确性的中文评测集，可以全面探测模型在各个领域的视觉识别能力和知识水平。

也是继提出Chinese SimpleQA 和Chinese SafetyQA之后，淘天集团算法技术未来生活实验室团队再次提出面向多模态大模型的事实知识评测基准。

1100幅图片和2200个问答对作为终版数据集

Chinese SimpleVQA贡献了一个严谨的数据构建流程，其将视觉事实性解耦为两个部分：

• 观察世界（即主体识别）

• 发现知识

这种解耦方法方便分析多模态大模型的知识边界及执行机制。

具体来说，Chinese SimpleQA的构主要分为自动化问答对生成和质量控制两个阶段：

第一阶段，QA对生成。

为了创建基于事实知识的视觉问答对，研究者从维基百科的“每日图片”栏目收集了6546个图文对，每张图片对应一个平均长度为723个字的百科类文本。

问答对的构建主要包括以下三个流程：

• 对象识别问题：识别图片中的主要对象并提出相关问题。

• 知识问题生成：基于识别对象的百科文本，提出更深入的知识问题。

• 合并问答：整合视觉和知识问题，形成复杂的两跳问题。

在自动生成问答对时，需要遵循包括问题应仅基于图片信息、答案唯一且明确、基于事实知识及其难度等要求。

同时，需要保留每张图片的首尾问答对作为最终评测集。

第二阶段，质量控制。

包括自动验证。

研究团队开发了一种多轮自动化方法验证生成的问答对，重新生成或过滤不符合标准的问题。

通过该过程，该步共保留了5009幅图片和10018个合格的问答对。

难度筛选。

为了提升基准的难度和识别模型的知识边界，作者们过滤掉了简单问题。

具体来说，如果某个问题能被四个强大模型，即GPT-4o (0806)、Claude 3.5 Sonnet、Gemini 1.5 Pro和Qwen-VL-Max全部正确回答，则认为该问题过于简单并被淘汰。

该步保留了3058幅图片和6116个问答对。

人工验证。

由23名标注人员进行数据验证和重写，确保问答对符合标准；6名工程师进行复核和筛选，确保数据高质量。

主要操作包括：1）验证并重写不符合标准的问题或答案；2）替换不合格或不具代表性的图片；3）通过搜索引擎核实答案的准确性。不符合标准的对被淘汰。

在这个步骤中，仅保留人工标注与自动验证完全一致的问答对。

数据脱敏。

为确保数据安全，研究者将最终数据集提交给6位安全审计员进行全面审查；每条数据至少由2位审计员交叉检查，只有通过审查的数据才被保留。

经过上述处理后，最终挑选了1100幅图片和2200个问答对作为终版数据集。

o1-preview表现最佳

Benchmark构建完成后，团队对13个闭源模型和21个开源模型的全面评测和分析，并分别给出这些模型在图像主体识别和知识扩展问题上的排名情况。

其中，最佳表现模型为o1-preview。

结果显示，o1-preview在识别问题和知识扩展问题上表现最佳，其次是Gemini-2.0-pro-flash和Gemini-1.5-pro。

在注重中文能力的模型中，Qwen-VL系列表现最为突出。

此外，研究团队还观察到三个现象：

知识扩展难于主体识别：模型在知识扩展类问题上的表现与识别问题上的准确率呈正相关。且图像识别准确率通常更高。这表明在一些模型能正确识别对象的情况下，获取深层次扩展知识的能力受限。

知识能力随模型规模提升：一般情况下，同一系列的模型规模越大，表现越优。例如，Qwen2-VL系列从2B增至72B后，最终问题的准确率从29.0%提升至50.6%。

幻觉问题仍是挑战：大多数受测模型的错误率（IN）高于不尝试回答的比率（NA），这表明模型更倾向于自信地提供错误信息。幻觉问题仍是多模态大模型领域的一个重要挑战。

同时研究测试显示，ChinesesimpleVQA具有评估鲁棒性，在使用不同的评测模型时（即使评测模型和受测模型是同一个），受测模型的排名保持稳定。

以下为部分研究发现摘录：

更擅长哪种知识？

Chinese Simple VQA中的问题通常需要更专业的知识，这也考验了模型的知识深度。

下图给出了Top10排名的模型，在8个话题下的表现。

结果表明，这些模型在现代建筑、工程技术和科学等主题上表现优异，在其他主题上稍逊一筹。

更缺乏哪种能力？

下图分析了各模型的出错时机。

结果显示，对o1-preview、Gemini-1.5-pro、Caude3.5-sonet2和Qwen-vl-max来说，主要出错时机（占比超过50%）来源于知识扩展阶段。

而其他模型，则在图像识别阶段开始表现不佳。

是否过于自信？

一个理想校准模型的置信水平（%）应与预测准确性精确匹配。

研究通过提示模型在回答问题的同时给出其置信度（范围0到100），并探索了模型的事实准确性与置信度之间的关系。

结果显示，o1-preview表现最佳。

但总体而言，大部分模型的表现远低于理想对齐线，这表明即使回答错误，模型也倾向于过于自信。

是否具有能力边界？

下图曲线展示了随着推理次数增加，模型答案准确性（Best-of-N）的变化。

可以看出，大部分模型在1到30次尝试范围内，准确性随推理次数增加而明显提高。

然而，当推理次数超过30次时，模型表现趋于稳定。

这表明模型难以通过不停的探索而持续找到准确的知识，也代表着模型的知识能力边界。

共5大特点

Chinese SimpleVQA主要有五个特点：

第一，多跳评估。

解耦视觉模型知识能力评估步骤，包括图片主体识别和知识评估。

这种多跳评估策略让使用者可以深入分析视觉大模型（LVLMs）的能力边界和执行机制。

第二，多样性。

评测集共有2200条高质量问答对，涵盖了8个知识类别及56个细分主题，包括“自然”“科学”“工程技术”“人文社会”“生活、文化与艺术”等。

第三，高质量。

ChineseSimpleVQA拥有严格的构建流程，包括自动验证、难度筛选和人工验证。

共有23位标注同学和6位算法同学进行质量把控，以及6位安全审查员进行数据风险审查。

第四，静态一致性。

ChineseSimpleVQA具有持久可用性，所有的参考答案将不随时间而发生改变。

第五，易于评估。

所有问题和答案均采用简短格式，方便快速评估。

此外，ChineseSimpleVQA提供一键评测脚本以协助研究人员开展工作。

One More Thing

该项目核心作者包括顾纪豪，王瑛瑶，不皮。

研究团队来自淘天集团算法技术-未来生活实验室，该实验室聚焦大模型、多模态等 AI 技术方向，致力于打造大模型相关基础算法、模型能力和各类AI Native应用。

arXiv：
https://arxiv.org/pdf/2502.11718v1
https://arxiv.org/abs/2411.07140
https://arxiv.org/abs/2412.15265
项目主页：
https://chinesesimplevqa.github.io/ChieseSimpleVQA.github.io/
GitHub：
https://github.com/OpenStellarTeam/ChineseSimpleQA

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料。包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

😝有需要的小伙伴，可以VＸ扫描下方二维码免费领取🆓

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程扫描领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程扫描领取哈）

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程扫描领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程扫描领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程扫描领取哈）

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓