近日，上海财经大学前沿人工智能实验室宣布，正式推出Fin-Eval 6.0评估基准。这是一个为全面评估大型语言模型（LLMs）在金融领域的专业能力与安全性而构建的开创性基准数据集。该基准基于广受认可的FinEval评估集进行升级，创新性地加入了金融严谨性和金融多模态两大维度，总题量超过16,000道，旨在满足金融行业对高标准、专业化AI评估工具日益增长的迫切需求。
Fin-Eval 6.0的核心亮点包括：
·全面的领域覆盖：基准测试包含六大核心模块，金融学术知识、金融行业理解、金融安全认知、金融智能体应用、金融多模态能力与金融严谨性测试。
·海量高质量试题：超过16,000道题目深度模拟了真实的金融工作场景与决策过程，旨在全方位检验大模型在金融领域的综合应用能力。
·聚焦前沿：创新性地引入“金融多模态能力”、“金融严谨性测试”评估维度，直面当前金融AI发展的热点与难点。
六维评估矩阵：覆盖金融领域全场景
Fin-Eval6.0通过六大核心领域确保了评估的广度与深度，实现了从理论到实践、从单一能力到复杂任务的立体考察：
| 核心领域 | 描述 |
| 金融学术知识 | 覆盖金融学、经济学、会计学等多个细分学科的基础理论与核心概念，题目源于公开的模拟考试题库，确保学术严谨性。 |
| 金融行业理解 | 聚焦投资研究、风险管理、财富规划等实际金融业务场景，强调模型的实践应用能力。 |
| 金融安全认知 | 重点评估模型的安全性，考察其对常规安全知识的理解和应用能力。 |
| 金融智能体应用 | 评估模型在模拟金融助手或代理时，运用API调用、信息检索等工具处理复杂信息、进行多步推理和辅助决策的能力。 |
| 金融多模态能力 | 考察模型对金融图表的理解能力，主要包括财务报表、研究报告中的图表等内容。 |
| 金融严谨性测试 | 评估模型输出时的严谨性和真实性，考察模型在输出过程中是否存在“幻觉”等问题 |
推动中国金融AI迈向新高度
大型语言模型虽在通用领域表现卓越，但在高度专业化和风险敏感的金融行业，其安全与复杂任务处理能力仍是未知数。Fin-Eval 6.0的推出，为解决这一挑战提供了坚实的基础。
该基准不仅为金融AI的学术研究和技术发展设立了新标杆，也为希望在中国市场部署AI应用的金融机构提供了更可靠的风险评估和模型选型依据。通过对模型优势与潜在风险的严谨评估，Fin-Eval 6.0揭示了当前大模型能力的边界与短板，从而引导科研方向，促进模型在关键金融能力上的突破。
更重要的是，Fin-Eval 6.0的推广有望催生一个围绕金融AI评估与优化的研究社区及产业生态。通过公开排行榜和持续更新的数据集，将激励研究者与开发者之间的良性竞争与合作，共同提升大模型在金融领域的整体水平，最终推动更安全、可靠、公平的AI技术在金融领域落地，为金融行业的数字化转型与社会经济的高质量发展注入新动力。
上海财经大学校长、党委副书记、滴水湖高级金融学院院长刘元春表示，当前发布的金融领域大模型评测体系具有双重价值：一方面为金融监管部门制定技术治理框架提供依据，另一方面为商业机构优化模型开发指明方向。他指出，此类研究具有显著的前瞻性和跨学科价值，体现了顶尖金融院校在推动金融科技发展的重要责任。
测评团队负责人、上海财经大学统计与数据科学学院与滴水湖高级金融学院联聘教授张立文指出，随着人工智能技术日益深入地融入金融服务的核心流程，Fin-Eval 6.0的发布标志着金融AI评估领域迈出了关键一步。它旨在为构建更加安全、高效且可靠的金融AI系统提供重要的洞察和发展方向指导。一方面，新增的“金融严谨性测试”模块进一步聚焦模型在金融场景中的安全性与可靠性；而“金融多模态能力评测”的引入，则填补了当前评估体系在该领域的部分空白，并紧密贴合实际业务需求，具有重要意义。另一方面，Fin-Eval 6.0对以往版本的基准测试进行了整合与拓展，使得整个评估体系更加全面、准确，能够更好地反映金融AI系统的综合能力。
未来，上海财经大学会更加关注金融领域的安全合规、能力建设与智能体评测等维度。在安全层面，将会建设更加体系化的评测框架，抓住模型“底线”。在能力建设层面，依托上财在金融学科建设中优势，研究团队将持续构建具有行业代表性和复杂度的金融基准测试集，动态监测和量化分析大模型在金融领域的能力与知识边界。同时，在“智能体元年”的背景下，有关金融智能体的评测标准也在筹备建设中，敬请期待！（CIS)
（文章来源：上海证券报·中国证券网）
