科大讯飞公布大模型评估专利 可实现自动化评估

上证报中国证券网讯（记者王墨璞嘉）6月6日，记者从天眼查获悉，科大讯飞申请的“大模型评估方法、装置、设备、系统及程序产品”专利今日公布。

摘要显示，该方法首先获取目标大模型问答所得的对话数据，基于数据之间的跟随关系依次对问答对话进行指令抽取，从而得到对话指令，并对对话指令打分得到第一得分。其次，提取问答对话对应的答案信息，将其与前序答案信息比对得到第二得分。再次，对答案信息进行回复质量评价，得到第三得分。最后，结合第一得分、第二得分和第三得分，得到目标得分，以此对目标大模型进行评估。

据悉，该方法针对多轮次对话特点进行多维度的指标配置，实现了自动化评估，可以大幅降低人工的参与度，减少因个人主观看法造成的偏差，提高大模型评估的准确性。

（文章来源：上海证券报·中国证券网）