针对大语言模型安全性能的通用评估方法

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/数据处理和存储服务
  • 学科类别:计算机科学技术/人工智能/知识工程
  • 权利人:无锡市区块链高等研究中心

知识产权简介

本发明利用大语言模型出色的自然语言理解和生成文本的能力,能够理解静态数据集中数据的含义,将数据提取拆分并将其以知识图谱的形式存储至图数据库中,然后针对不同的待测大语言模型,会根据需求设置不同的参数,利用检索增强技术(Retrieval-Augmented Generation,RAG)动态的生成测评数据,再用这些数据对待测模型进行测评。

转化前景

目前针对大语言模型的安全性能检测绝大部分都是基于静态数据集的,这样的测评方法具有随机性,以及在测评中容易作弊而带来的不确定性。本专利的大语言模型安全测评方法利用大语言模型出色的文本能力和检索增强生成动态的生成测评数据,相较于现有的测评方法更难作弊且结果的鲁棒性更强。

基本信息

权利人 无锡市区块链高等研究中心
知识产权类型 专利
意向合作模式
预估金额
联系合作