龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：浙江君同智能科技有限责任公司
摘要：本发明公开了一种基于上下文学习的大语言模型提示词注入攻击检测方法和装置，属于人工智能技术领域，包括：基于Bert预训练模型，通过引入基于标签的注意力模块，学习不同层级和不同标签之间的固有特征和依赖关系，设计了一个对提示词注入攻击进行多层级、多标签的细粒度的分类模型，以实现对提示词注入攻击的精准识别。同时，本方法根据上下文学习，将该分类模型的预测能力与大语言模型的能力相结合，提升大语言模型对提示词注入攻击的防御能力。本发明能自动化进行提示词注入攻击的检测，同时提升检测的有效性和全面性，能有效应用于大模型安全检测领域。
主权项：1.一种基于上下文学习的大语言模型提示词注入攻击检测方法，其特征在于，包括以下步骤：步骤1：基于模糊测试的语言变异算法，对提示词注入攻击指令进行变异，得到变异攻击指令，通过变异攻击指令对大语言模型进行循环攻击，保留有效攻击的变异攻击指令，构建指令数据集；步骤2：设计多层级多标签的细粒度分类树，根据提示词注入攻击指令的攻击目的，构建细粒度分类树的第一层级，对第一层级进行语义划分，得到第二层级，按照第二层级各标签的实现策略，得到第三层级；利用细粒度分类树为指令数据集添加提示词注入攻击类别标签；步骤3：基于Bert预训练模型和细粒度分类树，引入基于标签的注意力模块，构建层级多标签分类模型，其中，细粒度分类树用于对输入文本分层并赋予层级预测标签；Bert预训练模型用于得到分层文本的层级嵌入向量；基于标签的注意力模块用于提取层级嵌入向量的标签特征和层级特征，加权平均后作为对应层级的层级预测标签的置信度，整合高于阈值的最高置信度对应的层级预测标签作为输入文本的预测标签；步骤4：以带标签的指令数据集微调层级多标签分类模型，得到微调预测模型，获取带标签的指令数据集的采样样本，利用微调预测模型对采样样本和测试样本的预测输出分别构建上下文集合和测试提示，拼接后输入大语言模型，利用上下文学习，得到测试样本的预测结果和原因分析。
全文数据：
权利要求：
百度查询： 浙江君同智能科技有限责任公司 基于上下文学习的大语言模型提示词注入攻击检测方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号