买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:广州大学
摘要:本发明提供了一种基于蜜点的大语言模型提示注入检测方法,涉及大语言模型内容安全技术领域。基于蜜点的大语言模型提示注入检测方法包括以下步骤:基于大语言模型的内容安全规定及提示注入库构建提示词蜜点,并将所述提示词蜜点部署在受保护模型的系统提示词库内;基于所述受保护模型获取针对多个用户指令的待检测文本,当所述用户指令为提示注入指令时所述提示词蜜点进行指令拦截,并基于所述内容安全规定检测所述待检测文本并输出检测结果。本发明通过研究提示注入指令以及大语言模型的内容安全规定构建提示词蜜点,并基于大语言模型自身的语义分析能力及提示词蜜点检测提示注入攻击,降低了防御成本、提高了提示注入检测成功率。
主权项:1.一种基于蜜点的大语言模型提示注入检测方法,其特征在于,包括以下步骤:基于大语言模型的内容安全规定及提示注入库构建提示词蜜点,并将所述提示词蜜点部署在待保护大语言模型的系统提示词库内,获得受保护模型;基于所述受保护模型获取针对多个用户指令的待检测文本;当所述提示词蜜点被触发,所述受保护模型对多个所述用户指令进行提示注入指令判断,当所述用户指令为提示注入指令时进行指令拦截,并基于所述内容安全规定检测所述待检测文本并输出检测结果。
全文数据:
权利要求:
百度查询: 广州大学 一种基于蜜点的大语言模型提示注入检测方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。