买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中国科学技术大学
摘要:本发明公开了一种多模态大语言模型神经元归因方法及相关设备,所述方法包括:利用MLLMs模型生成的具有特定语义的图像,获取图像中与特定语义相关的特定区域;评估MLLMs模型图像生成模块输入的每个维度与生成图像中特定区域的相关性;获取神经元对最后表示的贡献,并整合每个维度的贡献分数,将贡献分数最高的神经元作为I‑神经元;获取神经元对文本输出归因评分,将归因评分最高的神经元作为T‑神经元。本发明不依赖于梯度计算和因果效应等耗时且对存储要求极高的技术,同时可以排除生成图像中自带的语义噪声信息干扰,针对特定语义概念,通过解耦找到对于不同输出模态的关键神经元,实现高效、准确的神经元归因。
主权项:1.一种多模态大语言模型神经元归因方法,其特征在于,所述多模态大语言模型神经元归因方法包括:利用MLLMs模型生成的具有特定语义的图像,获取所述图像中与特定语义相关的特定区域;评估MLLMs模型图像生成模块输入的每个维度与生成图像中特定区域的相关性,根据相关性获取MLLMs模型第L层最后表示中各元素相对于图像目标语义的贡献分数;获取神经元对所述最后表示的贡献,并整合每个维度的贡献分数,将贡献分数最高的所述神经元作为I-神经元;获取神经元对文本输出归因评分,将归因评分最高的神经元作为T-神经元。
全文数据:
权利要求:
百度查询: 中国科学技术大学 一种多模态大语言模型神经元归因方法及相关设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。