龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：清华大学
摘要：本发明涉及一种自动化注意力稀疏化方法、装置、电子设备及存储介质，其中，方法包括：获取经训练的机器学习模型的多个注意力头的注意力矩阵，机器学习模型用于执行计算机视觉任务或自然语言处理任务；利用数据样本集评估多个注意力头的注意力矩阵，得到每个注意力矩阵的效用矩阵；根据每个注意力头的注意力矩阵的多个稠密度和效用矩阵生成对应注意力头的与多个稠密度中的每个稠密度对应的候选稀疏注意力掩膜；评估每个注意力头的与多个稠密度中的每个稠密度对应的候选稀疏注意力掩膜的质量分数；根据质量分数确定每个注意力头的稀疏注意力掩膜的最优稠密度，将最优稠密度的候选稀疏注意力掩膜确定为对应注意力头的稀疏注意力掩膜。
主权项：1.一种自动化注意力稀疏化方法，其特征在于，包括以下步骤：获取经训练的机器学习模型的多个注意力头的注意力矩阵，所述机器学习模型用于执行计算机视觉任务或自然语言处理任务；利用数据样本集评估所述多个注意力头的注意力矩阵，得到每个注意力矩阵的效用矩阵；根据每个注意力头的注意力矩阵的多个稠密度和所述效用矩阵生成对应注意力头的与所述多个稠密度中的每个稠密度对应的候选稀疏注意力掩膜；评估所述每个注意力头的与所述多个稠密度中的每个稠密度对应的所述候选稀疏注意力掩膜的质量分数；根据所述质量分数确定所述每个注意力头的稀疏注意力掩膜的最优稠密度，将所述最优稠密度的候选稀疏注意力掩膜确定为对应注意力头的稀疏注意力掩膜；所述利用数据样本集评估所述多个注意力头的注意力矩阵，得到每个注意力矩阵的效用矩阵，包括：将所述数据样本集提供给所述机器学习模型进行推理并统计所述每个注意力矩阵的值和模型的损失函数对每个注意力矩阵的偏导数；根据所述每个注意力矩阵的值和所述模型的损失函数对每个注意力矩阵的偏导数计算对应注意力矩阵的效用矩阵，其中，所述效用矩阵为： 其中，为与第h个注意力头的注意力矩阵对应的效用矩阵，为模型的损失函数，为模型的损失函数对注意力矩阵的偏导数，为模型的输入序列的长度，为每个元素都是1的N×N矩阵。
全文数据：
权利要求：
百度查询： 清华大学 自动化注意力稀疏化方法、装置、电子设备及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号