买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京辉羲智能信息技术有限公司

摘要：本发明涉及一种基于数据流的注意力机制加速器，包括上脉动阵列和下脉动阵列，所述上脉动阵列和下脉动阵列用于协同完成利用注意力机制通过Transformer神经网络“编码‑解码”结构进行序列到序列的转换，包括Q矩阵和K矩阵的并行生成、V矩阵的生成、头部注意力计算、以及最终的多头部注意力计算；所述上脉动阵列包括若干上阵列计算单元，所述下脉动阵列包括若干下阵列计算单元，所述上脉动阵列和下脉动阵列级联、可以动态配置为权重固定或输出固定，所述上阵列计算单元和下阵列计算单元可配置、动态支持权重固定或输出固定的数据复用方式。有益效果是有效支持数据复用和并行、延迟低、计算单元利用率高、吞吐率好。

主权项：1.一种基于数据流的注意力机制加速器，其特征在于：包括上脉动阵列和下脉动阵列，所述上脉动阵列和下脉动阵列用于协同完成利用注意力机制通过Transformer神经网络“编码-解码”结构进行序列到序列的转换，包括Q矩阵和K矩阵的并行生成、V矩阵的生成、头部注意力计算、以及最终的多头部注意力计算；所述上脉动阵列包括若干上阵列计算单元，所述下脉动阵列包括若干下阵列计算单元，所述上脉动阵列和下脉动阵列级联、可以动态配置为权重固定或输出固定，所述上阵列计算单元和下阵列计算单元可配置、动态支持权重固定或输出固定的数据复用方式；所述上阵列计算单元、下阵列计算单元均可配置为输出固定、权重固定、清除和量化四种工作模式；每个上阵列计算单元、下阵列计算单元具有一个模式控制寄存器，用于控制所述上阵列计算单元、下阵列计算单元工作模式和数据水平传递；所述上阵列计算单元或下阵列计算单元包括输入寄存器、权重寄存器、乘法器、加法器、第一选择器、第二选择器、量化单元和累加器寄存器，所述下阵列计算单元还包括第三选择器；所述输入寄存器用于存储和传递输入值，所述权重寄存器用于存储和传递权重值，所述累加器寄存器用于存储和传递加法器输出的部分和值；所述量化单元用于在量化工作模式下，所述计算单元累加器寄存器将部分和值根据量化工作模式信号进行移位和截断、量化为低比特，并输出给第二选择器、第三选择器；所述第二选择器输入量化的低比特、传递的权重值，输出经过选择的权重值给权重寄存器；所述第三选择器输入量化的低比特、传递的输入值，输出经过选择的输入值给输入寄存器；所述乘法器将输入寄存器存储的输入值和权重寄存器存储的权重值乘积输出作为加法器第一操作数；所述上阵列计算单元第一选择器输入上游计算单元传递的部分和值、计算单元本地前一个部分和值，输出经过选择的部分和值作为加法器第二操作数；所述下阵列计算单元第一选择器输入上游水平计算单元传递的部分和值、上游竖直计算单元传递的部分和值、计算单元本地前一个部分和值，输出经过选择的部分和值作为加法器第二操作数；所述加法器将第一操作数、第二操作数的和输出给累加器。

全文数据：

权利要求：

百度查询： 北京辉羲智能信息技术有限公司 一种基于数据流的注意力机制加速器