买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：云南大学

摘要：本发明公开了一种边缘异构计算系统的卷积神经网络分布式推理方法，从边缘异构计算系统中搭载了GPU的边缘设备节点中选择一个节点作为协调者，其余搭载了GPU的节点作为工作者，协调者基于特征图的依赖关系进行逆向推导，从而将原始的卷积神经网络划分为4个子模型，并对子模型中各个卷积层的卷积核进行调整后分发给工作者，协调者从输入图像中裁剪出各个子模型的子输入图像并进行几何变换后分发给对应工作者，工作者将子输入图像输入子模型进行处理，得到子输出特征图并发送至协调者，协调者对4个子输出特征图分别进行裁剪和几何变换的逆变换，再合并得到最终的输出特征图。本发明可以在实现零准确度损失的前提下降低模型推理时延。

主权项：1.一种边缘异构计算系统的卷积神经网络分布式推理方法，其特征在于，包括以下步骤：S1：根据实际需要从边缘异构计算系统中搭载了GPU的边缘设备节点中选择一个节点作为协调者，其余搭载了GPU的节点作为工作者；S2：将原始的卷积神经网络划分为4个子模型，具体方法为：将原始卷积神经网络模型中的卷积层和池化层按照顺序进行编号，记所有卷积层和池化层的数量为N，记每层的输出特征图为将每个输出特征图划分为2行2列的图像阵列，得到4个图像块逐层逆向推导出每层的每个图像块所依赖的上一层图像块，具体方法为：记层n的每个图像块为： 其中，x_upn,i,j,y_upn,i,j表示图像块中左上角像素点的坐标，x_downn,i,j,y_downn,i,j表示图像块中右下角像素点的坐标；图像块所对应的上一层的图像块为： 其中，sn表示层n的卷积窗口滑动步长，pn表示层n的边界填充尺寸，kn表示层n的卷积窗口尺寸；其中，层N的图像块为： wN、hN表示层N的输出特征图的宽度和高度；根据图像块的依赖关系将卷积神经网络划分为4个子模型，其中子模型Modeli,j的输入特征图为层N的输出特征图为S3：对子模型中各个卷积层的卷积核进行调整，具体方法为：对于子模型Model1,1，其各个卷积层的卷积核不作调整，与原始卷积神经网络一致；对于子模型Model1,2，其各个卷积层或池化层的卷积操作中，将卷积核定位在子输入图像的右上角，然后从右到左、从上到下滑过子输入图像；对于子模型Model2,1，其各个卷积层或池化层的卷积操作中，将卷积核置于输入张量的左下角，然后从左到右、从下到上滑过子输入图像；对于子模型Model2,2，其各个卷积层或池化层的卷积操作中，将卷积核定位在子输入图像的右下角，然后从右到左、从下到上滑过输入子输入图像；S4：协调者根据实际情况从所有工作者中选取D个工作者，D≤4，然后将4个子模型分别分发给D个工作者；S5：对于每个子模型Modeli,j，协调者根据其输入特征图中的对角像素点坐标从输入图像中裁剪出初始子输入图像然后进行几何变换得到子输入图像INi,j并发送给对应的工作者；几何变换的具体方法为：对于子模型Model1,1，子输入图像对于子模型Model1,2，对初始子输入图像进行左右翻转几何变换，得到子输入图像IN1,2；对于子模型Model2,1，对初始子输入图像做上下翻转几何变换，得到子输入图像IN2,1；对于子模型Model2,2，对初始子输入图像做从左到右、从下到上翻转的几何变换，得到子输入图像IN2,2；S6：工作者在接收到协调者发来的子输入图像INi,j后输入子模型Modeli,j进行处理，得到层N的初始子输出特征图并发送至协调者；S7：对于每个初始子输出特征图按照层N的输出特征图的宽度wN和高度hN，裁剪初始子输出特征图的左上角，保留右下角大小为的区域作为子输出特征图然后按照每个子模型中子输入图像的几何变换的逆变换对每个子输出特征图进行几何变换，得到子输出特征图OUTi,j；S8：协调者将4个子输出特征图OUTi,j按照顺序合并，即可得到输出特征图OUT。

全文数据：

权利要求：

百度查询： 云南大学 边缘异构计算系统的卷积神经网络分布式推理方法