买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明公开了一种基于TransUNet和条件随机场的人体髋关节关键点检测方法，属于智慧医疗、人工智能和图像处理领域。本发明利用Transformer的多头注意力机制，获得目标关键点区域和影像全局的上下文关系，提高解剖关键点的检测准确率。同时，结合条件随机场方法对TransUNet进行改进，以TransUNet模型输出的关键点热力图作为掩膜，为关键点精细化提取作为先验指导，从而克服个体影像差异性大和数据集稀缺所带来的不良影响，提高模型的泛化性，并获得准确的人体髋关节关键点检测结果。该技术可在实际应用场景中，有效地提高髋关节关键点检测模型的准确率和泛化性，在医学领域中起着重要的作用。

主权项：1.一种基于TransUNet和条件随机场的人体髋关节关键点检测方法，该方法包括：步骤1：获取包含人体髋关节的图像数据集，对图像进行关键点标注，确定每张图像中髋关节的关键点位置，关键点包括1.髂骨最内点，2.Y形软骨中心，3.髋臼面上缘点位，4.髋臼面下缘点位，5.圆韧带窝点，6.股骨头中心点，7.大转子顶点，8.泪滴下缘点，9.坐骨底部点，10.股骨颈远端中点，11.股骨干近端中点，12.股骨干远端中点；步骤2：建立人体髋关节关键点检测模型，根据建立的人体髋关节关键点检测模型进行如下计算；步骤3：预先准备好的数据集经过随机旋转-45°到45°，随机缩放0.7到1.3进行数据增强，将增强后的图像首先通过卷积核为3×3的CNN网络进行下采样，图像经过不断下采样最终得到最低分辨率的特征图；步骤4：将步骤3得到的最低分辨率的特征图经过线性投影后输入到Transformer模块，Transformer模块通过多头注意力机制对特征图的全局信息进行提取，最终得到带有全局信息的特征图；步骤5：将步骤4所获得带有全局信息的特征图输入到新的卷积层，由于该特征图的分辨率与CNN网络生成的最终特征图分辨率一致，因此新的卷积层卷积核大小保持3×3，对带有全局信息的特征图进行上采样，每一次上采样的结果与下采样CNN网络产生的对应分辨率的特征图进行特征连接，通过一个卷积核为1×1的卷积层实现特征连接，得到同分辨率的融合了全局信息的特征图；对此特征图重复进行上采样、特征连接；直到得到的特征图恢复为原输入大小；步骤6：将步骤5最终输出的原大小的融合了全局信息的特征图输入到Grad-CAM模块，Grad-CAM生成对应的热力图和掩膜，将掩膜输入到条件随机场CRF模块，使用条件随机场综合图像的空间信息，得到更加精细并且具有空间一致性的结果，对图像掩膜区域的细节更加敏感；最终得到综合了全局信息和局部信息的髋关节关键点检测结果；步骤7：假设存在随机区域KP＝{KP1,KP2,...,Kpi,....KPm}，m表示像素数量，KPi表示像素i的分类标注，所有标注构成标注集D＝{D1,D2,......Dn}，n表示类别数，存在另一随机区域Mask表示掩膜特征向量区域，简记为M，M＝{M1,M2,...,Mi,...Mm},Mi是像素i对应的掩膜特征向量；对于条件随机场KP,M给出概率函数： 其中，GM是归一化因子，EKP|M是能量函数，简化标记为EKP，KP属于标注集D；通过平均场近似QKP＝∏iQiKPi，不断更新迭代QX，最终通过最小化PKP|M和QKP的K-L散度，得到模型最优解，Π表示对所有Qi求乘积。步骤8：使用验证集对步骤7中得到的最优模型进行性能评估，评估模型在关键点检测任务上的准确性和鲁棒性。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于TransUNet和条件随机场的人体髋关节关键点检测方法