恭喜浙江大学卜佳俊获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜浙江大学申请的专利一种X光脊椎图像关键点检测与识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114463298B 。
龙图腾网通过国家知识产权局官网在2025-03-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210089370.1,技术领域涉及:G06T7/00;该发明授权一种X光脊椎图像关键点检测与识别方法是由卜佳俊;陆张婷;蔡晓旭;顾静军设计研发完成,并于2022-01-25向国家知识产权局提交的专利申请。
本一种X光脊椎图像关键点检测与识别方法在说明书摘要公布了:本发明属于医学图像处理领域,公开了一种X光脊椎图像关键点检测与识别方法。方法包括:首先获取X光脊椎图像并标注,接着利用图像和关键点坐标对脊椎关键点检测网络进行训练,然后利用图像和名称标签对脊椎识别网络进行训练,再裁剪出单节椎骨的图像,利用单节椎骨图像和关键点坐标对单节椎骨关键点检测网络进行训练,然后利用训练好的模型进行预测,预测之后还需要后处理,再构建椎骨连接图,求取最长路得到图中最有可能存在的椎骨,最终整合得到脊椎图像中关键点的坐标的椎骨名称。本发明梳理了X光脊椎图像的关键点和识别的全自动工作流程,采用先粗后细的关键点检测策略提高精度,并且考虑到了少数的情况,具有更好的泛化性。
本发明授权一种X光脊椎图像关键点检测与识别方法在权利要求书中公布了:1.一种X光脊椎图像关键点检测与识别方法,其特征在于,包括以下步骤:S1:获取X光脊椎图像,对图像进行标注,标注每节椎骨的关键点坐标和名称,然后将数据集中的图像按照比例分为训练集、验证集和测试集,划分后针对图像中的椎骨数量不确定的使用场景进行数据集扩充;S2:以脊椎图像作为输入,每节椎骨的关键点坐标作为标签对脊椎关键点检测网络进行训练,得到第一网络模型;所述的脊椎关键点检测网络模型的构建,具体包括:S21:将输入的脊椎图像扩充成正方形;S22:对训练集的图像进行在线数据增强,具体为随机拉伸、随机亮度和对比度变换、随机水平镜面翻转和随机旋转,相应地,关键点的坐标也要进行变换;S23:模型是encoder-decoder结构,下采样部分使用Resnet34,为了加快模型的训练速度和泛化能力,利用迁移学习的技术,在ImageNet上已经训练好的参数上进行微调,上采样部分先使用双线性插值的方式对特征图进行上采样,然后使用一个3×3,步长为1的卷积核进行操作,再用BatchNorm进行归一化,连接一个ReLU激活函数,同时采用跳跃连接来进行特征复用,让下采样的特征辅助上采样学习,在进行跳跃连接之前,先经过一个AttentionGate,假设上采样部分的跳跃连接的特征图为g,下采样部分的对应的特征图为x,首先对g和x分别做一个1×1的卷积操作,将特征图维数降为一半,然后将两个得到的特征图相加之后再进行ReLU操作,之后再用1×1的卷积将维数降为1,再进行sigmoid,最后和x相乘,把注意力权重赋到原先的特征图中,Attention出来的结果再和上采样的结果进行拼接之后用1×1的卷积将维数降到和原先一样,如此对提取的特征实现注意力机制;S24:将feature分别送入三个分支,使用3×3和1×1的卷积核进行连续卷积,最终得到通道数为1的热图和维数为2的中心点坐标的偏移,对于四个角相对于中心点的坐标偏移,使用3×3和7×7的卷积核进行连续卷积得到维数为8的四个角相对于中心点的坐标偏移,其中,热图还需要sigmoid以便于计算损失和后处理;S25:根据每张脊椎图像的真实关键点坐标,生成groundtruth的高斯热图,首先根据真实关键点坐标求出boundingbox,根据每节椎骨的boundingbox大小计算高斯圆的半径R,最后在热图上,以boundingbox的中心点为圆心,半径为R填充高斯函数计算值,取IOU临界值为overlap,boundingbox的大小为h×w,则求取R的公式为 其中,a、b、c的取值为: 取boundingbox的中心点坐标为px,py,则高斯函数为: 其中,σ的取值为对于热图,使用改进后的focalloss作为损失函数,具体计算方式为: 其中,N表示图像的关键点个数,Yxy表示真实值,表示预测值,对于中心点坐标的偏移和四个角相对于中心点的坐标偏移,使用L1loss作为损失函数,总的损失函数为三种损失函数的计算结果相加;S26:经过训练之后即可得到第一网络模型;S3:以脊椎图像作为输入,每节椎骨的名称作为标签对脊椎识别网络进行训练,得到第二网络模型;所述的脊椎识别网络模型的构建,具体包括:S31:将输入的脊椎图像扩充成正方形;S32:对训练集的图像进行在线数据增强,具体为随机拉伸、随机亮度和对比度变换、随机水平镜面翻转和随机旋转;S33:构建ResNeXt50模型,把在ImageNet上已经预训练好的ResNeXt50的权重参数载入模型,并利用迁移学习,将前三层的参数全部冻结,只训练模型的第四层之后的参数;S34:在网络的最后加入CSRA注意力模块,CSRA注意力模块有两个分支,分别是Spatialpooling和Averagepooling,然后将两者进行加权融合:Fi=Gi+λ*Mi5其中,Fi表示第i种类别的概率,Gi表示averagepooling后得到的第i种类别的概率,Mi表示spatialpooling后得到的第i种类别的概率;S35:因为脊椎识别能够看作是多标签分类问题,所以对每个输出神经元使用sigmoid激活函数,将预测结果映射到0,1的区间;S36:针对数据集存在的类别不平衡的情况,使用focalloss作为损失函数;S37:经过训练之后即可得到第二网络模型;S4:在步骤S2的基础上,为了得到更精细的关键点坐标,裁剪出单节椎骨的图像,以单节椎骨图像作为输入,该节椎骨的关键点坐标作为标签对单节椎骨关键点检测网络进行训练,得到第三网络模型;S5:在步骤S2的基础上,将脊椎图像输入训练好的第一网络模型,经过后处理过程后,预测出图像中的关键点坐标;S6:在步骤S4和步骤S5的基础上,利用步骤S5中预测出的每节椎骨的关键点坐标,裁剪出单节椎骨,将单节椎骨的图像输入训练好的第三网络模型,经过后处理过程后,预测出更精确的单节椎骨的关键点坐标,然后需要将这些关键点坐标变换回原图;S7:在步骤S3的基础上,将脊椎图像输入训练好的第二网络模型,预测出图像中各个椎骨存在的概率;S8:在步骤S6和步骤S7的基础上,针对存在少数人椎骨数量排列不同的问题,构建椎骨连接图,通过求取最长路的方法来得到最准确的图像中各个椎骨的名称;S9:在步骤S6和步骤S8的基础上,在脊椎图像中画出预测出的每节椎骨的关键点、标注出预测出的每节椎骨的名称。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。