买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开了一种基于组合优化和多模态大模型的可缀合敦煌残片筛选方法，具体过程为：使用基于卷积神经网络的变体ResNet18的孪生神经网络，提取敦煌残片的特征向量，预测残片对的匹配程度分数，将匹配程度分数大于阈值的敦煌残片对构成无向图，使用融合了最优传输层的图神经网络进行可拼合小残片集合的筛选，并将可缀合的敦煌残片候选拼接集合和预定义的提示词输入多模态大语言模型来判断错误残片，在无向图中剔除错误残片对应的顶点和边，重新筛选得到可拼合的新的候选拼接集合。本发明能够应用在敦煌小残片缀合场景，以及古代语言学和社会研究领域，为古代语言学和社会研究领域研究提高效率。

主权项：1.一种基于组合优化和多模态大模型的可缀合敦煌残片筛选方法，其特征在于，包括以下步骤：S1.从待筛选的敦煌残片中获取所有可能组合在一起的残片对，并对残片对进行蒙版提取，每个残片对对应得到一个蒙版对；S2.获取一个经过训练的组合优化求解器，所述组合优化求解器由孪生神经网络、最优图神经网络以及多模态大语言模型组成，所述最优图神经网络由一个图神经网络和一个最优传输层依次级联而成；其中，所述组合优化求解器在训练时，仅更新孪生神经网络和最优图神经网络的参数，多模态大语言模型的参数固定，所述最优传输层在进行参数更新时，将最优传输层输出的概率中的前K个最大概率进行最大化，将最优传输层输出的其余概率进行最小化；S3.每次将一个蒙版对输入到所述孪生神经网络中，得到与蒙版对对应的敦煌残片的特征向量以及每个蒙版对的匹配程度分数；其中，所述孪生神经网络由两个用于特征提取的子网络和分类模块组成；S4.将孪生神经网络得到的每个特征向量作为顶点，在匹配程度分数大于预设的匹配程度阈值的残片对之间添加一条边，并将对应的匹配程度分数作为边的权重，当所有残片对均遍历完毕后，得到一个无向图；S5.将步骤S4得到的无向图输入到所述最优图神经网络中，先由图神经网络预测无向图中各个顶点所对应的敦煌残片在候选拼接集合中的初始概率，将初始概率经过所述最优传输层后得到最优概率，选出最优概率中概率值最高的前K个敦煌残片组成候选拼接集合；S6.将候选拼接集合中的两个敦煌残片组合成一个候选敦煌残片对后，将每个候选敦煌残片对和预先构建好的提示词输入多模态大语言模型中，由多模态大语言模型为每个候选敦煌残片对打分，输出每个候选敦煌残片对的打分结果；若打分结果小于预设的分数阈值，则将对应的候选敦煌残片对加入到错误小残片子集中；S7.在步骤S4得到的无向图中，将错误小残片子集所对应的所有特征向量顶点以及与特征向量顶点相连的所有边剔除，得到修剪后的无向图，将修剪后的无向图重新输入到最优图神经网络中，预测得到含有K个敦煌残片的新的候选拼接集合，用于敦煌残片的缀合。

全文数据：

权利要求：

百度查询： 浙江大学 基于组合优化和多模态大模型的可缀合敦煌残片筛选方法