买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：成都信息工程大学

摘要：本发明涉及一种基于大脑EEG信号的高保真3D重建方法，首先通过面向3D图像信号重建的EEG关联特征来获取大脑活动的精细特征，以实现对参与者视觉感知或想象内容的准确编码；然后采用EEG信号到2D图像映射，利用编码得到的特征对预训练的2D图像生成模块和CLIP模型进行微调，以实现对EEG信号语义的图像化表达，得到预训练的2D图像生成模块；最后将预训练后的2D图像生成模型与3D表示技术相结合，将3D场景参数化通过联合损失函数，以实现从EEG信号编码特征到具体3D图像的直观映射，生成具有高保真度和丰富细节的3D图像。本发明通过参与者对物体所产生的EEG信号而生成其对应的3D图像，为认知科学、心理学和神经科学领域的研究提供新的视角和工具。

主权项：1.基于大脑EEG信号的高保真3D图像重建方法，其特征在于，所述重建方法将EEG信号的关键特征编码作为指导，结合2D图像生成模块和3D图像生成模块的三维表示，生成与EEG信号匹配的3D图像；首先进行EEG关键特征编码，对采集到的EEG信号进行预处理，并构建掩膜信号对EEG编码器进行训练，得到关键特征的EEG特征向量；将EEG特征向量输入2D图像生成模型实现从大脑活动到2D图像的高保真度转换，输出粗糙2D图像，同时将EEG特征向量与CLIP图像解码器所提取的图像特征向量进行相似度计算，反向微调EEG编码器，使得EEG特征向量在特征空间中与CLIP的图像文本信息对齐，并将相机仰角、方位角信息作为辅助信息；将粗糙2D图像输入3D图像生成模块，通过2D图像得分函数和和3D图像得分函数所组成的联合损失函数共同进行几何优化，最后通过紧凑性密集化技术进行外观细化，从而得到高保真和细节丰富的3D图像，具体包括：步骤1：EEG信号采集，通过对受试者展示目标图像，采集其脑电信号得到；步骤2：对EEG信号进行滤波和转换的预处理，得到嵌入向量；步骤3：通过训练EEG特征提取器的编码器来预测被掩码的嵌入向量，从而学习EEG信号的上下文信息，具体包括：步骤31：将预处理后的EEG信号输入到EEG特征提取器中，通过预设的掩码率进行随机掩码，掩码信号模型将使用嵌入向量进行掩码信号建模；步骤32：通过使用均方误差作为损失函数来衡量模型重建的EEG信号与原始EEG信号之间的差异，得到维度为1024的EEG特征向量；步骤4：将EEG特征向量输入2D图像生成模块中进行训练，输出粗糙2D图像，2D图像生成模块基于SD模型，包括变分自编码器、去噪U-Net以及步骤3所训练好的EEG编码器，训练步骤包括：步骤41：采用公开的ImageNetEEG数据集作为训练集，自行采集的数据集作为验证集，数据集既包含EEG信号，也包含EEG信号对应的图像；步骤42：将EEG特征向量作为条件信息，输入到2D图像生成模块内部的去噪U-Net中的交叉注意力层，交叉注意力层将EEG特征向量与去噪U-Net的特征图中的每个位置进行匹配，生成注意力权重；然后，通过权重计算条件信息在不同位置的聚合表示，并将其添加到去噪U-Net的特征图中；通过这种方式，EEG特征向量被编码到去噪U-Net的每个层中，引导2D图像生成模块生成与条件信息一致的粗糙2D图像；步骤43：对所述SD模型进行端到端训练，在训练过程中，生成图像与目标图像之间的差异通过损失函数来计算；步骤44：微调EEG编码器，将EEG特征向量与CLIP图像解码器的特征空间对齐，实现EEG信号、文本和图像的多模态对齐；步骤5：将粗糙2D图像输入3D图像生成模块中进行几何优化利用EEG特征向量中的语义信息、2D图像得分估计函数和3D图像得分估计函数所构成的联合损失函数共同进行几何优化；步骤51：首先初始化高斯位置，经过预训练的3D扩散模型从文本嵌入中提取语义信息，并根据提取的语义信息生成相关的3D点云；步骤52：将相机位姿、EEG特征向量输入到步骤4预训练好的2D图像生成模型，通过2D图像得分估计函数进行训练，从而优化3D高斯椭球中的颜色、不透明度；步骤53：依据2D图像生成模型损失的优化过程，计算关于3D扩散模型的3D图像得分估计函数，通过3D图像得分估计函数从而优化3D高斯椭球的形状和位置；步骤54：通过2D图像得分估计函数和3D图像得分估计函数所组成的联合损失函数，最小化联合损失函数，优化3D高斯椭球中的参数，达到几何优化的目的，生成外观上与2D图像生成模型输出相匹配的粗糙3D图像；步骤6：外观细化，实现对所述粗糙3D图像的逐步细化，不仅使用2D图像生成模型作为指导，而且还通过密集化策略增加高斯点的数量来提高模型的密集度，包括：步骤61：将步骤5中得到的粗糙3D图像，进一步与2D图像生成模块输出的粗糙2D图像计算2D图像得分估计函数，从而继续调整高斯椭球的颜色、不透明度和形状；步骤62：在细化过程中，通过紧凑性密集化技术来正则化不透明度和位置来避免潜在的退化问题，同时定期移除那些不显著的高斯点，最终输出精细3D图像。

全文数据：

权利要求：

百度查询： 成都信息工程大学 基于大脑EEG信号的高保真3D图像重建方法