买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安电子科技大学

摘要：本发明公开了一种基于时空倍频程卷积模块的轻量级视频显著性预测方法，主要解决现有技术使用3D深度卷积网络规模过大，易产生资源受限与过拟合的问题。其实现方案是：分别获取训练数据集和测试数据集并对其进行预处理；构建轻量级时空卷积单元，并利用其构建多尺度特征提取链；构建特征融合模块，并将其与多尺度特征链连接构成轻量级多尺度视频显著性预测模型；用预处理后的训练数据通过Adam优化法对该视频显著性预测模型进行迭代训练；将预处理后的测试数据输入到训练后的轻量级多尺度视频显著性预测模型，得到视频显著性预测结果。本发明减小了视频显著性预测模型规模，提高了视频显著性预测结果的准确性，可用于帮助机器理解人类对于视频的视觉焦点。

主权项：1.一种基于时空倍频程卷积模块的轻量级视频显著性预测方法，其特征在于，包括如下步骤：1获取训练与测试数据集：1a从公开网站获取DHF1K数据集和UCF-Sports数据集，并从DHF1K数据集中取出M个视频作为训练数据集，从UCF-Sports数据集中取出N个视频作为测试数据集，其中M＞600，N＞45；1b根据数据路径读取训练数据集与测试数据集，对所有视频进行帧分离得到视频数据帧，对每个视频进一步创建帧名和注释名的列表，按照目标片段长度参数从帧名和注释名的列表中提取训练片段Clip1、训练注释片段Clip2与测试片段Clip3；2数据集预处理：2a根据目标尺寸对训练数据的视频图像帧和与之对应的注释图像帧依次进行调整、翻转和归一化，再将其转化为张量数据，最终得到对应的训练视频图像帧张量数据TrainT和与之对应的训练视频注释帧张量数据AnntT；2b根据目标尺寸对测试数据的视频图像帧依次进行调整和归一化，再将其转化为张量数据，最终得到对应的测试视频图像帧张量数据TestT；3构建轻量级多尺度视频显著性预测模型3a构建主要由3D化的倍频程卷积层3DOctave和时空多尺度倍频程卷积层SPM级联组成的轻量级时空卷积单元MLW；3b由多个不同结构的特征提取模块和多个特征分离层级联组成的多尺度特征提取链，分别用于对不同尺度特征进行提取，每个模块不同数量的轻量级时空卷积单元MLW连接组成；3c构建由多个并行的膨胀卷积层与时空倍频程卷积层SPM、逐点卷积模块、上采样层依次连接组成的特征融合模块；3d将步骤3b构建的多尺度特征链和步骤3c构建的特征融合模块级联，构成轻量级多尺度视频显著性预测模型，并将KL散度用作模型的损失函数LsS,A；4将训练视频图像帧张量数据集输入到轻量级多尺度视频显著性预测模型，通过Adam优化法对其进行训练，得到更新后的轻量级多尺度视频显著性预测模型；5将测试视频图像帧张量数据Ttest输入到训练后的轻量级多尺度视频显著性预测模型，得到显著性预测结果。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于时空倍频程卷积模块的轻量级视频显著性预测方法