买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明公开了一种应对多变场景的跨模态信源信道联合编解码方法,涉及跨模态图像信号重建技术领域,包括:首先设计于Transformer编码器的跨模态信道编解码优化方案,实现信道编码器与信道解码器的性能提升与鲁棒性。其次设计基于隐扩散模型的触觉‑图像生成的跨模态信源编解码优化方案,实现图像信号丢失场景下,利用触觉信息指导图像生成;最后引入迁移学习技术,降低了系统面对多变跨模态通信场景例如多变信道信噪比,不同传输任务等导致的额外训练成本。本发明提供的信源信道联合编解码方法能够在跨模态通信多变场景下解决了接收端无法很好完成图像重建以及多变信道环境和场景导致的额外模型训练成本。
主权项:1.一种应对多变场景的跨模态信源信道联合编解码方法,其特征在于,包括:针对图像信号与触觉信号同时传输的场景,基于跨模态信源编码器最大化系统容量并最小化语义错误;考虑跨模态通信下图像信号丢失的场景,设计基于隐扩散模型的触觉-图像生成的跨模态信源编解码优化方案;针对不同的通信任务和信道环境,采用迁移学习优化模型的泛化能力,并加速模型的训练过程。
全文数据:
权利要求:
百度查询: 南京邮电大学 一种应对多变场景的跨模态信源信道联合编解码方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。