买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京大学

摘要：本发明公开了一种基于视网膜成像原理的成像控制方法，属于成像技术领域。所述方法采用分级降采样策略模拟视网膜成像特点，在保证关注点的分辨率的同时降低整体图像的分辨率，可以大量降低数据存储空间，决策网络对该成像方法的输出结果进行评估和动态观测，且综合考虑了对场景中物体身份、位置和大小的估计损失，以及对下一时刻观测结果的估计损失和决策网络的生成概率与后验概率的差异估计损失，从而准确得到对当前时刻场景的理解以及决定下一时刻的分级降采样策略，并且在网络计算中，该方法可以大量降低计算量，有效减小数据传输带宽和功耗，为应用于边缘端设备提供了可能。

主权项：1.一种基于视网膜成像原理的成像控制方法，其特征在于，所述方法应用于视网膜成像相机中，所述视网膜成像相机设置有像素阵列、行选址电路、列选址电路、读出电路，以及n个存储区；所述方法采用分级降采样策略获取当前帧图像对应的各级采样图像，并通过决策网络分析每级图像中的物体信息，根据物体信息确定下一帧图像的分级降采样策略，所述分级降采样策略包括中心点坐标、每级采样图像的尺寸、以及当前采用的降采样级数n；所述视网膜成像相机的成像芯片根据分级降采样策略选通像素阵列中对应的像素进行采样；所述方法采用分级降采样策略获取下一帧图像对应的各级采样图像时，对第一级降采样的图像为在采样范围为的区域内对每个点进行采样得到的大小为s×s的图像，对第级（n≥2）降采样的图像为在采样范围为的区域内每隔2n-1个点进行一次采样得到的大小为的图像；所述决策网络基于Transformer模型实现，模型中，对于场景，若存在个物体，对于每个物体，其身份为，在整张图片中的位置为，其大小为，而相机在时刻的动作为，该动作的含义是在时刻将视网膜成像相机的注视中心调整到，并分为级，每级的大小为，由此形成了新的对场景的观测视角，在该视角下观察场景，会得到第个物体，在时刻，在第级中身份，位置，大小，由此形成了视网膜成像相机在时刻的观测；其损失函数包括对整个场景中每个物体身份的估计函数项、对整个场景中每个物体位置的估计函数项、对整个场景中每个物体大小的估计函数项、对下一时刻观测结果的估计函数项以及决策网络生成概率与后验概率的差异函数项；损失函数为： 其中，、、、、为各函数项对应的权重值；所述对整个场景中每个物体身份的估计函数项为： 其中，表示整个场景中第k个物体的身份，表示以决策网络参数化的后验概率分布，表示t时刻的观测视角，、、分别表示整个场景中的第个物体时刻在第级中的身份、位置和大小，表示L2范数；所述对整个场景中每个物体位置的估计函数项为： 其中，表示整个场景中第k个物体的位置；所述对整个场景中每个物体大小的估计函数项为： 其中，表示整个场景中第k个物体的大小；所述对下一时刻观测结果的估计函数项为： 其中，表示决策网络预测的t+1时刻的观测，表示以决策网络参数化的生成概率分布，表示决策网络预测的t+1时刻的观测视角，、、分别表示决策网络预测的第个物体t+1时刻在第级中的身份、位置和大小；所述决策网络的生成概率与后验概率的差异函数项为： 其中，表示KL散度，用来衡量两个概率分布之间的差异。

全文数据：

权利要求：

百度查询： 南京大学 一种基于视网膜成像原理的成像控制方法