买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提供了一种摄像机平滑联动跟踪船舶方法，实现利用孪生神经网络对连续视频画面中的船舶目标检测、跟踪，获取船舶目标检测跟踪结果相对于图像位置，通过云台控制协议PELCO‑D控制摄像机云台上下左右、镜头焦距远近，在船舶运动过程中，云台和镜头控制保持平滑运动，画面不会出现明显的抖动，船舶始终处于视频画面的中心。本发明可用于多个涉水领域，如海事领域的船舶交通管理领域、渔政领域的渔场监管、海警领域的船舶监视等；与基于船舶交通管理系统VTS船舶位置的联动跟踪相比，本发明使用图像目标检测、跟踪，图像跟踪效果实时性强、跟踪效果更好，能够适用于船舶交通服务系统中船舶位置信号更新慢、联动跟踪效果要求高场景。

主权项：1.一种摄像机平滑联动跟踪船舶方法，其特征在于，包括以下步骤：步骤1，采集摄像机不同焦距、方位、天气、光照状态下的船舶视频，从视频中自动截取图片，标注图片中的船舶，通过孪生神经网络训练生成船舶特征的数据结果集；步骤2，采集摄像机镜头、云台固定参数；步骤3，获取摄像机视频，在图像中手动框选跟踪船舶，利用孪生神经网络对跟踪船舶和接下来的视频帧中的船舶进行匹配，获取跟踪船舶像素坐标位置；步骤4，根据每一帧图像检测跟踪后的跟踪船舶像素坐标位置、摄像机云台方位和镜头参数，计算云台转动的方位方向、云台转速时长，控制云台持续平滑转动跟踪船舶；步骤5，根据跟踪船舶像素坐标位置在图像中比例控制镜头放大、缩小，使船舶在图像中处于13到12的显示比例；步骤2包括：采集摄像机焦距范围、云台转动精度、云台转速范围、镜头电荷耦合元件CCD靶面长宽信息；步骤3包括：步骤3-1，通过实时流传输协议RTSP获取摄像机视频，使用ffmpeg将视频解码成一帧图像显示在界面上；步骤3-2，加载步骤1-3中的船舶特征模型数据，在图像中框选跟踪船舶，将框选后的图像和接下来的每一帧送入到孪生神经网络提取特征，在目标特征空间通过损失函数进行相似度匹配，如果匹配成功，将框选的图像特征和搜索图像帧的特征数据送入到候选区域网络预测出目标的识别矩形框，得到跟踪船舶的像素坐标比例，根据图像长宽得到跟踪船舶的像素矩形位置，如果匹配不成功则执行步骤4-3；步骤4包括：步骤4-1，如果摄像机云台在转动状态，停止云台转动，得到步骤2中的摄像机焦距范围、CCD靶面长宽信息和步骤3中的跟踪船舶的像素矩形位置；步骤4-2，获取当前摄像机倍数，通过摄像机焦距、变倍倍数、CCD靶面长宽获取摄像机水平视场角、俯仰视场角；水平视场角θ1公式为：θ1＝2×arctanw2f*z，其中w为摄像机CCD宽，f为摄像机最小焦距，z为摄像机当前的变倍倍数；俯仰视场角公式为：θ2＝2×arctanh2f*z，其中h为摄像机CCD高；得到船舶中心点相对于视频中心点的水平、俯仰偏移角度，根据云台转速计算得到移动船舶中心点到视频图像中心位置的时间，通过云台控制协议控制云台上、下、左、右转动，延时相应的时间后停止云台转动；摄像机水平转动持续时间t1公式为： 其中abs是绝对值函数，w1为视频图像分辨率的长度，x1为检测的船舶目标位于相对于视频左上角的水平坐标像素点，s1为摄像机当前焦距状态下的云台的水平转速；云台垂直转动持续时间t2公式为： 其中h1为视频图像分辨率的宽度，y1为检测的船舶目标位于相对于视频左上角的垂直坐标像素点，s2为摄像机当前焦距状态下的云台的垂直转速；步骤4-3，保存第一次检测成功时摄像机水平方位v1、俯仰方位p1、时间t1和最近一次检测成功时摄像机水平方位vn、俯仰方位pn，时间tn，如果孪生神经网络检测跟踪船舶失败时，由云台历史运行轨迹进行预推，计算公式为：tk时刻云台水平预推点平均速度Vk： tk时刻云台俯仰预推点的平均速度Pk： 运行时间为tk～tk-1，tk-1为上一时刻预推时间点，并更新tk-1的值为tk；步骤4-4，重复步骤4-1、步骤4-2、步骤4-3，通过对跟踪船舶的检测结果，实时平移水平、俯仰方位信息，使跟踪船舶检测矩形框中心点位置与图像中心点位置像素偏差值在阈值范围内。

全文数据：

权利要求：

百度查询： 南京莱斯网信技术研究院有限公司 一种摄像机平滑联动跟踪船舶方法