买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开基于单目摄像头与距离传感器的透明A柱系统及实现方法,包括S1：采用自动标定平台标定单目摄像头、瞳孔相机的参数、显示屏的空间位置和距离传感器的空间位置；S2：通过视域转换技术以及瞳孔检测技术实时计算驾驶员视域中被“A柱”遮挡的部分，并转换成单目摄像头采集的第一图像；S3：将单目摄像头采集的第一图像传输到控制器进行变换处理得到第二图像，并显示到显示屏上。本发明将单目摄像头采集的被“A柱”遮挡部分以及前景距离深度信息进行信息融合，确定空间平面的三维信息，进行三维场景重建，从而实现前景物体与显示的完美结合，克服了以往方法中的实景显示错位、大小不一等问题。

主权项：1.基于单目摄像头与距离传感器的透明A柱实现方法，其特征在于，包括以下步骤：S1：采用自动标定平台标定单目摄像头、瞳孔相机的参数、显示屏的空间位置和距离传感器的空间位置；瞳孔相机，用于实时定位驾驶员眼睛的空间位置；单目摄像头，用于对外界进行摄像得到第一图像数据，并将第一图像数据传输到控制器进行图像处理从而得到第二图像数据，进而在显示屏上显示；距离传感器，用于检测第一图像的距离；S2：通过视域转换技术以及瞳孔检测技术实时计算驾驶员视域中被“A柱”遮挡的部分，并转换成单目摄像头采集的第一图像；所述S2包括以下步骤：S2-1:在驾驶员前方安装瞳孔相机，用于实时定位驾驶员人眼的空间位置，即驾驶员的视点E，其空间坐标为XE,YE,ZE；S2-2:构建驾驶员视点与标定好的对应显示屏的四个内角顶点AX1,Y1,Z1、BX2,Y2,Z2、CX3,Y3,Z3、DX4,Y4,Z4构成的四条射线方程：EA射线方程:EB射线方程:EC射线方程:ED射线方程:S2-3：求取第一图像所在的空间平面与显示屏的距离L，通过距离传感器P与第一图像的检测结果Ld和距离传感器与显示屏的距离Ls得到第一图像所在的空间平面的距离L，即L＝Ld+Ls，计算四条射线方程与被“A柱”遮挡的部分所在的空间平面相交的四个顶点A'Xa,Ya,Za、B'Xb,Yb,Zb、C'Xc,Yc,Zc、D'Xd,Yd,Zd的空间坐标，从而构成视域投影平面；S2-4:构建投影模型，计算视域投影平面的四个顶点在对应的单目摄像头成像平面的像素坐标从而得到第一图像：以视域投影平面顶点A'对应的点Ua的像素坐标为例：构建的投影模型为： 公式5中，s代表在相机坐标系下映射点的空间深度信息，其实就是m3的模；u、v为视域投影平面顶点在单目摄像头图像成像平面上对应点Ua的像素坐标；K表示单目摄像头的内参矩阵，R和T分别是自动标定平台上的标定辅助相机坐标系到单目摄像头坐标系的旋转矩阵和平移矩阵，Xa,Ya,Za表示视域投影平面上对应顶点A'的三维坐标；m1、m2、m3共同构成M矩阵，M矩阵是三维空间点到二维成像平面的映射变换矩阵，通过像机标定得到，这个矩阵是三行四列，m1、m2和m3分别代表M矩阵的第一行、第二行和第三行；为便于求出单目摄像头成像平面上的像素坐标，把投影模型经过转化，得到单目摄像头图像成像平面上Ua的像素坐标： S3：将单目摄像头采集的第一图像传输到控制器进行单应性变换处理得到第二图像，并显示到显示屏上。

全文数据：

权利要求：

百度查询： 重庆利龙中宝智能技术有限公司 基于单目摄像头与距离传感器的透明A柱系统及实现方法