(10)申请公布号 (43)申请公布日 2013.06.05C N  103136720 A (21)申请号 201310077754.2
(22)申请日 2013.03.12
G06T 3/40(2006.01)
G06T 5/50(2006.01)
G06T 7/00(2006.01)
(71)申请人中科院微电子研究所昆山分所
地址215347 江苏省苏州市昆山市苇城南路
1699号综合楼905
(72)发明人鲁斌  秦瑞  梁艳菊  王伟  高荣
李庆
(74)专利代理机构北京集佳知识产权代理有限
公司 11227
代理人
常亮
(54)发明名称
车载360度全景拼接方法
(57)摘要
本发明公开了一种车载360度全景拼接方
法，包括：采用双曲面模型拟合鱼眼摄像机模型，
并计算鱼眼摄像机模型参数；确定图片坐标系与
摄像机坐标系的映射关系；确定摄像机坐标系到
地面坐标系下的单应矩阵；生成图片坐标系到地
面坐标系的映射查表；将摄像机获取的地面图
片根据映射查表拼接得到最终的俯瞰图。本
发明针对车载环境四个视场下图像的复杂性，提
出采用映射关系建立原视场图到俯瞰图的映射查
表，相对于特征点匹配，该方法只取决于坐标关
系，而坐标在摄像头固定时就相对固定，所以相对
于匹配，这种方法更具有可靠性；采用直接映射
原图到摄像机坐标系下，省略了摄像机坐标系到
世界坐标系的映射，减少误差，准确性更高。
(51)Int.Cl.
权利要求书1页  说明书5页  附图4页
(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书1页  说明书5页  附图4页(10)申请公布号CN 103136720 A
*CN103136720A*
1/1页
1.一种车载360度全景拼接方法，其特征在于，所述方法包括：
S1、采用双曲面模型拟合鱼眼摄像机模型，并计算鱼眼摄像机模型参数；
S2、确定图片坐标系与摄像机坐标系的映射关系；
S3、确定摄像机坐标系到地面坐标系下的单应矩阵；
S4、生成图片坐标系到地面坐标系的映射查表；
S5、将摄像机获取的地面图片根据映射查表拼接得到最终的俯瞰图。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1中的双曲面模型为关于Z 轴对称的双曲面模型。
3.根据权利要求2所述的方法，其特征在于，所述步骤S1中双曲面模型采用泰勒展开
式拟合，u 和u 是图片坐标系下点(u ，v)，鱼眼摄像机模型参数为关于泰勒展开式的系数。
4.根据权利要求1所述的方法，其特征在于，所述步骤S2中图片坐标系与摄像机坐标系的映射关系采用向量成比例的关系进行建立。
5.根据权利要求1所述的方法，其特征在于，所述步骤S3具体包括：
预先规定各个视场图片的显示范围，对于各个摄像头视场下指定右上角预定的起始点位置；
确定各个起始点在最终俯瞰图中的对应位置点；
分别在不同的视场中以各个摄像头为右上顶点摆放棋盘格；
将地面坐标系下棋盘格点坐标与相应视场的坐标对应，计算出变换的单应矩阵。
6.根据权利要求5所述的方法，其特征在于，所述摄像头包括前、后、左、右四个摄像头。
7.根据权利要求5所述的方法，其特征在于，所述步骤S4具体包括：
将各个场景分别以各个摄像头为右上角起点的场景映射到俯瞰图上，微调顶点位置，各个视场图片通过映射拼接到俯瞰图上；
根据预先确定的显示范围，在最终俯瞰图上划定显示范围，制作遮罩模板，反算遮罩边界在图像坐标系下的坐标位置，得到最终各个视场下图片到最终俯瞰图的映射关系。权  利  要  求  书CN 103136720 A
车载360度全景拼接方法
技术领域
[0001] 本发明涉及汽车电子技术领域，特别是涉及一种车载360度全景拼接方法。
背景技术
[0002] 车载360度环视拼接系统是辅助车载主动安全的子系统之一，它是车载环视物体识别和测距、三维行车环境重建的基础，也是增加用户，尤其是新驾驶员驾车可靠性的安全辅助系统之一。同时给现有车载系统加入智能化元素，增加驾车体验感。它是在倒车雷达、自动泊车系统等主动安全系统的基础之上增强实用性和直观性而获得的设计。其算法实现的核心在于俯瞰图的拼接和融合，算法主要分成两部分：第一部分，鱼眼摄像头的矫正，映射关系的确定；第二部分，四个或者多个方向视场下图片的拼接和融合。
[0003] 现有技术中，申请号为201110199571.9的专利申请主要采用shif特征点匹配和最优拼接线的RANSAC匹配确定拼接结果，该方案的缺点在于shif特征点的提取，在实时性很强，并且环境复杂的车
载环视系统中很难精确确定特征点，另外四个视场下相交区域并不能保证有足够的特征点以供匹配，所以往往这种方案达不到实时性和准确性的要求；申请号为201110234021.6的专利申请主要匹配两幅图的Harris角点达到拼接，这种寻角点的方案虽然简单，但是可靠性比较低，对噪声比较敏感，鲁棒性差；申请号为201010561115.X的专利申请采用对降采样图像粗略计算转移矢量获得拼接效果，转移矢量并不能很好表达所有鱼眼摄像头的映射关系，对于车载环视系统，达不到可用的拼接效果。[0004] 因此，针对上述技术问题，有必要提供一种车载360度全景拼接方法，以克服上述缺陷。
发明内容
[0005] 有鉴于此，本发明提供了一种误差小、准确性高的车载360度全景拼接方法，具有实时性和鲁棒性。
[0006] 为了实现上述目的，本发明实施例提供的技术方案如下：
[0007] 一种车载360度全景拼接方法，所述方法包括：
[0008] S1、采用双曲面模型拟合鱼眼摄像机模型，并计算鱼眼摄像机模型参数；[0009] S2、确定图片坐标系与摄像机坐标系的映射关系；
[0010] S3、确定摄像机坐标系到地面坐标系下的单应矩阵；
[0011] S4、生成图片坐标系到地面坐标系的映射查表；
[0012] S5、将摄像机获取的地面图片根据映射查表拼接得到最终的俯瞰图。
[0013] 作为本发明的进一步改进，所述步骤S1中的双曲面模型为关于Z轴对称的双曲面模型。
[0014] 作为本发明的进一步改进，所述步骤S1中双曲面模型采用泰勒展开式
拟合，u和u是图片坐标系下点(u,v)，鱼眼摄像机模型参数为关于泰勒展开式的系数。
[0015] 作为本发明的进一步改进，所述步骤S2中图片坐标系与摄像机坐标系的映射关系采用向量成比例的关系进行建立。
[0016] 作为本发明的进一步改进，所述步骤S3具体包括：
[0017] 预先规定各个视场图片的显示范围，对于各个摄像头视场下指定右上角预定的起始点位置；
[0018] 确定各个起始点在最终俯瞰图中的对应位置点；
[0019] 分别在不同的视场中以各个摄像头为右上顶点摆放棋盘格；
[0020] 将地面坐标系下棋盘格点坐标与相应视场的坐标对应，计算出变换的单应矩阵。[0021] 作为本发明的进一步改进，所述摄像头包括前、后、左、右四个摄像头。
[0022] 作为本发明的进一步改进，所述步骤S4具体包括：
[0023] 将各个场景分别以各个摄像头为右上角起点的场景映射到俯瞰图上，微调顶点位置，各个视场图片通过映射拼接到俯瞰图上；
[0024] 根据预先确定的显示范围，在最终俯瞰图上划定显示范围，制作遮罩模板，反算遮罩边界在图像坐标系下的坐标位置，得到最终各个视场下图片到最终俯瞰图的映射关系。[0025] 本发明的有益效果是：
[0026] 针对车载环境四个视场下图像的复杂性，提出采用映射关系建立原视场图到俯瞰图的映射查表，相对于特征点匹配，该方法只取决于坐标关系，而坐标在摄像头固定时就相对固定，所以相对于匹配，这种方法更具有可靠性；
[0027] 采用直接映射原图到摄像机坐标系下，省略了摄像机坐标系到世界坐标系的映射，减少误差，准确性更高。
附图说明
[0028] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0029] 图1为本发明车载360度全景拼接方法的流程示意图；
[0030] 图2为双曲面模型的原理示意图；
[0031] 图3为本发明车载360度全景拼接方法中步骤S3和S4的具体流程示意图；[0032] 图4为本发明一具体实施方式中四个棋盘格摆放示意图；
[0033] 图5为本发明一实施方式中采用车载360度全景拼接方法得到的室内拼接效果图。
具体实施方式
[0034] 为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0035] 参图1所示，本发明车载360度全景拼接方法包括以下步骤：
[0036] S1、采用双曲面模型拟合鱼眼摄像机模型，并计算鱼眼摄像机模型参数；[0037] S2、确定图片坐标系与摄像机坐标系的映射关系；
[0038] S3、确定摄像机坐标系到地面坐标系下的单应矩阵；
[0039] S4、生成图片坐标系到地面坐标系的映射查表；
[0040] S5、将摄像机获取的地面图片根据映射查表拼接得到最终的俯瞰图。
[0041] 结合图1、图3所示，本发明中的具体步骤为：
[0042] S1、采用双曲面模型拟合鱼眼摄像机模型，并计算鱼眼摄像机模型参数。[0043] 参图2所示，本实施方式中采用关于Z轴对称的双曲面模型来拟合鱼眼摄像头的透镜系统，图2中弧线表示双曲面一支的剖面图，双曲面的拟合采用泰勒展开式来拟合，表示为：
[0044]
[0045] 其中双曲面对称时u和u是图片坐标系下点(u，v)，因此鱼眼摄像机模型参数就是泰勒展开式的系数，这部分属于摄像头特性的描述，故可以认为泰勒式系数是摄像头内参的一种表示，内参可以通过标定摄像头来求取。
[0046] S2、确定图片坐标系与摄像机坐标系的映射关系
[0047] 根据图2可以得到：摄像头坐标系下的向量与向量成比例关系，而向量的结束点在双曲面上，因此向量与向量满足：
[0048] 且δ＜1，
[0049] 根据上述对应关系可以建立图片坐标系与摄像机坐标系的映射关系。
[0050] S3、确定摄像机坐标系到地面坐标系下的单应矩阵。
[0051] 在步骤S1基础之上确定摄像机坐标系到地面坐标系(世界坐标系)下的单应矩阵，首先需要预先规定各个视场图的显示范围，对于各摄像头视场下指定右上角预定的起始点位置，前、后、左、右摄像头分别记为Front_SP、Rear_SP、Left_SP、Right_SP；[0052] 然后确定四个起始点在最终俯瞰图中的对应位置点，位置点与位置点以棋盘格边长为一个单位计数，并确保四个起始点能分别在相应视野中；
[0053] 然后，分别在不同的视场中（这里是前、后、左、右）以Front_SP、Rear_SP、Left_SP、Right_SP为右上顶点摆放棋盘格，最后通过步骤S1的方式，将地面坐标系下棋盘格点坐标与相应视场的坐标对应，计算出变换的单应矩阵。
[0054] S4、生成图片坐标系到地面坐标系的映射查表。
[0055] 结合步骤S1、步骤S2、步骤S3建立起图片坐标系下点对地面坐标系下俯瞰图上点的对应关系，将四个场景以Front_SP、Rear_SP、Left_SP、Right_SP为右上角起点的场景映射到俯瞰图上，微调四个顶点位置，四个视场图片通过映射拼接到俯瞰图上；
[0056] 然后根据预先确定的视野范围，在最终俯瞰图上划定显示范围，制作遮罩模板，反算遮罩边界在图像坐标系下的坐标位置，得到最终四个视场下图片到最终俯瞰图的映射关系。360全景有必要安装吗
[0057] S5、将摄像机获取的地面图片根据映射查表拼接得到最终的俯瞰图。