智能驾驶  激光雷达与摄像头的感知数据
融合接口规范
1 范围
本文件规定了智能驾驶激光雷达与摄像头的感知数据融合接口的融合系统架构、数据融合接口及数据格式。
本文件适用于激光雷达与摄像头的传感器数据融合和图像与点云的目标检测结果融合。
2 规范性引用文件
本文件没有规范性引用文件。
3 术语和定义
下列术语和定义适用于本文件。
3.1
包围框  bounding box
主要用于对检测的对象进行描述的三维或二维矩形外壳。
[来源：ISO 23150-2021，7.2.2]
3.2
摄像头坐标系  camera coordinate system
摄像头坐标系是以镜头主光轴为中心的三维笛卡尔坐标系。
注：单位为米。
3.3
激光雷达坐标系  lidar coordinate system
激光雷达坐标系是以激光发射中心作为坐标系原点的三维笛卡尔坐标系。
注：单位为米。
3.4
图像坐标系  image coordinate system
以图像左上角为原点的二维坐标系。
注：单位为像素。
3.5
时空统一  time and space unification
将输入的各局部时间和空间坐标的信息变换到统一的系统基准时间和空间坐标系下。
[来源：GB/T 37686-2019，3.3]
3.6
标定  calibration
接受激光雷达与摄像头的原始数据作为输入进行时空统一的操作。
3.7
传感器数据融合  sensor data fusion
接受感知之前的数据作为输入进行数据融合的操作。
3.8
目标检测结果融合  detection fusion
接受图像目标检测二维包围框和点云目标检测三维包围框作为输入进行数据融合的操作。
3.9
数据融合接口  data fusion interface
接收传感器数据并输出融合数据以及接收目标检测结果并输出融合后目标检测结果的接口。
4 融合系统的架构
4.1 激光雷达与摄像头的传感器数据融合架构
激光雷达与摄像头的传感器数据融合架构如图1 所示，分别从激光雷达和摄像头接收激光点云数据和
图像数据，从标定数据获取标定信息，按配置数据中给出的传感器数据融合模式进行融合，输出融合数据。
图1 激光雷达与摄像头的传感器数据融合架构
4.2 图像与点云的目标检测结果融合架构
图像与点云的目标检测结果融合架构如图2 所示，分别获取图像目标检测二维包围框和点云目标检测三维包围框，从标定数据获取标定信息，按配置数据中给出的目标检测结果融合模式进行融合，输出融合后的目标检测结果。
图2 图像与点云的目标检测结果融合架构
5 数据融合接口
5.1 基本数据类型
基本数据类型见表1。
表1 基本数值类型
数值类型 描述
bool 布尔型
int8 8位整型
uint8 无符号8位整型
int32 32位整型
uint32 无符号32位整型
float单精度浮点（32bit）
double双精度浮点（64-bit）
string字符串类型
enum枚举类型
5.2 配置数据
配置接口的配置数据见表2。
表2 配置接口的配置数据
属性名称 描述 数据类型 单位/备注 示例
fusion_type 融合类型 bool /0：传感器数据融合；
1：目标检测结果融合
chirality
手征：右手坐标系或者左
手坐标系
bool
/0：右手坐标系；
1：左手坐标系
camera_coordinate
记录车辆前进方向、右侧
方向、竖直方向对应摄像头
坐标系的轴
（int8,int8,int8）
/数字0,1,2分别表示x,y,z轴，负数
表示负方向。
如 (2,0,-1)，表示前进方向为z轴，
右侧方向为x轴，竖直方向为y轴反方
向
（2,0,-1）
lidar_coordinate
记录车辆前进方向、右侧
方向、竖直方向对应激光雷
达坐标系的轴
（int8,int8,int8）
/数字0,1,2分别表示x,y,z轴，负
数表示负方向。
如 (0,-1,2)，表示前进方向为x轴，
右侧方向为y轴反方向，竖直方向为
z轴
（0,-1,2）
camera_frequency 摄像头获取数据频率 uint32 HZ / 10
lidar_frequency 激光雷达获取数据频率uint32 HZ / 10 fusion_algorithm 融合所用算法 string / “MV3d”
5.3 添加配置属性
5.3.1 融合系统提供添加配置属性接口，添加配置属性，包括属性名称、属性描述、属性值的类型等。
5.3.2 接口输入参数：
——属性名称；
——属性描述；
——属性值的类型。
5.3.3 接口返回值：属性添加成功与否的状态，1—添加成功、0—添加失败。
示例：输入为：（frequency,“the capture frequency of sensor”, uint32）表示添加类型为uint32 的frequency 属性。
5.4 设置配置属性值
5.4.1 融合系统提供设置配置属性值接口，设置指定属性名的属性值。
5.4.2 接口输入参数：
——指定属性名；
——属性值。
5.4.3 接口返回值：属性值设置成功与否的状态，1—设置成功、0—设置失败。
示例：输入参数（camera_frequency,20）表示设置摄像头采集图像频率为20Hz。
5.5 获取配置属性值
5.5.1 融合系统提供获取配置属性值接口，获取指定属性名的属性值。
5.5.2 接口输入参数：指定属性名。
parameter数据类型
5.5.3 接口返回值：属性值。
示例：输入参数（camera_frequency）表示获取系统中当前的摄像头采集图像频率。
5.6 数据接收接口
5.6.1 数据发送端通过数据接收接口向融合系统提供待融合的数据，可以是原始数据（6.2）、图像数据（6.3）、点云数据（6.4）、点云目标检测三维包围框信息（6.5）、图像目标检测二维包围框信息（6.6）之一。
5.6.2 接口输入参数：数据，规范中定义的数据类型的数据。
5.6.3 接口返回值：设置/发送成功与否的状态，1—设置/发送成功、0—设置/发送失败。
5.7 数据获取接口
5.7.1 融合系统通过数据获取接口获取融合后数据，可以是传感器数据融合后数据（
6.7）、目标检测结果融合后目标检测结果数据（6.8）。
5.7.2 接口输入参数：融合类型，指定融合的类型。
5.7.3 接口返回值：融合后的数据。
6 数据格式
6.1 标定数据类型描述
应符合表3的规定。
表3 标定数据类型描述
属性名 描述 数值类型 单位/备注 示例 image_size 图像大小 uint32[2] /1×2向量 [640,480]
distortion_coeffs
畸变参数向量
缺省所有形变系数
都设为0
double[5]
/1×5向量，该畸变参数适用
于针孔相机模型
[-0.3995,0.1803,0,0,0.0429]
intrinsic_matrix 内参矩阵 double[9] /3×3矩阵，包含摄像头的光
学中心和焦距信息，表示摄像
头坐标系到图像坐标系的映
射关系
[468.3708,0.,339.7596,
0.,470.2517,235.6143,
0.,0.,1.]
reference_frame 参考坐标系 bool /外参矩阵参考坐标系，
0：摄像头坐标系
1：激光雷达坐标系
extrinsic_matrix 外参矩阵 double[16]/4×4矩阵，包括旋转与平移
信息，表示参考坐标系之间的
空间转换关系
[0.0070,1e-06, 0.9999,0,
-0.9999,-0.0016,0.0070,0,
0.0016,-0.9999,-1e-06,0,
-0.0062,0.0756,0.0337,1]
6.2 原始数据描述
应符合表4的规定。
表4 原始数据描述
属性名 描述 数值类型 单位/备注 示例 sensor_id 产生原始数据的传感器id uint8 /    1
timestamp 数据生成的时间戳 uint32.
uint32
s.ns /
秒.纳秒
1595682678.
715705367
seq 数据的序列 uint32    1
length 原始数据字节数 uint32    1
data 原始数据字节流 int8[]
6.3 图像数据描述
应符合表5的规定。
表5 图像数据描述
属性名 描述 数值类型单位/备注 示例 sensor_id 产生图像数据的摄像头传感器id uint8 /    1
timestamp 图片生成的时间戳 uint32.
uint32
s.ns /
秒.纳秒
1595682678.
715705367
seq 图像的序列 uint32  1 height 图像高度，即像素行数 uint32/ 480 width 图像宽度，即像素列数 uint32/ 360 encoding 图像编码 string/ rgb8