面向自动驾驶的车路协同感知点
云融合模式时延影响分析*
叶青1,2赵聪3▲朱逸凡3俞山川2
（1.重庆大学大数据与软件学院重庆401331；
2.招商局重庆交通科研设计院有限公司自动驾驶技术交通运输行业研发中心重庆400060；
3.同济大学道路与交通工程教育部重点实验室上海201804）
摘要：新一代通信技术的快速发展为车路协同感知提供了基础，可进一步提升自动驾驶车辆在复杂场景中的感知能力，现有研究对不同的协同感知信息融合模式进行了探索，但忽略了对感知精度与通信时延平衡性的分析。针对自动驾驶协同感知中点云融合模式的时延特征，本文以前融合、特征融合、后融合3种模式为研究对象，提出了基于模拟仿真的时延影响分析框架。考虑通信时延引起的协同感知结果时滞性，利用扩展卡尔曼滤波算法对存在时延的协同感知结果进行预测性补偿，创新提出了滞后补偿误差和等效时延评价指标，用以综合评价不同融合模式对协同感知结果的影响；针对不同点云融合模式的感知结果，构建了平均感知精度与平移误差分布关系模型，依据目标检测平移误差的分布特征生成带有感知误差的仿真轨迹，进而对协同感知效果进行评估。结合TrajNet++行人轨迹数据集，以不同时延参数及点
云融合模式，对1200条轨迹进行了180000次数值仿真。结果显示，感知目标的已知轨迹长度越短、速度越高，时延对协同感知精度的影响越大，以100ms时延下后融合为基准，当特征融合时延在500ms以内、前融合时延在700ms以内时，可以达到相同或更高的协同感知精度。针对目标易突然出现且速度快的复杂场景，宜采用低时延、低精度的后融合模式，反之，宜采用具有高时延、高精度的特征融合或前融合模式。本研究可为自动驾驶协同感知的点云融合模式选择提供依据。
关键词：智能交通；时延影响；轨迹预测；自动驾驶；协同感知；点云融合
中图分类号：U491.5文献标识码：A doi：10.3963/j.jssn.1674-4861.2023.04.008
An Analysis of the Impact of Time Delay of Fusion Modes for Point Clouds from Cooperative Road Vehicle Systems on Autonomous Driving
YE Qing1,2ZHAO Cong3▲ZHU Yifan3YU Shanchuan2
(1.School of Big Data&Software Engineering,Chongqing University,Chongqing401331,China;
2.Research and Development Center of Transport Industry of Self-driving Technology,China Merchants Chongqing
Communications Technology Research&Design Institute Co.,Ltd.,Chongqing400060,China;
3.Key Laboratory of Road and Traffic Engineering of the Ministry of Education,Tongji University,Shanghai201804,China)
Abstract:The rapid development of the new generation of communication technologies provides a foundation for cooperative perception between autonomous vehicles(A Vs)and road.This advancement holds the potential to sig-nificantly enhance the perception capabilities of A Vs in complex scenarios.Previous studies have explored different
收稿日期：2021-06-07
*国家重点研发计划项目（2021YFB1600403）、重庆市技术创新与应用发展专项重点项目（cstc2021jscx-gks-bX0057）、自动驾驶技术交通运输行业研发中心（招商局重庆交通科研设计院有限公司）开放基金项目资助第一作者简介：叶青（1994—），博士研究生.研究方向：智能交通系统、车路协同与自动驾驶.
E-mail：****************
▲通信作者：赵聪（1992—），博士，副研究员.研究方向：车路协同数字感知与智能决策.
E-mail:**************
0引言
车联网作为提升自动驾驶车辆运行安全、效率、舒适的重要手段而备受关注[1-2]，其通过车与路侧单元之间的信息传输来扩大自动驾驶车辆的感知覆盖范围并提升感知精度。对于“鬼探头”等具有较大安全隐患且单车难以解决的复杂场景，协同感知是1种有效的解决思路。其中，激光雷达具有测量精度高、覆盖范围远等优势，基于激光雷达点云数据的融合模式是国内外学者关注的研究热点[3]。图1
为车和路激光雷达点云效果。
（a ）车端点云图（b ）路端点云图（c ）车端和路端匹配后点云图
图1
车路点云示意图
Fig.1
cooperativeSchematic diagram of point cloud of vehicle and road
基于激光雷达点云的目标检测模型多将点云数据离散化，并使用卷积神经网络（convolutional neu-ral network ，CNN ）等方法进行目标检测。Zhou 等[4]提出了1种经典的V oxelNet 端到端框架，将点云划分为等空间尺寸的体素并编码为4D 张量，进而使用（region proposal network ，RPN ）得到目标检测结果。Lang 等[5]提出的PointPillars 利用PointNet [6]学习
点云特征并编码为伪图，然后使用2D 物体检测流程进行3D 物体的目标检测。Li 等[7]提出的PointPillars 对输入点云进行变换，并利用卷积算子提取其空间局部相关性，进而实现3D 目标检测。
5G 等通信技术的快速发展，其具有的低时延、大带宽等特性为自动驾驶协同感知提供了基础[8]。一些学者开始研究如何在原有基础上融合多源数据，包括前融合、特征融合、后融合3种模式。前融合也称为点云级融合，Chen 等[9]提出了车-车间传输原始点云数据的融合模式，大幅提高了车辆的感知范围和感知精度，但感知效果受到通信带宽等条件的约束。随后，Chen 等[10]从原始点云数据中提取关键特征，进而传输特征而减少数据量，称之为特征级融合，可有效降低数据传输量且不显著降低协同感知的精度。进一步，Xu 等[11]利用Carla 建立了车辆协同感知的大规模仿真数据集，并基于Transformer ，提
出了基于车车通信技术（vehicle to vehicle ，V2V ）[12]和车联万物（vehicle to everything ，V2X ）[13]的协同感
知框架。后融合模式即对感知目标数据进行融合，也称为目标级融合，Tsukada 等[14]设计了1种面向网联自动驾驶感知信息融合的开源软件，可以对周围车辆目标感知结果进行融合并构建区域全息环境，以提升自动驾驶车辆运行的安全性、高效性、舒适性。
现有面向自动驾驶协同感知的点云融合研究多集中在不同融合模式的精度上，而忽略了数据传输
information fusion modes for cooperative perception,but neglected to analyze the balance between perception accu-racy and communication delay.Aiming at the delay characteristics of point cloud fusi
on in cooperative perception of A Vs,a delay impact analysis framework is proposed based on simulation,concentrating on three fusion modes:pre-fusion,feature fusion,and post-fusion.Considering the time lag of cooperative perception results caused by com-munication delay,the Extended Kalman Filter algorithm is used to make predictive compensation for cooperative per-ception results with delay.The novel metrics,namely Lag Compensation Error and equivalent time delay,are pro-posed for comprehensive evaluation of the impact of different fusion modes on cooperative perception results.Based on perception results from various point cloud fusion modes,a model is established to fit the relationship between av-erage perception accuracy and translation error distribution.Utilizing the distribution characteristics of translation er-rors,this model serves as the basis for generating simulated trajectories with perception errors and subsequently the evaluating of cooperative perception performance.Finally,leveraging the TrajNet ++pedestrian trajectory dataset,180000numerical simulations are conducted across 1200trajectories with various point cloud fusion modes and dif-ferent delay parameters.The results demonstrate that the shorter trajectory lengths and the higher target speeds ampli-fy the impact of delay on cooperative perception accuracy.In comparison to post-fusion with a 100ms delay as the benchmark,the equivalent or superior cooperative perception accuracy is feasible when the feature-fusion delay is be-low 500ms and the front-fusion delay is below 700ms.In complex scenarios involving sudden targ
et appearances or high-speed targets,it is recommended to choose low-delay,low-accuracy post-fusion modes.Conversely,it is advis-able to consider feature fusion or pre-fusion modes with high delay and high accuracy.This study can provide a basis for the selection of point cloud fusion modes for cooperative perception of autonomous driving.
Keywords:intelligent transportation;delay impact;trajectory prediction;autonomous driving;collaborative percep-tion;point cloud fusion
和处理过程中时延的影响，缺乏对于考虑时延的融合感知精度的分析。例如，Chen 等[9]提出的点云融合模式虽然大幅提升了感知结果的精度，但其传输数据量大，产生了较大的传输时延，造成感知结果的低实时性。实时性与自动驾驶的运行安全高度相关，Ghosh 等[15]在3GPP 标准中已经明确定义了协同感知场景需要满足的最低时延要求，高精度、低实时性的点云融合模式也具有其场景适用性局限。
综上，如何建立系统性的分析框架和评价指标，综合分析不同点云融合模式下通信时延对协同感知精度的影响，进而支撑在不同交通场景、通信环境、计算资源等条件下合理选择点云融合模式，对于自动驾驶协同感知的应用至关重要。为此，本文提出了面向自动驾驶协同感知的点云融合模式时延影响分析框架和滞后补偿误差指标（lag compensation er-ror ，LCE ），评估不同时延下不同点云融合模式的感知效果。本文使用经典的F-Cooper 点云融合框架[10]得到的协同感知性能参数结果，使用扩展卡尔曼滤
波算法（extended Kalman filter ，EKF ）[16]进行目标轨
迹预测，结合TrajNet++数据集[17]
中的目标移动轨迹数据进行数值仿真，最终分析不同点云融合模式在不同场景下的滞后补偿误差。
1自动驾驶协同感知框架
1.1点云融合模式
自动驾驶协同感知中的点云融合，是在点云目
标检测流程中进行多源信息的融合，以得到更大范围和更精准的检测结果。前融合（点云级）、特征
融合和后融合（目标级）这3种模式一般应用相同的目标检测框架，主要差别体现在融合时点云的处理程度不同[9]。前融合模式在输入表征步骤前就进行了点云数据的融合，在融合前几乎没有信息的损失，因
要传输完整的原始点云数据，对场景通信条件的要求较高，会存在较高的传输时延[9]。特征融合模式[10]则是在上述2种模式间进行了权衡，其对从原始点云数据中提取的特征进行融合，降低了对通信条件的要求，同时保证了较为理想的协同感知效果，融合流程见图3。后融合模式直接对多源的目标感知结果进行融合，经过目标检测模型处理后的结果数据已经因此，本文在分析过程中使用时延T d 和平
均精度L mAP （mean average precision ，mAP ）这2个关键指标来表征不同融合模式的特征，时延T d 表示从激光雷达传感器检测目标到协同感知计算出目标检测结
果的用时，平均精度L mAP 是目标类别识别和位置预测等算法常用的性能度量指标。
1.2协同感知流程
车辆实现自动驾驶主要包括感知、决策和控制3个环节，其中感知环节需要对场景内目标物进行识别与轨迹预测[18]。以场景中行人目标的协同感知为例，感知流程见图5，λ为固定的时间步长，即激光雷
达的采样时间间隔。在t时刻自动驾驶车辆自身激光雷达和协同侧激光雷达分别感知到行人目标，协同侧根据所采用的点云融合模式对t时刻的原始数据进行不同程度的处理，并发送处理后的感知数据给自动驾驶车辆进行融合。自动驾驶车辆接收到t 时刻的协同感知数据，利用协同感知框架计算t时刻的协同感知结果，此时已经存在T
d
的时延，即现
在时刻为t+T
d
。为此，自动驾驶车辆使用轨迹预测算法，根据得到的t时刻以及历史协同感知数据预
测目标在t+T
d
时刻的位置，为后续的决策和控制环节提供依据。
基于历史位置轨迹预测t+T
d
时刻目标位置
协同侧传输t时刻
感知数据
协同侧感知t时刻目标
耗时T
d
得到t时刻的
协同感知结果
t-nλt-3λ
t-2λ
t-λ
t
t+T
d
图5自动驾驶协同感知流程
Fig.5Cooperative perception process for autonomous driving 2时延影响分析框架
从自动驾驶协同感知流程出发，提出了不同点云融合模式感知精度与时延影响的综合分析框架，见图6。随后，基于该框架计算滞后补偿误差，量化评估不同时延下不同点云融合模式的感知效果。由于协同感知过程中存在传输和计算耗时，感知结果存在时滞性。为此，将滞后感知结果和时延输入至轨迹预测算法中，对感知结果进行时延补偿，通过预测得到目标的实时位置，并与真实轨迹中目标的实
2.1场景描述
定义场景内目标轨迹为激光雷达采样时间间隔λ的目标位置坐标序列，轨迹集合见式（1），轨迹点见式（2），采样时间间隔λ见式（3）。
P
i
=é
ë
ù
û
p()1
i
p()2
i
p L i
i
（1）
p j
i
=éëùû
x j
i
y j
i
（2）
t j+1
i
-t j
i
=λ（3）
式中：P
i
为场景内第i个目标的轨迹；L
i
为其轨迹
中位置坐标的数量；p j
i
为第i个目标轨迹的第j个
平面坐标，包含X方向坐标x j
i
，单位m；Y方向坐标
y j
i
，单位m；t j
i
为轨迹P
i
中第j个坐标对应的时间，单位s。
2.2滞后感知结果计算
本文根据已有研究结果直接设置不同协同感知
模式的结果误差分布，在目标真实轨迹中通过添加
误差得到协同感知结果。本文假设目标的X和Y方
向检测平移误差服从同1个均值为0的正态分布[19]，
见式（4）。
e i j
x
e i j
y
N()
0 σ2（4）
式中：e i j
x
为第i个目标轨迹的第j个检测结果在X
方向上的检测平移误差，单位m；e i j
y
为第i个目标轨迹的第j个检测结果在Y方向上的检测平移误
差，单位m；σ为e
x
和e
y
服从的正态分布的标准差。
然而，现有协同感知研究多针对平均精度指
标[9-10，19]，未给出平均平移误差L
mATE
（mean average
translation error，mATE）的分布，无法直接模拟包含
协同感知误差的滞后感知结果。因此，需要基于平均精度推算不同协同感知模式的平均平移误差，进而得到协同感知误差的分布。表1为nuScenes数据集[20]提供的各类基于点云的目标检测模型的平均精度和平均平移误差结果数据样例，拟合后得到2个指标间映射关系，见图7。
结果显示，激光雷达点云检测模型的平均精度和平均平移误差呈指数函数关系，R2为0.8212，即可根据3种点云数据融合模式下的平均精度估计平均平移误差，计算见式（5）。
L
mATE
=1.1256´exp()
-2.28L
mAP
（5）
式中：L
mATE
为平均平移误差；L
mAP
为平均精度。
平均平移误差计算见式（6）。
L
mATE
=Eæ
èç
ö
ø÷
(e i j
x
)2+(e i j
y
)
2（6）
由χ分布特性可知，
k 个独立随机变量的平方和的正平方根服从自由度为k 的χ分布，见式（7），平均平移误差和标准差见式（8）和式（9）
。
χ()
k （7）E
èçø
÷
=
（8）
σ=L ´Γ(k /2)（9）
式中：
Γ(×)为伽马函数。由于有X 和Y 方向2个独立变量，k =2，从而得到式（10）。
σ=0.7979´L mATE
（10）
结合式（4）~（10），对于点云融合模式q ，已知其协同感知的平均精度为L q
mAP ，可以得到滞后感知结果，见式（11）~（14）。
D i  q =éë
êù
û
úd
()1i  q
d
()
2i  q
d L ′i i  q
（11）d j i  q =éëù
û
x j i +e i  j x  q y j i +e i  j
y  q （12）L ′i =L i -T
d
λ
（13）
e i  j
x  q  e i  j
y  q ~N ()
0 (0.8981´exp(-2.28L q
mAP ))2（14）式中：
D i  q 为融合模式q 得到对应轨迹P i 的滞后感知结果，作为自动驾驶车辆轨迹预测的输入；d j
i  q 为滞后感知结果轨迹中的第j 个位置坐标，单位（m ，m ）；L 'i 为滞后感知结果中目标位置坐标的数量；e i  j
x  q 和e i  j
y  q 是融合模式q 目标检测结果在X 和Y 方
向上的检测平移误差，单位m 。
2.3滞后补偿误差计算
在目标轨迹预测环节，本文采用工程中最常用的扩展卡尔曼滤波算法[16]进行目标轨迹预测。扩展卡尔曼滤波是1种可应用于时间非线性的动态系统的改进卡尔曼滤波，它可以从连续且包含噪声的测量中估计动态系统的状态，预测计算过程见式（15）。
K ()
D i  q  σq  T d =éë
ê
ùû
ú
οL ′i +1
i  q  οL
i i  q （15）
式中：K ()为使用扩展卡尔曼滤波进行预测；
σq 为融合模式q 的检测平移误差的标准差；οj
i  q 为基于融合模式q 的目标检测结果预测的第i 个目标轨迹在第j 个位置的坐标，单位（m ，m ）。
滞后补偿误差为目标的预测位置与实时真实位置的误差，即对时延T d 通过扩展卡尔曼滤波进行补偿，时延为T d 时的滞后补偿误差计算见式（16）~（17）。
LCE T d i  q =
οL
i i  q -p L i i （16）LCE T d
q =åi =1
N
LCE T
d i  q
（17）
式中：LCE T
d q 为融合模式q 在时延T d 时的滞后补偿误差，单位m ；
N 为总的目标轨迹数量。为了比较不同融合模式对于时延的需求，定义
等效时延T T
d
q 1 q 2为融合模式q 1达到与时延为T d 的融
合模式q 2相同感知效果所需要满足的最低时延，见式（18）。
LCE T T
d q 1 q
2q 1=LCE T
d
q 2（18）
即等效时延越高，融合模式q 1相比q 2对于时延
的要求越低。
3
数值仿真分析
本文使用TrajNet++数据集中的目标轨迹数据
进行模拟仿真[17]。该数据集是1个面向轨迹预测、基础设施设计和交通运营等应用的经典轨迹数据集，其中包含了数十种场景中的数万条移动目标轨
表1
点云目标检测模型的平均精度和平均平移误差
Tab.1
mean average precision and mean average translation error of object detection models
based on point cloud
序号12345678910
平均精度L mAP
0.72390.69720.67400.68150.67150.66800.66800.66280.66690.6659
平均平移误差L mATE
0.23660.23700.25460.25580.24880.25310.25350.24030.25420.2726
1.21.00.80.60.40.20平均平移误差/m 0
0.2
0.4
0.6
0.8
平均精度
y =1.1256e ´exp(-2.28x )
R 2=0.8212
图7基于点云的目标检测平均精度与平均平移误差关系
Fig.7Relationship between mean average precision and mean
average translation error of object detection based
on point cloud